Dari 206 Tugas Ahli Menjadi Satu Angka yang Menyadarkan, 12 Persen: Apa yang Diungkap Benchmark GDPx tentang Batas Nyata Agen AI Saat Ini

Pendahuluan: jika agen AI sudah siap untuk pekerjaan ahli, mengapa yang terbaik hanya mendapat 12 persen?

Sebuah benchmark baru yang dibangun dari pekerjaan ahli yang nyata dan dibayar baru saja menilai dua puluh model AI frontier, dan yang terbaik di antaranya meraih rata-rata 12 persen di sebelas domain yang berbobot sama.

Bisakah agen AI melakukan pekerjaan yang perusahaan Anda bayar kepada para ahli? Seperti apa papan skor yang jujur untuk klaim itu? Dan apa yang harus Anda tanyakan kepada vendor sebelum menandatangani kontrak?

Sebagai pengembang model AI privat dan konsultan keamanan AI yang bekerja dengan UKM dan perusahaan besar di Sydney, saya ditanyai pertanyaan-pertanyaan ini setiap minggu. Jawabannya penting bagi anggaran, kepegawaian, dan risiko.

Artikel ini menjelaskan apa yang diukur oleh benchmark GDPx, apa yang dibuktikan dan tidak dibuktikan oleh angka-angkanya, serta pelajaran praktis bagi setiap pemimpin yang mengevaluasi agen AI kuartal ini.

1. Apa yang Sebenarnya Diukur GDPx

Minggu ini perusahaan riset SemiAnalysis menerbitkan GDPx, sebuah benchmark berisi 206 tugas di 11 domain yang dipilih karena orang mencari nafkah darinya: desain chip, keamanan siber, pekerjaan hukum, perdagangan kuantitatif, biologi, rekayasa perangkat lunak, dan lainnya.

Empat belas mitra industri menyediakan tugas-tugasnya, dan dua puluh model frontier dinilai. Benchmark ini patut diperhatikan bukan karena kesulitannya, melainkan karena bahan bakunya: pekerjaan yang dibayar untuk dilakukan orang.

2. Papan Skor: Dua Puluh Model, Satu Rata-Rata Rendah

Model dengan skor tertinggi meraih rata-rata 12 persen di sebelas domain, masing-masing berbobot sama. Peringkat kedua mencetak 10,9 dan peringkat ketiga 9,6. Angka itu adalah rata-rata berbobot domain pada satu set tugas milik satu perusahaan, bukan bagian dari seluruh pekerjaan ahli yang dibayar. Dengan penilaian paling ketat, tidak ada model yang menyelesaikan satu pun tugas keuangan atau hukum, sehingga skor yang dipublikasikan menghitung bagian persyaratan individual yang terpenuhi, bukan pekerjaan yang selesai.

Namun, papan skor adalah titik awal, bukan vonis. Angka-angka ini mengukur tugas satu perusahaan dengan rubrik perusahaan yang sama, dan menggambarkan model hari ini, bukan model tahun depan.

3. Batasannya: Apa yang Tidak Dibuktikan GDPx

GDPx tidak sempurna. Ia menggunakan tugas dari satu perusahaan dan rubrik dari satu perusahaan, belum ada reproduksi independen, dan perusahaan itu menjual riset kepada industri yang ia nilai.

Pelajarannya adalah memegang angka itu dengan longgar. Tetapi arahnya benar, karena ia mengukur model pada pekerjaan yang menghasilkan uang, bukan trivia yang mengesankan.

4. Kolom Biaya: 51 Berbanding 16 Dolar

Pemimpin menghabiskan rata-rata sekitar $51 per tugas yang dicoba. Peringkat kedua menghabiskan rata-rata sekitar $16 per tugas untuk skor yang hanya terpaut satu poin.

Jika strategi agen Anda mengasumsikan kemampuan dan biaya bergerak bersama, tabel ini mengatakan sebaliknya. Jalur termurah menuju hasil kini sama strategisnya dengan hasil itu sendiri, dan analisis itu seharusnya ada di pengadaan, bukan di halaman pemasaran.

5. Membaca Tawaran Agen dengan Tolok Ukur Angka Publik

Demo yang akan Anda lihat kuartal ini semuanya mengklaim siap untuk pekerjaan ahli. Sebuah benchmark publik yang disebut namanya baru saja menetapkan rata-rata tertinggi di 12 persen pada pekerjaan yang menghasilkan uang.

Itu tidak membuat agen menjadi tidak berguna. Artinya, zona penerapan yang jujur hari ini adalah tugas-tugas sempit yang terukur dengan baik dan disertai tinjauan manusia, bukan departemen otonom yang dijual di atas panggung.

Pelajaran bagi Para Pemimpin di Mana Saja

Pertama, era demo sudah berakhir. Ketika sebuah industri mulai berdebat soal papan skor, demo sudah tidak lagi menyelesaikan perdebatan.

Kedua, biaya dan kemampuan tidak bergerak bersama. Masukkan biaya per tugas yang diselesaikan ke dalam pengadaan, di samping skor.

Ketiga, baca setiap tawaran agen dengan tolok ukur angka publik. Zona penerapan yang jujur hari ini sempit, terukur dengan baik, dan ditinjau manusia.

Terakhir, ajukan satu pertanyaan kepada setiap vendor AI kuartal ini: tunjukkan skor Anda pada benchmark independen berbasis tugas untuk pekerjaan seperti milik saya, dan biaya Anda per tugas yang diselesaikan. Jika mereka tidak bisa menjawab, Anda telah mempelajari sesuatu yang lebih berharga daripada demo.

Kesimpulan: Pengukuran Telah Menggantikan Pemasaran

Rata-rata tertinggi 12 persen bukan alasan untuk menjauhi agen AI. Itu adalah alasan untuk membelinya dengan bukti, bukan antusiasme.

Kecerdasan buatan akan mendapatkan tempatnya melalui hasil yang terukur, bukan tontonan panggung. Pada akhirnya, matematika biaya per tugas, dihitung dengan jujur, menentukan di mana teknologi ini benar-benar berada.

Referensi dan Bacaan Lebih Lanjut

SemiAnalysis, “GDPx: The General Agentic Benchmark” – https://gdpx.semianalysis.com

SemiAnalysis, catatan riset dan analisis industri – https://semianalysis.com

Berpikirlah secara matematis. Rekayasa dengan cerdas. Pimpin secara strategis. Bangun secara bertanggung jawab. Berkembang secara global. Ciptakan nilai bisnis nyata melalui kecerdasan buatan.

#ArtificialIntelligence #AIStrategy #AIGovernance #EnterpriseAI #ITImpress

By Keshavan Thiagaraja

Private AI Model Developer & AI Security Consultant Helping SMEs and Enterprises Build Secure AI Solutions Sydney, Australia.

B.Sc. (Computer Science, Mathematics and Statistics),

M.Sc. (Information Technology)

E-Commerce Professional