Mula sa 206 na gawaing pang-eksperto patungo sa isang nakapagpapaisip na numerong 12 porsyento: ang ipinapakita ng GDPx benchmark tungkol sa tunay na mga hangganan ng mga AI agent ngayon

Panimula: kung handa na ang mga AI agent para sa gawaing pang-eksperto, bakit 12 porsyento lang ang nakuha ng pinakamahusay?

Isang bagong benchmark na binuo mula sa totoong, bayad na gawaing pang-eksperto ang nagbigay-grado sa dalawampung frontier AI models, at ang pinakamahusay sa kanila ay nakakuha ng average na 12 porsyento sa labing-isang domain na may pantay na bigat.

Magagawa ba ng isang AI agent ang trabahong binabayaran ng iyong negosyo sa mga eksperto? Ano ang magiging hitsura ng tapat na scoreboard para sa claim na iyon? At ano ang dapat itanong sa vendor bago pumirma?

Bilang pribadong AI model developer at AI security consultant na nagtatrabaho sa mga SME at malalaking kumpanya sa Sydney, itinatanong sa akin ang mga tanong na ito linggo-linggo. Mahalaga ang mga sagot sa badyet, tauhan at panganib.

Ipinapaliwanag ng artikulong ito kung ano ang sinukat ng GDPx benchmark, kung ano ang pinatutunayan at hindi pinatutunayan ng mga numero nito, at ang mga praktikal na aral para sa sinumang lider na nagtataya ng mga AI agent ngayong quarter.

1. Ang aktuwal na sinukat ng GDPx

Ngayong linggo, inilathala ng research firm na SemiAnalysis ang GDPx, isang benchmark ng 206 na gawain sa 11 larangan na pinili dahil ikinabubuhay ng mga tao ang mga ito: chip design, cybersecurity, legal na trabaho, quantitative trading, biology, software engineering at marami pang iba.

Labing-apat na industry partners ang nagbigay ng mga gawain, at dalawampung frontier models ang binigyang-grado. Ang benchmark ay kapansin-pansin hindi dahil sa hirap nito, kundi dahil sa pinagmulang materyal: mga trabahong binabayaran ang mga tao.

2. Ang scoreboard: dalawampung modelo, isang mababang average

Ang modelong may pinakamataas na iskor ay nakakuha ng average na 12 porsyento sa labing-isang domain, bawat isa ay may pantay na bigat. Ang pangalawa ay nakakuha ng 10.9 at ang pangatlo ay 9.6. Ang numerong iyon ay domain-weighted average sa isang set ng gawain ng isang kumpanya, hindi bahagi ng lahat ng bayad na gawaing pang-eksperto. Sa pinakamahigpit na pagmamarka, walang modelong nakapagtapos ng kahit isang gawaing pinansyal o legal, kaya ang mga naipublish na iskor ay binibilang ang bahagi ng natupad na indibidwal na kinakailangan sa halip na tapos na trabaho.

Gayunpaman, ang scoreboard ay panimulang punto, hindi hatol. Ang mga numerong ito ay sumusukat sa mga gawain ng isang firm gamit ang rubric ng firm ding iyon, at inilalarawan nila ang mga modelo ngayon, hindi ang sa susunod na taon.

3. Ang mga hangganan: ang hindi napapatunayan ng GDPx

Ang GDPx ay hindi perpekto. Gumagamit ito ng mga gawain ng isang firm at rubric ng isang firm, wala pang independiyenteng pagsusuri, at ang firm ay nagbebenta ng research sa mismong industriyang ginagraduhan nito.

Ang aral ay hawakan ang numero nang may pag-iingat. Ngunit tama ang direksyon, dahil sinusukat nito ang mga modelo sa trabahong kumikita, hindi sa mga trivia na nakakaimpres.

4. Ang column ng gastos: $51 laban sa $16

Ang nangunguna ay gumastos ng average na humigit-kumulang $51 bawat sinubukang gawain. Ang pangalawa ay gumastos ng average na humigit-kumulang $16 bawat gawain para sa iskor na isang puntos lamang ang agwat.

Kung ang iyong agentic strategy ay nagpapalagay na sabay na umuusad ang kakayahan at gastos, sinasabi ng talahanayang ito na hindi. Ang pinakamurang daan patungo sa resulta ay ngayon ay kasing-estratehiko ng resulta mismo, at ang pagsusuring iyon ay nararapat sa procurement, hindi sa marketing page.

5. Pagbasa ng mga agent pitch laban sa isang pampublikong numero

Ang mga demo na makikita mo ngayong quarter ay lahat mag-aangkin ng kahandaan para sa gawaing pang-eksperto. Isang pampublikong, pinangalanang benchmark ang nagtakda ng pinakamataas na average sa 12 porsyento sa gawaing may kita.

Hindi nito ginagawang walang silbi ang mga agent. Ibig sabihin, ang tapat na deployment zone ngayon ay mga makitid, mahusay na nasusukat na gawain na may pagsusuri ng tao, hindi ang mga awtonomong departamentong ibinebenta sa entablado.

Mga aral para sa mga lider saanman

Una, tapos na ang panahon ng demo. Kapag ang isang industriya ay nagsisimulang makipagtalo tungkol sa mga scoreboard, hindi na naaayos ng mga demo ang mga argumento.

Pangalawa, hindi sabay na umuusad ang gastos at kakayahan. Ilagay ang gastos bawat natapos na gawain sa procurement, katabi ng iskor.

Pangatlo, basahin ang bawat agent pitch laban sa isang pampublikong numero. Ang tapat na deployment zone ngayon ay makitid, mahusay na nasusukat, at sinusuri ng tao.

Panghuli, magtanong ng isang tanong sa bawat AI vendor ngayong quarter: ipakita mo sa akin ang iyong iskor sa isang independiyenteng, nakabatay-sa-gawain na benchmark para sa trabahong katulad ng akin, at ang iyong gastos bawat natapos na gawain. Kung hindi sila makasagot, may natutunan kang mas mahalaga kaysa sa demo.

Konklusyon: ang pagsusukat ang pumalit sa marketing

Ang pinakamataas na average na 12 porsyento ay hindi dahilan para talikuran ang mga AI agent. Ito ay dahilan para bilhin ang mga ito na may ebidensiya sa halip na sigasig.

Ang artipisyal na katalinuhan ay magtatamo ng kanyang lugar sa pamamagitan ng mga nasusukat na resulta, hindi sa palabas sa entablado. Sa huli, ang matematika ng gastos bawat gawain, na binilang nang tapat, ang magpapasya kung saan tunay na kabilang ang teknolohiyang ito.

Mga sanggunian at karagdagang babasahin

SemiAnalysis, “GDPx: The General Agentic Benchmark” – https://gdpx.semianalysis.com

SemiAnalysis, mga tala ng pananaliksik at pagsusuri ng industriya – https://semianalysis.com

Mag-isip nang matematikal. Mag-imbento nang matalino. Mamuno nang estratehiko. Bumuo nang may pananagutan. Lumawak nang global. Lumikha ng tunay na halagang pangnegosyo sa pamamagitan ng artificial intelligence.

#ArtificialIntelligence #AIStrategy #AIGovernance #EnterpriseAI #ITImpress

By Keshavan Thiagaraja

Private AI Model Developer & AI Security Consultant Helping SMEs and Enterprises Build Secure AI Solutions Sydney, Australia.

B.Sc. (Computer Science, Mathematics and Statistics),

M.Sc. (Information Technology)

E-Commerce Professional