206 तज्ञांच्या कामांपासून एका विचार करायला लावणाऱ्या आकड्यापर्यंत, 12 टक्के: GDPx बेंचमार्क आजच्या AI एजेंट्सच्या खऱ्या मर्यादा काय सांगतो

प्रस्तावना: AI एजेंट्स तज्ञांच्या कामासाठी तयार असतील तर सर्वोत्तमाने केवळ 12 टक्के का मिळवले?

खऱ्या, पैसे मिळणाऱ्या तज्ञांच्या कामांवरून तयार केलेल्या नव्या बेंचमार्कने नुकत्याच वीस फ्रंटियर AI मॉडल्सचे मूल्यमापन केले आहे, आणि त्यांपैकी सर्वोत्तमाने समान वजन असलेल्या अकरा क्षेत्रांत सरासरी 12 टक्के गुण मिळवले आहेत.

AI एजेंट तुमची कंपनी तज्ञांना पैसे देते ते काम करू शकतो का? या दाव्यासाठी प्रामाणिक स्कोअरबोर्ड कसा दिसेल? आणि करारावर स्वाक्षरी करण्यापूर्वी पुरवठादाराला काय विचारावे?

सिडनीतील छोट्या, मध्यम आणि मोठ्या उद्योगांसोबत काम करणारा स्वतंत्र AI मॉडेल डेव्हलपर आणि AI सुरक्षा सल्लागार म्हणून मला दर आठवड्यात हे प्रश्न विचारले जातात. या उत्तरांचा संबंध अर्थसंकल्प, मनुष्यबळ आणि जोखमींशी आहे.

GDPx बेंचमार्कने नेमके काय मोजले, त्याचे आकडे काय सिद्ध करतात आणि काय सिद्ध करत नाहीत, आणि या तिमाहीत AI एजेंट्सचे मूल्यमापन करणाऱ्या प्रत्येक नेत्यासाठी व्यावहारिक धडे कोणते, हे हा लेख सांगतो.

1. GDPx ने प्रत्यक्षात काय मोजले

या आठवड्यात संशोधन संस्था SemiAnalysis ने GDPx प्रकाशित केला, जो 11 क्षेत्रांमधील 206 कामांचा बेंचमार्क आहे. ही क्षेत्रे म्हणूनच निवडली कारण लोक त्यांना करून उदरनिर्वाह करतात: चिप डिझाइन, सायबर सुरक्षा, कायदेशीर काम, क्वान्टिटेटिव्ह ट्रेडिंग, जीवशास्त्र, सॉफ्टवेअर अभियांत्रिकी आणि बरेच काही.

चौदा उद्योग भागीदारांनी कामे दिली, आणि वीस फ्रंटियर मॉडल्सचे मूल्यमापन झाले. हा बेंचमार्क आपल्या कठिणतेपेक्षा आपल्या मूळ साहित्यासाठी ठळक आहे: लोकांना पैसे मिळतात अशी कामे.

2. स्कोअरबोर्ड: वीस मॉडेल्स, एक खालची सरासरी

सर्वाधिक गुण मिळवणाऱ्या मॉडलने अकरा क्षेत्रांत, प्रत्येकी समान वजनासह, सरासरी 12 टक्के गुण मिळवले. दुसऱ्या क्रमांकाने 10.9 आणि तिसऱ्या क्रमांकाच्या मॉडलने 9.6 गुण मिळवले. हा आकडा एका संस्थेच्या कार्य-संचावरील क्षेत्र-भारित सरासरी आहे, सर्व पैसे मिळणाऱ्या तज्ञ कामांचा वाटा नाही. सर्वात कठोर मूल्यमापनाखाली कोणत्याही मॉडलने एकही वित्तीय किंवा कायदेशीर काम पूर्ण केले नाही, म्हणून प्रकाशित गुण पूर्ण झालेल्या कामांऐवजी भरल्या गेलेल्या वैयक्तिक आवश्यकतांचा वाटा मोजतात.

मात्र स्कोअरबोर्ड हा सुरुवातीचा बिंदू आहे, निकाल नव्हे. हे आकडे एकाच संस्थेची कामे तिच्याच निकषांनी मोजतात, आणि ते पुढच्या वर्षाची नव्हे, तर आजची मॉडेल्स सांगतात.

3. मर्यादा: GDPx काय सिद्ध करत नाही

GDPx परिपूर्ण नाही. त्यात एकाच संस्थेची कामे आणि एकाच संस्थेचे मूल्यमापन निकष आहेत, अजून स्वतंत्र पडताळणी झालेली नाही, आणि ती संस्था ज्या उद्योगाचे मूल्यमापन करते त्याच उद्योगाला संशोधन विकते.

धडा असा की आकडा सैल पकडीनं घ्यावा. पण दिशा बरोबर आहे, कारण हे मॉडल्सचे मापन प्रभावित करणाऱ्या छोट्या गोष्टींवर नाही, तर पैसे देणाऱ्या कामावर करते.

4. खर्चाचा स्तंभ: 51 विरुद्ध 16 डॉलर्स

आघाडीच्या मॉडलने प्रत्येकी प्रयत्न केलेल्या कामामागे सरासरी सुमारे 51 डॉलर्स खर्च केले. दुसऱ्या क्रमांकाच्या मॉडलने एक गुणांच्या आत असलेल्या स्कोअरसाठी प्रति काम सरासरी सुमारे 16 डॉलर्सच खर्च केले.

तुमची एजेंटिक रणनीती असे गृहीत धरत असेल की क्षमता आणि खर्च एकत्र वाढतात, तर हा तक्ता सांगतो की तसे नाही. निकालाकडे जाणारा सर्वात स्वस्त मार्ग आता निकालाएवढाच धोरणात्मक आहे, आणि ते विश्लेषण मार्केटिंग पृष्ठावर नसून खरेदी विभागात हवे.

5. एजेंट पिचेस एका सार्वजनिक आकड्याशी ताळून वाचणे

या तिमाहीत तुम्ही पाहणार असलेले सर्व डेमो तज्ञांच्या कामासाठी सज्ज असल्याचा दावा करतील. एका सार्वजनिक, नामांकित बेंचमार्कने नुकतीच पैसे मिळणाऱ्या कामावर सर्वोच्च सरासरी 12 टक्क्यांवर ठेवली आहे.

यामुळे एजेंट्स निकामी होत नाहीत. याचा अर्थ आजचा प्रामाणिक अंमलबजावणी परिसर म्हणजे अरुंद, चांगल्या प्रकारे मोजमाप करण्यायोग्य, मानवी आढावा असलेली कामे; व्यासपीठावर विकली जाणारी स्वायत्त विभागे नव्हेत.

सर्वत्रच्या नेत्यांसाठी धडे

पहिला, डेमोचा युग संपला आहे. एखादे उद्योगक्षेत्र स्कोअरबोर्डवर भांडू लागले की डेमो वाद मिटवत नाहीत.

दुसरा, खर्च आणि क्षमता एकत्र वाढत नाहीत. प्रत्येकी पूर्ण कामामागचा खर्च स्कोअरच्या बाजूने खरेदीत घ्या.

तिसरा, प्रत्येक एजेंट पिच एका सार्वजनिक आकड्याशी ताळून वाचा. आजचा प्रामाणिक अंमलबजावणी परिसर अरुंद, चांगल्या प्रकारे मोजला जाणारा आणि मानवी आढावा घेतलेला आहे.

शेवटी, या तिमाहीत प्रत्येक AI पुरवठादाराला एकच प्रश्न विचारा: माझ्यासारख्या कामासाठी स्वतंत्र, कामावर आधारित बेंचमार्कमध्ये तुमचा स्कोअर दाखवा आणि प्रत्येकी पूर्ण कामामागचा तुमचा खर्च सांगा. उत्तर देता आले नाही तर डेमोपेक्षा मौल्यवान असं काहीतरी तुम्ही शिकलात.

समारोप: विपणनाची जागा मोजमापाने घेतली आहे

12 टक्क्यांची सर्वोच्च सरासरी AI एजेंट्सपासून दूर जाण्याचे कारण नाही. ती उत्साहाऐवजी पुराव्याने त्यांची खरेदी करण्याचे कारण आहे.

कृत्रिम बुद्धिमत्ता मंचसज्जेने नव्हे, तर मोजता येणाऱ्या निकालांनी आपले स्थान मिळवेल. शेवटी, प्रत्येकी कामामागच्या खर्चाचे गणित, प्रामाणिकपणे मोजलेले, हे ठरवते की हे तंत्रज्ञान खरोखर कोठे बसते.

संदर्भ आणि पुढील वाचनासाठी

SemiAnalysis, “GDPx: The General Agentic Benchmark” – https://gdpx.semianalysis.com

SemiAnalysis, संशोधन नोंदी आणि उद्योग विश्लेषणे – https://semianalysis.com

गणितीय विचार करा. बुद्धिमानपणे अभियांत्रिकी करा. धोरणात्मक नेतृत्व करा. जबाबदारीने बांधा. जागतिक पातळीवर विस्तार करा. कृत्रिम बुद्धिमत्तेद्वारे खरे व्यावसायिक मूल्य निर्माण करा.

#ArtificialIntelligence #AIStrategy #AIGovernance #EnterpriseAI #ITImpress

By Keshavan Thiagaraja

Private AI Model Developer & AI Security Consultant Helping SMEs and Enterprises Build Secure AI Solutions Sydney, Australia.

B.Sc. (Computer Science, Mathematics and Statistics),

M.Sc. (Information Technology)

E-Commerce Professional