206 विशेषज्ञ कार्यों से एक शांत कर देने वाला आंकड़ा 12 प्रतिशत तक: GDPx बेंचमार्क आज के AI एजेंटों की असली सीमाओं के बारे में क्या बताता है

परिचय: यदि AI एजेंट विशेषज्ञ काम के लिए तैयार हैं, तो सर्वश्रेष्ठ ने सिर्फ 12 प्रतिशत क्यों स्कोर किया?

वास्तविक, भुगतान किए गए विशेषज्ञ कार्यों से बने एक नए बेंचमार्क ने बीस फ्रंटियर AI मॉडलों का मूल्यांकन किया है, और उनमें से सर्वश्रेष्ठ ने अपने ग्यारह समान भारित क्षेत्रों में औसतन 12 प्रतिशत स्कोर किया।

क्या कोई AI एजेंट वह काम कर सकता है जिसके लिए आपका व्यवसाय विशेषज्ञों को भुगतान करता है? उस दावे का ईमानदार स्कोरबोर्ड कैसा दिखेगा? और हस्ताक्षर करने से पहले विक्रेता से क्या पूछना चाहिए?

सिडनी में छोटे, मध्यम और बड़े उद्यमों के साथ काम करने वाले निजी AI मॉडल डेवलपर और AI सुरक्षा सलाहकार के रूप में, मुझसे हर हफ्ते ये सवाल पूछे जाते हैं। इन उत्तरों का बजट, स्टाफिंग और जोखिम से सीधा संबंध है।

यह लेख बताता है कि GDPx बेंचमार्क ने क्या मापा, उसके आंकड़े क्या साबित करते हैं और क्या नहीं, और इस तिमाही AI एजेंटों का मूल्यांकन करने वाले हर नेता के लिए व्यावहारिक सबक क्या हैं।

1. GDPx ने वास्तव में क्या मापा

इस सप्ताह रिसर्च फर्म SemiAnalysis ने GDPx प्रकाशित किया, जो 11 क्षेत्रों में 206 कार्यों का बेंचमार्क है। ये क्षेत्र इसलिए चुने गए क्योंकि लोग इन्हें करके अजीविका कमाते हैं: चिप डिज़ाइन, साइबर सुरक्षा, कानूनी काम, क्वांटिटेटिव ट्रेडिंग, जीव विज्ञान, सॉफ्टवेयर इंजीनियरिंग और अन्य।

चौदह उद्योग भागीदारों ने कार्य दिए, और बीस फ्रंटियर मॉडलों का मूल्यांकन हुआ। यह बेंचमार्क अपनी कठिनाई से कम, अपनी सामग्री के लिए उल्लेखनीय है: वे काम जिनके लिए लोगों को भुगतान मिलता है।

2. स्कोरबोर्ड: बीस मॉडल, एक निचला औसत

शीर्ष स्कोर वाले मॉडल ने ग्यारह क्षेत्रों में, प्रत्येक समान भार के साथ, औसतन 12 प्रतिशत हासिल किया। दूसरे स्थान वाले ने 10.9 और तीसरे स्थान के मॉडल ने 9.6 स्कोर किया। यह आंकड़ा एक कंपनी के कार्य-समूह पर क्षेत्र-भारित औसत है, सभी भुगतान किए गए विशेषज्ञ कार्यों की हिस्सेदारी नहीं। सबसे कठोर ग्रेडिंग में किसी भी मॉडल ने एक भी वित्त या कानूनी कार्य पूरा नहीं किया, इसलिए प्रकाशित स्कोर पूर्ण किए गए कार्यों के बजाय पूरी की गई व्यक्तिगत आवश्यकताओं की हिस्सेदारी गिनते हैं।

हालांकि, स्कोरबोर्ड एक शुरुआती बिंदु है, फैसला नहीं। ये आंकड़े एक फर्म के कार्यों को उसी फर्म के मापदंड से मापते हैं, और ये अगले साल के नहीं, आज के मॉडलों का वर्णन करते हैं।

3. सीमाएँ: GDPx क्या स्थापित नहीं करता

GDPx पूर्ण नहीं है। इसमें एक ही फर्म के कार्य और एक ही फर्म का मूल्यांकन मापदंड है, अभी तक कोई स्वतंत्र पुष्टि नहीं हुई है, और वह फर्म उसी उद्योग को रिसर्च बेचती है जिसका वह मूल्यांकन करती है।

सबक यह है कि संख्या को ढीली पकड़ से लें। लेकिन दिशा सही है, क्योंकि यह मॉडलों को प्रभावित करने वाली तुच्छ जानकारी पर नहीं, बल्कि भुगतान देने वाले काम पर मापती है।

4. लागत कॉलम: $51 बनाम $16

शीर्ष मॉडल ने प्रति प्रयास किए गए कार्य औसतन लगभग $51 खर्च किए। दूसरे स्थान वाले ने एक अंक के भीतर रहते स्कोर के लिए प्रति कार्य औसतन लगभग $16 ही खर्च किए।

यदि आपकी एजेंटिक रणनीति मानती है कि क्षमता और लागत साथ-साथ चलती हैं, तो यह तालिका कहती है कि ऐसा नहीं है। परिणाम का सबसे सस्ता रास्ता अब उतना ही रणनीतिक है जितना स्वयं परिणाम, और वह विश्लेषण मार्केटिंग पेज पर नहीं, खरीद विभाग में होना चाहिए।

5. एजेंट पिचों को एक सार्वजनिक संख्या से तौलना

इस तिमाही आप जो डेमो देखेंगे वे सभी विशेषज्ञ काम के लिए तैयारी का दावा करेंगे। एक सार्वजनिक, नामित बेंचमार्क ने अभी भुगतान वाले काम पर शीर्ष औसत 12 प्रतिशत पर रखा है।

इससे एजेंट बेकार नहीं हो जाते। इसका अर्थ है कि आज की ईमानदार तैनाती क्षेत्र संकीर्ण, अच्छी तरह मापे जाने वाले, मानव समीक्षा वाले कार्य हैं, न कि मंच पर बेचे जा रहे स्वायत्त विभाग।

हर जगह के नेताओं के लिए सबक

पहला, डेमो का युग समाप्त हो गया है। जब कोई उद्योग स्कोरबोर्ड पर बहस करने लगता है, तो डेमो बहसों का फैसला करना बंद कर चुके होते हैं।

दूसरा, लागत और क्षमता साथ-साथ नहीं चलतीं। प्रति पूर्ण कार्य लागत को स्कोर के साथ खरीद प्रक्रिया में शामिल करें।

तीसरा, हर एजेंट पिच को एक सार्वजनिक संख्या से तौलें। आज की ईमानदार तैनाती क्षेत्र संकीर्ण, अच्छी तरह मापी गई और मानव-समीक्षित है।

अंत में, इस तिमाही हर AI विक्रेता से एक ही सवाल पूछें: मेरे जैसे काम के लिए किसी स्वतंत्र, कार्य-आधारित बेंचमार्क पर अपना स्कोर दिखाएँ, और प्रति पूर्ण कार्य अपनी लागत बताएँ। यदि वे उत्तर नहीं दे सकते, तो आपने डेमो से अधिक मूल्यवान कुछ सीख लिया है।

निष्कर्ष: मार्केटिंग की जगह मापने ने ले ली है

12 प्रतिशत का शीर्ष औसत AI एजेंटों से दूर हटने का कारण नहीं है। यह उत्साह के बजाय साक्ष्य के साथ उन्हें खरीदने का कारण है।

कृत्रिम बुद्धिमत्ता मंच की चमक से नहीं, मापने योग्य परिणामों से अपनी जगह बनाएगी। अंत में, प्रति कार्य लागत का गणित, ईमानदारी से गिना गया, तय करता है कि यह तकनीक वास्तव में कहाँ उपयुक्त है।

संदर्भ और आगे पढ़ने के लिए

SemiAnalysis, “GDPx: The General Agentic Benchmark” – https://gdpx.semianalysis.com

SemiAnalysis, रिसर्च नोट्स और उद्योग विश्लेषण – https://semianalysis.com

गणितीय सोचें। बुद्धिमानी से इंजीनियर करें। रणनीतिक नेतृत्व करें। जिम्मेदारी से बनाएं। वैश्विक स्तर पर विस्तार करें। कृत्रिम बुद्धिमत्ता के माध्यम से वास्तविक व्यावसायिक मूल्य बनाएं।

#ArtificialIntelligence #AIStrategy #AIGovernance #EnterpriseAI #ITImpress

By Keshavan Thiagaraja

Private AI Model Developer & AI Security Consultant Helping SMEs and Enterprises Build Secure AI Solutions Sydney, Australia.

B.Sc. (Computer Science, Mathematics and Statistics),

M.Sc. (Information Technology)

E-Commerce Professional