من 206 مهام للخبراء إلى رقم واحد يدعو للتروي هو 12 بالمئة: ما يكشفه معيار GDPx عن الحدود الحقيقية لوكلاء الذكاء الاصطناعي اليوم

مقدمة: إذا كان وكلاء الذكاء الاصطناعي جاهزين لعمل الخبراء، فلماذا لم يحقق الأفضل منهم سوى 12 بالمئة؟

معيار جديد مبني من مهام خبراء حقيقية مدفوعة الأجر قيّم للتو عشرين نموذج ذكاء اصطناعي متقدماً، وحقق أفضلها في المتوسط 12 بالمئة عبر مجالاته الأحد عشر متساوية الأوزان.

هل يستطيع وكيل ذكاء اصطناعي أن يؤدي العمل الذي تدفع شركتك للخبراء أجراً عليه؟ كيف تبدو لوحة نتائج صادقة لهذا الادعاء؟ وما الذي ينبغي أن تسأله للمورّد قبل التوقيع؟

بصفتي مطور نماذج ذكاء اصطناعي خاصاً ومستشاراً لأمن الذكاء الاصطناعي أعمل مع الشركات الصغيرة والمتوسطة والكبيرة في سيدني، تُطرح عليّ هذه الأسئلة كل أسبوع. والإجابات مهمة للميزانيات والتوظيف والمخاطر.

تشرح هذه المقالة ماذا قاس معيار GDPx، وما الذي تثبته أرقامه وما لا تثبته، والدروس العملية لأي قائد يقيّم وكلاء الذكاء الاصطناعي هذا الربع.

1. ما الذي قاسه GDPx فعلاً

هذا الأسبوع نشرت شركة الأبحاث SemiAnalysis معيار GDPx، وهو معيار يضم 206 مهام عبر 11 مجالاً اختيرت لأن الناس يكسبون عيشهم منها: تصميم الرقائق، الأمن السيبراني، العمل القانوني، التداول الكمي، علم الأحياء، هندسة البرمجيات وغيرها.

قدمت المهام أربع عشرة جهة صناعية شريكة، وجرى تقييم عشرين نموذجاً متقدماً. والمعيار جدير بالملاحظة لا لصعوبته، بل لمادته الخام: أعمال يتقاضى الناس عليها أجراً.

2. لوحة النتائج: عشرون نموذجاً ومتوسط واحد منخفض

النموذج صاحب أعلى نتيجة حقق في المتوسط 12 بالمئة عبر المجالات الأحد عشر، ولكل منها الوزن نفسه. وسجل الوصيف 10.9، وسجل صاحب المركز الثالث 9.6. هذا الرقم متوسط موزون بالمجالات على مجموعة مهام شركة واحدة، وليس حصة من كل عمل الخبراء المدفوع. وبموجب أشد معايير التقييم، لم يُنهِ أي نموذج مهمة مالية أو قانونية واحدة، لذا تحتسب النتائج المنشورة حصة المتطلبات الفردية المُستوفاة لا المهام المكتملة.

لكن لوحة النتائج نقطة انطلاق، وليست حكماً. هذه الأرقام تقيس مهام شركة واحدة بمعايير الشركة نفسها، وهي تصف نماذج اليوم لا نماذج العام المقبل.

3. الحدود: ما لا يثبته GDPx

معيار GDPx ليس مثالياً. فهو يستخدم مهام شركة واحدة ومعايير تقييم شركة واحدة، ولا يوجد تحقق مستقل حتى الآن، والشركة تبيع الأبحاث للصناعة نفسها التي تقيّمها.

الدرس هو التعامل مع الرقم بحذر. لكن الاتجاه صحيح، لأنه يقيس النماذج على عمل يدر دخلاً، لا على معلومات تافهة تبهر.

4. عمود التكلفة: 51 مقابل 16 دولاراً

المتصدر أنفق في المتوسط نحو 51 دولاراً لكل مهمة تمت محاولتها. الوصيف أنفق في المتوسط نحو 16 دولاراً لكل مهمة لنتيجة تقل عنه بأقل من نقطة.

إذا كانت استراتيجيتك للوكلاء تفترض أن القدرة والتكلفة يتحركان معاً، فهذا الجدول يقول غير ذلك. أرخص طريق إلى النتيجة أصبح استراتيجياً بقدر النتيجة نفسها، وهذا التحليل مكانه قسم المشتريات، لا صفحة التسويق.

5. قراءة عروض الوكلاء على ضوء رقم علني

العروض التي ستراها هذا الربع ستدعي جميعها الجاهزية لعمل الخبراء. معيار عام معلن وضع للتو أعلى متوسط عند 12 بالمئة على عمل يدر دخلاً.

هذا لا يجعل الوكلاء بلا فائدة. بل يعني أن منطقة النشر الصادقة اليوم هي المهام الضيقة المُجهزة جيداً بأدوات القياس مع مراجعة بشرية، وليس الأقسام المستقلة التي تُباع على المسرح.

دروس للقادة في كل مكان

أولاً، انتهى عصر العروض التوضيحية. عندما تبدأ صناعة ما بالجدال حول لوحات النتائج، تكون العروض قد توقفت عن حسم النقاشات.

ثانياً، التكلفة والقدرة لا يتحركان معاً. أدخل تكلفة المهمة المكتملة في المشتريات، بجانب النتيجة.

ثالثاً، اقرأ كل عرض لوكيل على ضوء رقم علني. منطقة النشر الصادقة اليوم ضيقة، ومُقاسة جيداً، وتخضع لمراجعة بشرية.

أخيراً، اسأل كل مورّد ذكاء اصطناعي سؤالاً واحداً هذا الربع: أرني نتيجتك في معيار مستقل قائم على المهام لعمل يشبه عملي، وتكلفتك لكل مهمة مكتملة. إذا لم يستطيعوا الإجابة، فقد تعلمت شيئاً أثمن من العرض التوضيحي.

الخلاصة: القياس حل محل التسويق

متوسط الـ12 بالمئة الأعلى ليس سبباً للابتعاد عن وكلاء الذكاء الاصطناعي. بل هو سبب لشرائها بالدليل بدلاً من الحماس.

سيكسب الذكاء الاصطناعي مكانته بنتائج قابلة للقياس، لا بالاستعراض. وفي النهاية، فإن حساب تكلفة المهمة، بعدّ صادق، هو من يقرر أين ينتمي هذا التقنية حقاً.

المراجع وقراءات إضافية

SemiAnalysis, “GDPx: The General Agentic Benchmark” – https://gdpx.semianalysis.com

SemiAnalysis، مذكرات بحثية وتحليلات للصناعة – https://semianalysis.com

فكر رياضياً. هندس بذكاء. قد باستراتيجية. ابنِ بمسؤولية. توسع عالمياً. اخلق قيمة تجارية حقيقية من خلال الذكاء الاصطناعي.

#ArtificialIntelligence #AIStrategy #AIGovernance #EnterpriseAI #ITImpress

By Keshavan Thiagaraja

Private AI Model Developer & AI Security Consultant Helping SMEs and Enterprises Build Secure AI Solutions Sydney, Australia.

B.Sc. (Computer Science, Mathematics and Statistics),

M.Sc. (Information Technology)

E-Commerce Professional