از ۲۰۶ تکلیف متخصص تا یک عدد عبرت‌آموز، ۱۲ درصد: آنچه بنچمارک GDPx درباره محدودیت‌های واقعی عامل‌های هوش مصنوعی امروزی آشکار می‌کند
مقدمه: اگر عامل‌های هوش مصنوعی برای کار متخصصان آماده‌اند، چرا بهترینشان فقط ۱۲ درصد امتیاز گرفت؟
یک بنچمارک جدید که از کارهای واقعی و حقوق‌بگیر متخصصان ساخته شده، همین حالا بیست مدل پیشرو هوش مصنوعی را ارزیابی کرده و بهترین آن‌ها در یازده حوزه با وزن برابر به‌طور میانگین ۱۲ درصد امتیاز گرفته است.
آیا یک عامل هوش مصنوعی می‌تواند کاری را انجام دهد که شرکت شما برایش به متخصصان حقوق می‌دهد؟ تابلوی امتیاز صادقانه برای این ادعا چه شکلی است؟ و پیش از امضا باید از فروشنده چه بپرسید؟
من به‌عنوان توسعه‌دهنده مستقل مدل‌های هوش مصنوعی و مشاور امنیت هوش مصنوعی که با کسب‌وکارهای کوچک، متوسط و بزرگ در سیدنی کار می‌کنم، هر هفته این پرسش‌ها از من پرسیده می‌شود. پاسخ‌ها برای بودجه، نیروی انسانی و ریسک مهم‌اند.
این مقاله توضیح می‌دهد که بنچمارک GDPx چه چیزی را سنجید، عددهایش چه چیزی را ثابت می‌کنند و چه چیزی را نه، و چه درس‌های عملی برای هر رهبری که این فصل عامل‌های هوش مصنوعی را ارزیابی می‌کند دارد.
1. GDPx واقعاً چه چیزی را سنجید
این هفته شرکت پژوهشی SemiAnalysis بنچمارک GDPx را منتشر کرد؛ بنچمارکی با ۲۰۶ تکلیف در ۱۱ حوزه که به این دلیل انتخاب شده‌اند که مردم با آن‌ها امرار معاش می‌کنند: طراحی تراشه، امنیت سایبری، کار حقوقی، معاملات کمی، زیست‌شناسی، مهندسی نرم‌افزار و بیشتر.
چهارده شریک صنعتی تکالیف را ارائه کردند و بیست مدل پیشرو ارزیابی شدند. این بنچمارک نه به‌خاطر دشواری‌اش، بلکه به‌خاطر ماده خامش قابل توجه است: کارهایی که مردم برای انجامشان حقوق می‌گیرند.
2. تابلوی امتیازها: بیست مدل، یک میانگین پایین
مدل دارای بالاترین امتیاز در یازده حوزه، که هر کدام وزن برابر دارند، به‌طور میانگین ۱۲ درصد گرفت. نفر دوم ۱۰.۹ و مدل سوم ۹.۶ امتیاز گرفتند. این عدد میانگینی وزنی بر اساس حوزه‌ها روی مجموعه تکالیف یک شرکت است، نه سهمی از کل کار متخصصان حقوق‌بگیر. با سخت‌گیرانه‌ترین داوری، هیچ مدلی حتی یک تکلیف مالی یا حقوقی را کامل نکرد، پس امتیازهای منتشرشده سهم الزامات فردی برآورده‌شده را می‌شمارند، نه کارهای تمام‌شده را.
با این حال، تابلوی امتیازها نقطه شروع است، نه حکم. این عددها تکالیف یک شرکت را با معیار همان شرکت می‌سنجند و مدل‌های امروز را توصیف می‌کنند، نه مدل‌های سال آینده را.
3. محدودیت‌ها: آنچه GDPx ثابت نمی‌کند
GDPx بی‌نقص نیست. از تکالیف یک شرکت و معیار ارزیابی یک شرکت استفاده می‌کند، هنوز بازتولید مستقلی انجام نشده، و آن شرکت به همان صنعتی که ارزیابی می‌کند پژوهش می‌فروشد.
درس این است که عدد را با احتیاط بگیرید. اما مسیر درست است، چون مدل‌ها را روی کاری می‌سنجد که درآمد دارد، نه چیزهای جزئی که تحسین می‌کنند.
4. ستون هزینه: ۵۱ دلار در برابر ۱۶ دلار
پیشتاز به‌طور میانگین حدود ۵۱ دلار برای هر تکلیف تلاش‌شده خرج کرد. نفر دوم برای امتیازی که کمتر از یک امتیاز فاصله داشت به‌طور میانگین فقط حدود ۱۶ دلار برای هر تکلیف خرج کرد.
اگر استراتژی عامل‌های شما فرض می‌کند توانایی و هزینه با هم حرکت می‌کنند، این جدول می‌گوید چنین نیست. ارزان‌ترین مسیر به یک نتیجه اکنون به اندازه خود نتیجه راهبردی است، و آن تحلیل جایش در واحد تدارکات است، نه در صفحه بازاریابی.
5. خواندن پیشنهادهای عامل‌ها در برابر یک عدد عمومی
دموهایی که این فصل خواهید دید همه ادعای آمادگی برای کار متخصصان را دارند. یک بنچمارک عمومی و نام‌برده همین حالا بالاترین میانگین را روی کاری که درآمد دارد ۱۲ درصد تعیین کرده است.
این باعث نمی‌شود عامل‌ها بی‌فایده شوند. یعنی منطقه صادقانه استقرار امروز، تکالیف باریک، با ابزار دقیق و با بازبینی انسانی است، نه بخش‌های خودگردانی که روی صحنه فروخته می‌شوند.
درس‌هایی برای رهبران در همه‌جا
اول، دوران دمو تمام شده است. وقتی یک صنعت شروع به بحث درباره تابلوی امتیازها می‌کند، دموها دیگر اختلاف‌ها را حل نمی‌کنند.
دوم، هزینه و توانایی با هم حرکت نمی‌کنند. هزینه هر تکلیف تکمیل‌شده را در کنار امتیاز، وارد تدارکات کنید.
سوم، هر پیشنهاد عامل را با یک عدد عمومی بسنجید. منطقه صادقانه استقرار امروز باریک است، ابزار دقیق دارد و انسان بازبینی‌اش می‌کند.
سرانجام، این فصل از هر فروشنده هوش مصنوعی فقط یک سؤال بپرسید: امتیازت را در یک بنچمارک مستقل و مبتنی بر تکلیف برای کاری مثل کار من نشانم بده، و هزینه‌ات برای هر تکلیف تکمیل‌شده را هم بگو. اگر نتوانند جواب بدهند، چیزی آموخته‌ای که از دمو ارزشمندتر است.
نتیجه‌گیری: سنجش جای بازاریابی را گرفته است
بالاترین میانگین ۱۲ درصدی دلیلی برای کنار گذاشتن عامل‌های هوش مصنوعی نیست. دلیلی است برای اینکه آن‌ها را با مدرک بخرید، نه با هیجان.
هوش مصنوعی جای خود را با نتایج قابل سنجش به دست می‌آورد، نه با نمایش صحنه‌ای. در پایان، ریاضیات هزینه هر تکلیف، که صادقانه شمرده شود، تعیین می‌کند این فناوری واقعاً متعلق به کجاست.
منابع و مطالعه بیشتر
SemiAnalysis, “GDPx: The General Agentic Benchmark” – https://gdpx.semianalysis.com
SemiAnalysis، یادداشت‌های پژوهشی و تحلیل‌های صنعتی – https://semianalysis.com
ریاضی بیندیشید. هوشمندانه مهندسی کنید. راهبردی رهبری کنید. مسئولانه بسازید. جهانی گسترش یابید. از طریق هوش مصنوعی ارزش تجاری واقعی خلق کنید.
#ArtificialIntelligence #AIStrategy #AIGovernance #EnterpriseAI #ITImpress
By Keshavan Thiagaraja
Private AI Model Developer & AI Security Consultant Helping SMEs and Enterprises Build Secure AI Solutions Sydney, Australia.
B.Sc. (Computer Science, Mathematics and Statistics),
M.Sc. (Information Technology)
E-Commerce Professional