От 206 экспертных задач к одной отрезвляющей цифре в 12 процентов: что бенчмарк GDPx раскрывает о реальных пределах сегодняшних ИИ-агентов

Введение: если ИИ-агенты готовы к экспертной работе, почему лучший из них набрал лишь 12 процентов?

Новый бенчмарк, построенный на реальных, оплачиваемых экспертных задачах, только что оценил двадцать передовых моделей ИИ, и лучшая из них набрала в среднем 12 процентов по одиннадцати равновзвешенным областям.

Может ли ИИ-агент выполнять работу, за которую ваша компания платит экспертам? Как выглядело бы честное табло для такого заявления? И что следует спросить у поставщика до подписания контракта?

Как частный разработчик моделей ИИ и консультант по безопасности ИИ, работающий с малым, средним и крупным бизнесом в Сиднее, я слышу эти вопросы каждую неделю. От ответов зависят бюджеты, штат и риски.

Эта статья объясняет, что измерил бенчмарк GDPx, что его цифры доказывают и чего не доказывают, и какие практические уроки стоит извлечь руководителю, оценивающему ИИ-агентов в этом квартале.

1. Что на самом деле измерил GDPx

На этой неделе исследовательская компания SemiAnalysis опубликовала GDPx — бенчмарк из 206 задач в 11 областях, выбранных потому, что люди зарабатывают ими на жизнь: проектирование чипов, кибербезопасность, юридическая работа, количественный трейдинг, биология, разработка программного обеспечения и другое.

Четырнадцать отраслевых партнёров предоставили задачи, двадцать передовых моделей были оценены. Бенчмарк примечателен не столько сложностью, сколько исходным материалом: работой, за которую людям платят.

2. Табло: двадцать моделей, одно низкое среднее

Модель с лучшим результатом набрала в среднем 12 процентов по одиннадцати областям, каждая с равным весом. Второе место — 10,9, третье — 9,6. Эта цифра — взвешенное по областям среднее на наборе задач одной компании, а не доля всей оплачиваемой экспертной работы. При самой строгой оценке ни одна модель не завершила ни одной финансовой или юридической задачи, поэтому опубликованные баллы считают долю выполненных отдельных требований, а не законченных работ.

Однако табло — это отправная точка, а не приговор. Эти цифры измеряют задачи одной фирмы по критериям той же фирмы и описывают сегодняшние модели, а не модели следующего года.

3. Пределы: чего GDPx не доказывает

GDPx несовершенен. В нём используются задачи одной фирмы и критерии одной фирмы, независимой проверки пока не было, и фирма продаёт исследования той самой отрасли, которую оценивает.

Урок в том, чтобы относиться к цифре с осторожностью. Но направление верное, потому что бенчмарк измеряет модели на работе, которая приносит деньги, а не на мелочах, которые впечатляют.

4. Колонка затрат: 51 против 16 долларов

Лидер тратил в среднем около 51 доллара на предпринятую задачу. Второе место — в среднем около 16 долларов за задачу для результата, отстающего меньше чем на балл.

Если ваша стратегия по агентам предполагает, что возможности и стоимость растут вместе, эта таблица говорит, что это не так. Самый дешёвый путь к результату теперь так же стратегичен, как сам результат, и этот анализ должен быть в закупках, а не на маркетинговой странице.

5. Как читать презентации агентов на фоне публичной цифры

Все демо, которые вы увидите в этом квартале, будут заявлять о готовности к экспертной работе. Публичный, названный бенчмарк только что установил лучшее среднее на уровне 12 процентов на работе, которая приносит доход.

Это не делает агентов бесполезными. Это значит, что честная зона внедрения сегодня — узкие, хорошо инструментированные задачи с человеческой проверкой, а не автономные отделы, которые продают со сцены.

Уроки для руководителей повсюду

Во-первых, эпоха демо закончилась. Когда отрасль начинает спорить о табло, демонстрации уже не решают споры.

Во-вторых, стоимость и возможности не растут вместе. Внесите стоимость за выполненную задачу в закупки, рядом с баллом.

В-третьих, оценивайте каждую презентацию агента по публичной цифре. Честная зона внедрения сегодня узка, хорошо инструментирована и проверяется людьми.

Наконец, задайте каждому поставщику ИИ в этом квартале один вопрос: покажите ваш результат в независимом, основанном на задачах бенчмарке для работы, похожей на мою, и вашу стоимость за выполненную задачу. Если они не могут ответить, вы узнали нечто более ценное, чем демо.

Заключение: измерение сменило маркетинг

Лучшее среднее в 12 процентов — не повод отказаться от ИИ-агентов. Это повод покупать их на основании доказательств, а не энтузиазма.

Искусственный интеллект завоюет своё место измеримыми результатами, а не сценическими эффектами. В конечном счёте математика стоимости за задачу, честно подсчитанная, решает, где этой технологии действительно место.

Источники и материалы для дальнейшего чтения

SemiAnalysis, «GDPx: The General Agentic Benchmark» – https://gdpx.semianalysis.com

SemiAnalysis, исследовательские заметки и отраслевой анализ – https://semianalysis.com

Мыслите математически. Проектируйте разумно. Ведите стратегически. Стройте ответственно. Масштабируйтесь глобально. Создавайте реальную бизнес-ценность через искусственный интеллект.

#ArtificialIntelligence #AIStrategy #AIGovernance #EnterpriseAI #ITImpress

By Keshavan Thiagaraja

Private AI Model Developer & AI Security Consultant Helping SMEs and Enterprises Build Secure AI Solutions Sydney, Australia.

B.Sc. (Computer Science, Mathematics and Statistics),

M.Sc. (Information Technology)

E-Commerce Professional