206개의 전문가 과업에서 하나의 냉정한 숫자 12%로: GDPx 벤치마크가 드러내는 오늘날 AI 에이전트의 실제 한계

서론: AI 에이전트가 전문가 업무에 준비되어 있다면, 왜 최고의 모델조차 12%밖에 받지 못했을까?

실제 보수가 따르는 전문가 업무로 만들어진 새로운 벤치마크가 20개의 프런티어 AI 모델을 평가했고, 그중 최고의 모델도 동일하게 가중된 11개 도메인에서 평균 12%를 기록했습니다.

AI 에이전트가 귀사가 전문가에게 비용을 지불하는 일을 해낼 수 있을까요? 그 주장에 대한 정직한 스코어보드는 어떤 모습일까요? 그리고 계약하기 전에 공급업체에게 무엇을 물어봐야 할까요?

시드니에서 중소기업 및 대기업과 일하는 민간 AI 모델 개발자이자 AI 보안 컨설턴트로서, 저는 매주 이런 질문을 받습니다. 그 답은 예산, 인력, 리스크와 직결됩니다.

이 글은 GDPx 벤치마크가 무엇을 측정했는지, 그 숫자가 무엇을 입증하고 무엇을 입증하지 못하는지, 그리고 이번 분기에 AI 에이전트를 평가하는 모든 리더를 위한 실용적인 교훈을 설명합니다.

1. GDPx가 실제로 측정한 것

이번 주 리서치 회사 SemiAnalysis가 GDPx를 발표했습니다. 사람들이 생계를 꾸리는 일이라는 이유로 선정된 11개 분야 206개 작업의 벤치마크입니다. 칩 설계, 사이버 보안, 법률 업무, 퀀트 트레이딩, 생물학, 소프트웨어 엔지니어링 등입니다.

14개 산업 파트너가 작업을 제공했고, 20개의 프런티어 모델이 평가받았습니다. 이 벤치마크가 주목할 만한 이유는 난이도보다 그 원재료 때문입니다. 사람들이 보수를 받고 하는 일이라는 점입니다.

2. 스코어보드: 20개 모델, 하나의 낮은 평균

최고 점수를 받은 모델은 각각 동일한 가중치를 가진 11개 도메인에서 평균 12%를 기록했습니다. 2위는 10.9, 3위는 9.6이었습니다. 이 수치는 한 기업의 과제 세트에 대한 도메인 가중 평균이며, 보수가 따르는 모든 전문가 업무에서 차지하는 비중이 아닙니다. 가장 엄격한 채점에서는 어떤 모델도 금융이나 법률 과제를 하나도 완료하지 못했으므로, 공개된 점수는 완료된 작업이 아니라 충족된 개별 요건의 비율을 계산합니다.

그러나 스코어보드는 출발점이지 판결이 아닙니다. 이 숫자들은 한 회사의 작업을 그 회사의 채점 기준으로 측정한 것이며, 내년의 모델이 아니라 오늘의 모델을 설명합니다.

3. 한계: GDPx가 입증하지 못하는 것

GDPx는 완벽하지 않습니다. 한 회사의 작업과 한 회사의 채점 기준을 사용하고, 아직 독립적인 재현이 없으며, 그 회사는 자신이 평가하는 산업에 리서치를 판매합니다.

교훈은 숫자를 느슨하게 받아들이라는 것입니다. 하지만 방향은 옳습니다. 인상적인 잡학이 아니라 돈이 되는 일로 모델을 측정하기 때문입니다.

4. 비용 열: 51달러 대 16달러

선두 모델은 시도한 작업당 평균 약 51달러를 썼습니다. 2위 모델은 1점 차이 이내의 점수에 작업당 평균 약 16달러만 썼습니다.

에이전트 전략이 능력과 비용이 함께 움직인다고 가정한다면, 이 표는 그렇지 않다고 말합니다. 결과로 가는 가장 저렴한 경로는 이제 결과 자체만큼 전략적이며, 그 분석은 마케팅 페이지가 아니라 조달 부서에 있어야 합니다.

5. 공개된 숫자에 대조해 에이전트 제안 읽기

이번 분기에 보게 될 데모들은 모두 전문가 업무 준비가 됐다고 주장할 것입니다. 공개된, 이름이 붙은 벤치마크가 방금 수익이 나는 업무에서 최고 평균을 12%로 정했습니다.

그렇다고 에이전트가 쓸모없어지는 것은 아닙니다. 오늘날 정직한 배포 영역은 인간 검토가 있는 좁고 잘 계측된 작업이지, 무대에서 팔리는 자율 부서가 아니라는 뜻입니다.

모든 리더를 위한 교훈

첫째, 데모의 시대는 끝났습니다. 한 산업이 스코어보드를 놓고 논쟁하기 시작하면, 데모는 더 이상 논쟁을 해결하지 못합니다.

둘째, 비용과 능력은 함께 움직이지 않습니다. 완료된 작업당 비용을 점수와 함께 조달에 포함하세요.

셋째, 모든 에이전트 제안을 공개된 숫자에 대조해 읽으세요. 오늘날 정직한 배포 영역은 좁고, 계측이 잘 되어 있으며, 인간이 검토합니다.

마지막으로, 이번 분기에 모든 AI 공급업체에게 한 가지 질문만 하세요. 내 일과 같은 작업에 대한 독립적이고 작업 기반의 벤치마크 점수와 완료된 작업당 비용을 보여달라고. 대답하지 못한다면, 데모보다 더 가치 있는 것을 배운 것입니다.

결론: 측정이 마케팅을 대체했다

12%라는 최고 평균은 AI 에이전트에서 물러날 이유가 아닙니다. 열정이 아닌 증거로 구매해야 할 이유입니다.

인공지능은 무대 장치가 아니라 측정 가능한 결과로 자리를 얻을 것입니다. 결국 정직하게 계산된 작업당 비용의 수학이 이 기술이 진정 어디에 속하는지를 결정합니다.

참고 문헌 및 추가 읽을거리

SemiAnalysis, “GDPx: The General Agentic Benchmark” – https://gdpx.semianalysis.com

SemiAnalysis, 리서치 노트 및 산업 분석 – https://semianalysis.com

수학적으로 생각하라. 지능적으로 설계하라. 전략적으로 이끌어라. 책임감 있게 만들어라. 전 세계로 확장하라. 인공지능을 통해 진정한 비즈니스 가치를 창출하라.

#ArtificialIntelligence #AIStrategy #AIGovernance #EnterpriseAI #ITImpress

By Keshavan Thiagaraja

Private AI Model Developer & AI Security Consultant Helping SMEs and Enterprises Build Secure AI Solutions Sydney, Australia.

B.Sc. (Computer Science, Mathematics and Statistics),

M.Sc. (Information Technology)

E-Commerce Professional