Von 206 Expertenaufgaben zu einer einzigen ernüchternden Zahl von 12 Prozent: Was der GDPx-Benchmark über die tatsächlichen Grenzen heutiger KI-Agenten verrät

Einführung: Wenn KI-Agenten bereit für Expertenarbeit sind, warum erreichte der beste nur 12 Prozent?

Ein neuer Benchmark, der aus echten, bezahlten Expertenaufgaben besteht, hat zwanzig Frontier-KI-Modelle bewertet, und das beste erreichte im Schnitt 12 Prozent über seine elf gleich gewichteten Domänen.

Kann ein KI-Agent die Arbeit leisten, für die Ihr Unternehmen Experten bezahlt? Wie sähe eine ehrliche Anzeigetafel für diese Behauptung aus? Und was sollten Sie einen Anbieter fragen, bevor Sie unterschreiben?

Als privater KI-Modellentwickler und KI-Sicherheitsberater, der in Sydney mit KMU und Großunternehmen arbeitet, werden mir diese Fragen jede Woche gestellt. Die Antworten sind wichtig für Budgets, Personal und Risiko.

Dieser Artikel erklärt, was der GDPx-Benchmark gemessen hat, was seine Zahlen belegen und was nicht, und welche praktischen Lehren Führungskräfte daraus ziehen sollten, die in diesem Quartal KI-Agenten bewerten.

1. Was GDPx tatsächlich gemessen hat

Diese Woche hat das Research-Unternehmen SemiAnalysis GDPx veröffentlicht, einen Benchmark aus 206 Aufgaben in 11 Bereichen, die gewählt wurden, weil Menschen damit ihren Lebensunterhalt verdienen: Chipdesign, Cybersicherheit, juristische Arbeit, quantitativer Handel, Biologie, Software-Engineering und mehr.

Vierzehn Industriepartner lieferten die Aufgaben, und zwanzig Frontier-Modelle wurden bewertet. Der Benchmark ist weniger wegen seiner Schwierigkeit bemerkenswert als wegen seines Ausgangsmaterials: Arbeit, für die Menschen bezahlt werden.

2. Die Anzeigetafel: Zwanzig Modelle, ein niedriger Durchschnitt

Das bestplatzierte Modell erreichte im Durchschnitt 12 Prozent über die elf Domänen, jede gleich gewichtet. Der Zweitplatzierte erzielte 10,9, das drittplatzierte Modell 9,6. Diese Zahl ist ein domänengewichteter Durchschnitt auf dem Aufgabenset eines Unternehmens, kein Anteil an der gesamten bezahlten Expertenarbeit. Nach strengster Bewertung hat kein Modell eine einzige Finanz- oder Rechtsaufgabe abgeschlossen; die veröffentlichten Werte zählen daher den Anteil erfüllter Einzelanforderungen statt fertiger Aufträge.

Eine Anzeigetafel ist jedoch ein Ausgangspunkt, kein Urteil. Diese Zahlen messen die Aufgaben einer Firma nach dem Raster derselben Firma, und sie beschreiben die Modelle von heute, nicht die des nächsten Jahres.

3. Die Grenzen: Was GDPx nicht belegt

GDPx ist nicht perfekt. Es verwendet die Aufgaben einer einzigen Firma und deren Bewertungsraster, es gibt noch keine unabhängige Überprüfung, und die Firma verkauft Research an die Branche, die sie bewertet.

Die Lehre daraus ist, die Zahl mit Vorsicht zu behandeln. Aber die Richtung stimmt, denn der Benchmark misst Modelle an Arbeit, die Geld einbringt, nicht an Trivia, die beeindruckt.

4. Die Kostenspalte: 51 gegen 16 Dollar

Der Spitzenreiter gab im Schnitt etwa 51 Dollar pro versuchter Aufgabe aus. Der Zweitplatzierte gab im Schnitt nur etwa 16 Dollar pro Aufgabe für ein Ergebnis innerhalb eines Punktes aus.

Wenn Ihre Agentenstrategie annimmt, dass Fähigkeit und Kosten gemeinsam steigen, sagt diese Tabelle das Gegenteil. Der günstigste Weg zu einem Ergebnis ist heute so strategisch wie das Ergebnis selbst, und diese Analyse gehört in den Einkauf, nicht auf eine Marketingseite.

5. Agenten-Präsentationen an einer öffentlichen Zahl messen

Die Demos, die Sie dieses Quartal sehen werden, behaupten alle, bereit für Expertenarbeit zu sein. Ein öffentlicher, namentlich genannter Benchmark hat den besten Durchschnitt gerade bei 12 Prozent auf Arbeit festgelegt, die Einnahmen bringt.

Das macht Agenten nicht nutzlos. Es bedeutet, dass die ehrliche Einsatzzone heute enge, gut instrumentierte Aufgaben mit menschlicher Prüfung sind, nicht die autonomen Abteilungen, die auf der Bühne verkauft werden.

Lehren für Führungskräfte überall

Erstens ist die Ära der Demos vorbei. Wenn eine Branche über Anzeigetafeln streitet, entscheiden Demos keine Argumente mehr.

Zweitens steigen Kosten und Fähigkeit nicht gemeinsam. Ziehen Sie die Kosten pro erledigter Aufgabe im Einkauf heran, neben der Punktzahl.

Drittens messen Sie jede Agenten-Präsentation an einer öffentlichen Zahl. Die ehrliche Einsatzzone heute ist eng, gut instrumentiert und von Menschen geprüft.

Viertens stellen Sie jedem KI-Anbieter dieses Quartal eine einzige Frage: Zeigen Sie mir Ihre Punktzahl in einem unabhängigen, aufgabenbasierten Benchmark für Arbeit wie meine, und Ihre Kosten pro erledigter Aufgabe. Können sie nicht antworten, haben Sie etwas gelernt, das mehr wert ist als die Demo.

Fazit: Messung hat das Marketing abgelöst

Ein Spitzendurchschnitt von 12 Prozent ist kein Grund, sich von KI-Agenten abzuwenden. Er ist ein Grund, sie mit Belegen statt mit Begeisterung zu kaufen.

Künstliche Intelligenz wird sich ihren Platz durch messbare Ergebnisse verdienen, nicht durch Inszenierung. Am Ende entscheidet die ehrlich gezählte Mathematik der Kosten pro Aufgabe, wo diese Technologie wirklich hingehört.

Quellen und weiterführende Literatur

SemiAnalysis, “GDPx: The General Agentic Benchmark” – https://gdpx.semianalysis.com

SemiAnalysis, Research-Notizen und Branchenanalysen – https://semianalysis.com

Denken Sie mathematisch. Konstruieren Sie intelligent. Führen Sie strategisch. Bauen Sie verantwortungsvoll. Skalieren Sie global. Schaffen Sie echten geschäftlichen Wert durch künstliche Intelligenz.

#ArtificialIntelligence #AIStrategy #AIGovernance #EnterpriseAI #ITImpress

By Keshavan Thiagaraja

Private AI Model Developer & AI Security Consultant Helping SMEs and Enterprises Build Secure AI Solutions Sydney, Australia.

B.Sc. (Computer Science, Mathematics and Statistics),

M.Sc. (Information Technology)

E-Commerce Professional