206 uzman görevinden düşündüren tek bir rakama, yüzde 12’ye: GDPx kıyaslamasının günümüz yapay zekâ aracılarının gerçek sınırları hakkında ortaya koydukları

Giriş: yapay zekâ aracıları uzman işine hazırsa, en iyisi neden yalnızca yüzde 12 aldı?

Gerçek, ücretli uzman işlerinden oluşturulan yeni bir kıyaslama, yirmi sınır yapay zekâ modelini değerlendirdi ve en iyisi eşit ağırlıklı on bir alanında ortalama yüzde 12 aldı.

Bir yapay zekâ aracı, şirketinizin uzmanlara para ödediği işi yapabilir mi? Bu iddia için dürüst bir skor tablosu nasıl görünür? Ve imzalamadan önce tedarikçiye ne sormalısınız?

Sidney’de KOBİ’ler ve büyük şirketlerle çalışan özel bir yapay zekâ modeli geliştiricisi ve yapay zekâ güvenlik danışmanı olarak bana her hafta bu sorular soruluyor. Yanıtlar bütçeler, kadro ve risk için önemli.

Bu makale, GDPx kıyaslamasının neyi ölçtüğünü, rakamlarının neyi kanıtlayıp neyi kanıtlamadığını ve bu çeyrekte yapay zekâ aracılarını değerlendiren her lider için pratik dersleri açıklıyor.

1. GDPx aslında neyi ölçtü

Bu hafta araştırma şirketi SemiAnalysis, insanların geçimini sağladığı için seçilen 11 alanda 206 görevden oluşan GDPx kıyaslamasını yayınladı: çip tasarımı, siber güvenlik, hukuk işi, nicel ticaret, biyoloji, yazılım mühendisliği ve daha fazlası.

Görevleri on dört sektör ortağı sağladı ve yirmi sınır modeli değerlendirildi. Kıyaslama, zorluğundan çok hammaddesiyle dikkat çekici: insanların para kazandığı işler.

2. Skor tablosu: yirmi model, tek bir düşük ortalama

En yüksek puanı alan model, her biri eşit ağırlığa sahip on bir alanda ortalama yüzde 12 aldı. İkinci 10,9, üçüncü model ise 9,6 aldı. Bu rakam, tek bir firmanın görev seti üzerinde alana göre ağırlıklandırılmış bir ortalamadır; ücretli tüm uzman işlerinin bir payı değildir. En katı değerlendirmede hiçbir model tek bir finans ya da hukuk görevini bile bitiremedi; bu nedenle yayımlanan puanlar, biten işler yerine karşılanan bireysel gereksinimlerin payını sayar.

Ancak bir skor tablosu başlangıç noktasıdır, hüküm değil. Bu rakamlar bir şirketin görevlerini aynı şirketin ölçütüyle ölçüyor ve gelecek yılın değil, bugünün modellerini tanımlıyor.

3. Sınırlar: GDPx’in kanıtlamadığı şeyler

GDPx kusursuz değil. Tek bir şirketin görevlerini ve tek bir şirketin değerlendirme ölçütünü kullanıyor, henüz bağımsız doğrulama yok ve şirket, değerlendirdiği sektöre araştırma satıyor.

Ders, rakama temkinli yaklaşmak. Ama yön doğru, çünkü modelleri etkileyici bilgi kırıntılarıyla değil, para kazandıran işle ölçüyor.

4. Maliyet sütunu: 51 dolara karşı 16 dolar

Lider, denenen görev başına ortalama yaklaşık 51 dolar harcadı. İkinci, bir puandan az farkla geride kaldığı bir puan için görev başına ortalama yaklaşık 16 dolar harcadı.

Aracı stratejiniz yetenek ve maliyetin birlikte ilerlediğini varsayıyorsa, bu tablo öyle olmadığını söylüyor. Sonuca giden en ucuz yol artık sonucun kendisi kadar stratejik ve bu analiz pazarlama sayfasında değil, satın alma biriminde olmalı.

5. Aracı sunumlarını kamuya açık bir rakamla karşılaştırarak okumak

Bu çeyrekte göreceğiniz demoların hepsi uzman işine hazır olduklarını iddia edecek. Kamuya açık, adı belli bir kıyaslama, gelir getiren işte en yüksek ortalamayı yüzde 12’ye koydu.

Bu, aracıları işe yaramaz kılmıyor. Bugünkü dürüst kullanım alanının, insan denetimli, iyi ölçülebilen dar görevler olduğu anlamına geliyor; sahnede satılan otonom departmanlar değil.

Her yerdeki liderler için dersler

Birincisi, demo çağı bitti. Bir sektör skor tabloları hakkında tartışmaya başladığında, demolar tartışmaları çözmeyi bırakmış demektir.

İkincisi, maliyet ve yetenek birlikte ilerlemez. Tamamlanan görev başına maliyeti, puanın yanına, satın almaya koyun.

Üçüncüsü, her aracı sunumunu kamuya açık bir rakamla karşılaştırarak okuyun. Bugünkü dürüst kullanım alanı dardır, iyi ölçülebilir ve insan denetimlidir.

Son olarak, bu çeyrekte her yapay zekâ tedarikçisine tek bir soru sorun: benimki gibi işler için bağımsız, görev tabanlı bir kıyaslamadaki puanınızı ve tamamlanan görev başına maliyetinizi gösterin. Yanıt veremezlerse, demodan daha değerli bir şey öğrenmiş olursunuz.

Sonuç: ölçüm pazarlamanın yerini aldı

Yüzde 12’lik en yüksek ortalama, yapay zekâ aracılarından uzaklaşmak için bir neden değil. Onları coşku yerine kanıtla satın almak için bir neden.

Yapay zekâ yerini sahne gösterileriyle değil, ölçülebilir sonuçlarla kazanacak. Sonunda, dürüstçe hesaplanan görev başına maliyetin matematiği, bu teknolojinin gerçekte nereye ait olduğuna karar verir.

Kaynaklar ve ileri okuma

SemiAnalysis, “GDPx: The General Agentic Benchmark” – https://gdpx.semianalysis.com

SemiAnalysis, araştırma notları ve sektör analizleri – https://semianalysis.com

Matematiksel düşünün. Akıllıca mühendislik yapın. Stratejik liderlik edin. Sorumlu inşa edin. Küresel ölçeklendirin. Yapay zeka aracılığıyla gerçek iş değeri yaratın.

#ArtificialIntelligence #AIStrategy #AIGovernance #EnterpriseAI #ITImpress

By Keshavan Thiagaraja

Private AI Model Developer & AI Security Consultant Helping SMEs and Enterprises Build Secure AI Solutions Sydney, Australia.

B.Sc. (Computer Science, Mathematics and Statistics),

M.Sc. (Information Technology)

E-Commerce Professional