aiminute. ← Tüm AI haberleri
Araçlar 2026-08-17

Yapay zekâ sıralamalarını yayımlayanlar, kendi sıralamalarını daha önemsiz kılan aracı çıkardı

Yapay zekâ sıralamalarını yayımlayanlar, kendi sıralamalarını daha önemsiz kılan aracı çıkardı

Her yeni model çıkışında haberlerde alıntılanan sıralamaların sahibi Artificial Analysis, 13 Ağustos'ta Optima'yı duyurdu. Optima, başkasınınkini okumak yerine kendi malzemenizden bir kıyaslama kurmanızı sağlayan, kendi kendine kullanılan bir hizmet. Bir veri kümesi veriyorsunuz, ya da Arize, Braintrust veya Langfuse gibi araçlardan gerçek ajan kayıtlarını içe aktarıyorsunuz, ya da kullanım senaryonuzu düz bir dille anlatıyorsunuz; sistem aday modelleri bunun üzerinde çalıştırıp şirketin kendi kamuya açık kıyaslamalarında kullandığı ikili karşılaştırma yöntemiyle notlandırıyor. Her koşu, kalite puanının yanında görev başına maliyeti ve görev başına süreyi de bildiriyor; kendi ajan yığınınızı da HTTP üzerinden aynı karşılaştırmaya sokabiliyorsunuz. Fiyatlandırma kullanım başına, abonelik yok. Şirket amacı açıkça koyuyor: göreviniz için en iyi modeli bulun, ya da maliyetin veya sürenin kabaca onda birine aynı iyilikte olanını. Lansman öncesi denemeciler bunu bir finans ajanı için yeterince ucuz model seçmek, bir büronun hukuki yazım üslubunu tutturmak ve özel bir görsel kümesini ayıklamak gibi işlerde kullandı.

Bu neden önemli?Bu duyurunun içindeki dürüst itiraf şu: kamuya açık sıralamalar üretimdeki performansı öngörmeyi bıraktı — akademik testlerin ortalamasında zirvede olan bir model, sizin destek taleplerinizi özetlemek için yine de yanlış seçim olabilir. Sıralamaları işleten şirket olduğu için bunu Artificial Analysis'ten iyi bilen yok. Küçük ekipler için asıl işe yarayan kısım notlandırma yöntemi değil, yanındaki iki sütun: görev başına maliyet ve görev başına süre bir dağıtım kararını gerçekten belirleyen şeylerdir ve genelde geçişten önce değil sonra öğrenilirler. Şunu da akılda tutmakta yarar var: burada modelleri notlandıran satıcı, notlandırmayı da satıyor.
#Ajanlar

✓ Doğrulandı · 3 kaynak

WhatsApp X Telegram
Uygulamada oku — ücretsiz, 9 dilde

İlgili haberler

Apple Music bir şarkının makine yapımı olduğunu size söyleyecek — ama söyleyip söylememeye yükleyen karar veriyor
2026-08-21
DeepSeek'in ucuz beygiri artık görüyor — göz gerektiren ajan görevlerinde Anthropic'in en iyisine yaklaştığını söylüyor
2026-08-21
Stripe bir model yönlendiricisine 7,5 milyar dolar ödedi. Günler sonra Ramp kendi yönlendiricisini yapıp ocağa kadar bedava dağıtıyor.
2026-08-21
Meta'nın asistanı artık ekranınızı okuyup herhangi bir pencereye yazabilen bir Mac uygulaması — ve gördüğü şey modeli eğitebiliyor
2026-08-21
Bir haber sitesinde tek tık artık Google'a "bana bundan daha çok göster" diyor — üstelik okuduğunuz sayfadan ayrılmadan
2026-08-21