Yapay zekâ sıralamalarını yayımlayanlar, kendi sıralamalarını daha önemsiz kılan aracı çıkardı

Her yeni model çıkışında haberlerde alıntılanan sıralamaların sahibi Artificial Analysis, 13 Ağustos'ta Optima'yı duyurdu. Optima, başkasınınkini okumak yerine kendi malzemenizden bir kıyaslama kurmanızı sağlayan, kendi kendine kullanılan bir hizmet. Bir veri kümesi veriyorsunuz, ya da Arize, Braintrust veya Langfuse gibi araçlardan gerçek ajan kayıtlarını içe aktarıyorsunuz, ya da kullanım senaryonuzu düz bir dille anlatıyorsunuz; sistem aday modelleri bunun üzerinde çalıştırıp şirketin kendi kamuya açık kıyaslamalarında kullandığı ikili karşılaştırma yöntemiyle notlandırıyor. Her koşu, kalite puanının yanında görev başına maliyeti ve görev başına süreyi de bildiriyor; kendi ajan yığınınızı da HTTP üzerinden aynı karşılaştırmaya sokabiliyorsunuz. Fiyatlandırma kullanım başına, abonelik yok. Şirket amacı açıkça koyuyor: göreviniz için en iyi modeli bulun, ya da maliyetin veya sürenin kabaca onda birine aynı iyilikte olanını. Lansman öncesi denemeciler bunu bir finans ajanı için yeterince ucuz model seçmek, bir büronun hukuki yazım üslubunu tutturmak ve özel bir görsel kümesini ayıklamak gibi işlerde kullandı.

✓ Doğrulandı · 3 kaynak

İlgili haberler