Die Leute, die die KI-Ranglisten veröffentlichen, haben gerade das Werkzeug herausgebracht, das ihre Ranglisten unwichtiger macht

Artificial Analysis, dessen Modellranglisten in fast jeder Berichterstattung über neue Releases zitiert werden, hat am 13. August Optima angekündigt. Es ist ein Selbstbedienungsdienst, um einen Benchmark aus eigenem Material zu bauen, statt den eines anderen zu lesen. Man übergibt einen Datensatz, importiert echte Agenten-Traces aus Werkzeugen wie Arize, Braintrust oder Langfuse, oder beschreibt den Anwendungsfall schlicht in Alltagssprache; das System lässt Kandidatenmodelle darauf laufen und bewertet sie mit derselben paarweisen Beurteilungsmethode, die das Unternehmen für seine öffentlichen Benchmarks nutzt. Jeder Lauf weist Kosten pro Aufgabe und Zeit pro Aufgabe neben der Qualitätsbewertung aus, und der eigene Agenten-Stack kann per HTTP in denselben Vergleich eintreten. Die Abrechnung erfolgt nutzungsbasiert, ohne Abonnement. Das Ziel formuliert die Firma unumwunden: das beste Modell für die eigene Aufgabe finden — oder ein ebenso gutes zu rund einem Zehntel der Kosten oder der Zeit. Vor dem Start nutzten Tester es etwa, um ein hinreichend günstiges Modell für einen Finanzagenten auszuwählen, den juristischen Schreibstil einer Kanzlei zu treffen und einen eigenen Bilddatensatz zu sortieren.

✓ Verifiziert · 3 Quellen

Verwandte Meldungen