Те, кто публикует рейтинги ИИ, выпустили инструмент, который делает их собственные рейтинги менее важными

Artificial Analysis, чьи рейтинги моделей цитируются почти в каждом материале о новом релизе, представила Optima 13 августа. Это самообслуживаемый сервис для построения бенчмарка из собственного материала, а не для чтения чужого. Вы даёте набор данных, или импортируете реальные трассы работы агентов из инструментов вроде Arize, Braintrust или Langfuse, или просто описываете свой сценарий обычными словами; система прогоняет по нему модели-кандидаты и оценивает их тем же методом попарного сравнения, который компания использует в своих публичных бенчмарках. Каждый прогон показывает стоимость за задачу и время на задачу рядом с оценкой качества, а ваш собственный агентный стек можно включить в то же сравнение по HTTP. Оплата по факту использования, без подписки. Цель компания формулирует прямо: найти лучшую модель для вашей задачи — или столь же хорошую примерно за десятую часть стоимости либо времени. До запуска тестировщики применяли сервис, чтобы подобрать достаточно дешёвую модель для финансового агента, попасть в стиль юридических текстов конкретной фирмы и разобрать собственный набор изображений.

✓ Проверено · 3 источников

Похожие новости