Quienes publican las clasificaciones de IA acaban de sacar la herramienta que vuelve menos importantes sus propias clasificaciones

Artificial Analysis, cuyos rankings de modelos se citan en casi toda la cobertura de cada lanzamiento, anunció Optima el 13 de agosto. Es un servicio autogestionado para construir un benchmark con material propio en lugar de leer el de otro. Se le entrega un conjunto de datos, o se importan trazas reales de agentes desde herramientas como Arize, Braintrust o Langfuse, o simplemente se describe el caso de uso en lenguaje llano; el sistema ejecuta los modelos candidatos sobre eso y los califica con el mismo método de juicio por pares que la empresa usa en sus benchmarks públicos. Cada ejecución informa del coste por tarea y del tiempo por tarea junto a la puntuación de calidad, y tu propio conjunto de agentes puede entrar en la misma comparación por HTTP. El precio es por uso, sin suscripción. La empresa plantea el objetivo con claridad: encontrar el mejor modelo para tu tarea, o uno igual de bueno a alrededor de una décima parte del coste o del tiempo. Antes del lanzamiento, los probadores lo usaron para elegir un modelo suficientemente barato para un agente financiero, ajustar el estilo de redacción jurídica de un despacho y clasificar un conjunto propio de imágenes.

✓ Verificado · 3 fuentes

Noticias relacionadas