Ceux qui publient les classements de l'IA viennent de sortir l'outil qui rend leurs classements moins importants

Artificial Analysis, dont les classements de modèles sont cités dans presque toute la couverture de chaque sortie, a annoncé Optima le 13 août. C'est un service en libre-service permettant de bâtir un benchmark à partir de son propre matériel plutôt que de lire celui d'un autre. On lui fournit un jeu de données, ou on importe de vraies traces d'agents depuis des outils comme Arize, Braintrust ou Langfuse, ou l'on décrit simplement son cas d'usage en langage courant ; le système exécute les modèles candidats là-dessus et les note avec la même méthode de jugement par paires que l'entreprise emploie pour ses benchmarks publics. Chaque exécution indique le coût par tâche et le temps par tâche à côté du score de qualité, et votre propre pile d'agents peut entrer dans la même comparaison via HTTP. La tarification est à l'usage, sans abonnement. L'entreprise énonce l'objectif sans détour : trouver le meilleur modèle pour votre tâche, ou un aussi bon à environ un dixième du coût ou du temps. Avant le lancement, les testeurs s'en sont servis pour choisir un modèle assez bon marché pour un agent financier, coller au style rédactionnel juridique d'un cabinet ou trier un jeu d'images maison.

✓ Vérifié · 3 sources

Actus liées