Quatre heures et un GPU pour améliorer la façon dont on entraîne l'IA : le meilleur agent obtient 0,25 sur 1 — et la plupart n'ont même pas essayé

Un banc d'essai déposé sur arXiv le 20 août, AI4AI-Bench, teste une question plus étroite et plus intéressante que les évaluations de programmation habituelles : un agent d'IA peut-il améliorer les algorithmes servant à entraîner l'IA ? Le dispositif compte dix dépôts de recherche figés couvrant dix familles d'algorithmes d'entraînement. L'agent dispose de quatre heures sur un unique GPU B300 pour modifier le code d'entraînement ; le résultat est ensuite exécuté jusqu'à douze heures et noté sur des tests cachés, selon une échelle où 0 correspond à un modèle sans information, 0,1 à l'algorithme d'origine non modifié et 1,0 au meilleur résultat connu. Sur 29 configurations de six systèmes appliquées aux dix tâches, la note moyenne est de 0,166 et le meilleur système atteint 0,250. Le chiffre le plus parlant ne concerne pas la capacité. Les systèmes qui ont réellement tenté de modifier l'algorithme obtiennent 0,226 en moyenne, contre 0,126 pour ceux qui n'ont rien tenté — et en augmentant l'effort de raisonnement, la part des exécutions tentant une modification passe de 8 % à 64 %, portant la moyenne de 0,094 à 0,196. L'article est une prépublication non évaluée par les pairs.

✓ Vérifié · 2 sources

Actus liées