Des chercheurs ont livré 70 morceaux de leur propre travail de laboratoire comme épreuve. Le meilleur agent d'IA en a terminé 30 pour cent.

Terminal-Bench-Science 0.1, publié cette semaine par des chercheurs de Stanford avec les équipes de Terminal-Bench et de Harbor, est un banc d'essai bâti à partir de travaux que les scientifiques font réellement. Chacune de ses 70 tâches a été fournie par un chercheur qui a pris un flux de travail informatique de son propre laboratoire et l'a transformé en quelque chose qu'un agent peut tenter dans un terminal — sciences de la vie, sciences physiques, sciences de la Terre, sciences mathématiques et ingénierie. Chaque tâche tourne dans un conteneur et est vérifiée par programme : la note dit si le travail est juste, pas si l'agent affirme l'avoir fait. Les résultats sont volontairement bas : Claude Opus 5 mène avec 30,0 pour cent de résolution, GPT-5.6 Sol obtient 22,4 pour cent et Claude Fable 5, 21,4 pour cent. Tous les modèles perdent plus de dix points par rapport au Terminal-Bench 3.0 généraliste. Le projet recense 376 contributeurs dans 22 pays et collecte des tâches pour la version 0.2, jusqu'au 5 octobre.

✓ Vérifié · 4 sources

Actus liées