Donnez à un modèle la bibliographie d'un article non publié et demandez-lui ce que dit l'article. Les meilleurs trouvent 15 pour cent du temps.

Un banc d'essai nommé Reconstruction, déposé sur arXiv le 17 août par Qingqing Mao et ses collègues, teste quelque chose de plus étroit et de plus dur que les évaluations de raisonnement habituelles : un modèle peut-il déduire l'idée centrale d'un article à partir de sa seule bibliographie antérieure à la publication ? L'article source est retiré, avec tout ce qui a été publié au même moment ou après, les références sont dépouillées de leur titre et reçoivent un identifiant anonyme, et un autre modèle de langage juge si l'hypothèse proposée correspond à la vraie. Sur 643 articles dans six domaines scientifiques, sept modèles de pointe ont retrouvé l'idée dissimulée entre 3 et 15 pour cent du temps environ. Les auteurs ont ensuite branché ces mêmes modèles sur une chaîne où ils examinent mutuellement leurs hypothèses et s'affrontent en tournoi au système suisse sur des créneaux concurrents ; le taux est monté à 23 à 42 pour cent environ, soit près de 2,4 fois le meilleur modèle seul.

✓ Vérifié · 2 sources

Actus liées