Gib einem Modell das Literaturverzeichnis eines unveröffentlichten Papiers und frage, was darin steht. Die besten treffen in 15 Prozent der Fälle.

Ein Benchmark namens Reconstruction, am 17. August von Qingqing Mao und Kollegen auf arXiv gestellt, prüft etwas Engeres und Härteres als übliche Reasoning-Evaluationen: Kann ein Modell die zentrale Idee eines Papiers allein aus dessen Literaturverzeichnis vor der Veröffentlichung erschließen? Das Ausgangspapier wird zurückgehalten, zusammen mit allem, was zeitgleich oder später erschien, den Referenzen werden die Titel entzogen und anonyme Kennungen zugeteilt, und ein separates Sprachmodell beurteilt, ob die vorgeschlagene Hypothese der echten entspricht. Über 643 Papiere aus sechs wissenschaftlichen Feldern trafen sieben Spitzenmodelle die zurückgehaltene Idee in etwa 3 bis 15 Prozent der Fälle. Anschließend verschalteten die Autoren dieselben Modelle zu einer Pipeline, in der sie die Hypothesen der anderen begutachten und in einem Turnier nach Schweizer System um konkurrierende Plätze antreten; das hob die Trefferquote auf rund 23 bis 42 Prozent, etwa das 2,4-Fache des besten Einzelmodells.

✓ Verifiziert · 2 Quellen

Verwandte Meldungen