Дайте модели список литературы неопубликованной статьи и спросите, о чём статья. Лучшие угадывают в 15 процентах случаев.

Бенчмарк Reconstruction, выложенный на arXiv 17 августа Qingqing Mao и коллегами, проверяет нечто более узкое и сложное, чем обычные оценки рассуждений: способна ли модель вывести центральную идею статьи из одного лишь её допубликационного списка литературы? Исходная статья скрыта вместе со всем, что вышло одновременно или позже, у ссылок убраны названия и присвоены анонимные идентификаторы, а отдельная языковая модель судит, совпадает ли предложенная гипотеза с настоящей. На 643 статьях из шести научных областей семь передовых моделей попадали в скрытую идею примерно в 3-15 процентах случаев. Затем авторы соединили те же модели в конвейер, где они рецензируют гипотезы друг друга и разыгрывают турнир по швейцарской системе за конкурирующие места; это подняло долю совпадений примерно до 23-42 процентов, около 2,4 раза от лучшей одиночной модели.

✓ Проверено · 2 источников

Похожие новости