Dale a un modelo la bibliografía de un artículo sin publicar y pregúntale qué dice. Los mejores aciertan el 15 por ciento de las veces.

Un banco de pruebas llamado Reconstruction, subido a arXiv el 17 de agosto por Qingqing Mao y colaboradores, examina algo más estrecho y más difícil que las evaluaciones habituales de razonamiento: ¿puede un modelo deducir la idea central de un artículo solo a partir de su bibliografía previa a la publicación? El artículo semilla se oculta junto con todo lo publicado en la misma fecha o después, a las referencias se les quita el título y se les asigna un identificador anónimo, y otro modelo de lenguaje juzga si la hipótesis propuesta coincide con la real. En 643 artículos de seis campos científicos, siete modelos punteros acertaron la idea oculta entre un 3 y un 15 por ciento de las veces. Los autores conectaron después esos mismos modelos en una tubería donde revisan las hipótesis unos de otros y compiten en un torneo de sistema suizo por las plazas; eso elevó el acierto hasta un 23 a 42 por ciento, unas 2,4 veces el mejor modelo individual.

✓ Verificado · 2 fuentes

Noticias relacionadas