Construyeron un modelo de lenguaje que nunca ha leído nada por encima de quinto de primaria, y descubrieron que no podían enseñarle más

Investigadores del Instituto Max Planck de Sistemas Inteligentes, el Instituto ELLIS de Tubinga y la ETH de Zúrich publicaron LittleLearner: modelos de lenguaje de 0,6B, 1,3B y 5B parámetros entrenados desde cero sobre un corpus de 88.000 millones de tokens destilado de FineWeb-Edu mediante un filtro de cinco etapas alineado con los estándares Common Core de EE. UU., del que se eliminó todo lo que se enseña por encima de quinto curso. Cada modelo tiene un control equivalente entrenado con el mismo procedimiento pero sin el filtro. El hallazgo central es que aumentar el tamaño del modelo, el postentrenamiento con SFT y GRPO, y el aprendizaje en contexto amplifican lo que el temario ya contenía, pero ninguno mejoró de forma apreciable el rendimiento en conocimientos ajenos a él. El corpus y los modelos se publican como banco de pruebas para estudiar cómo adquieren conocimiento los modelos.

✓ Verificado · 2 fuentes

Noticias relacionadas