Investigación AI Minute Newsroom 2026-08-16

Construyeron un modelo de lenguaje que nunca ha leído nada por encima de quinto de primaria, y descubrieron que no podían enseñarle más

Investigadores del Instituto Max Planck de Sistemas Inteligentes, el Instituto ELLIS de Tubinga y la ETH de Zúrich publicaron LittleLearner: modelos de lenguaje de 0,6B, 1,3B y 5B parámetros entrenados desde cero sobre un corpus de 88.000 millones de tokens destilado de FineWeb-Edu mediante un filtro de cinco etapas alineado con los estándares Common Core de EE. UU., del que se eliminó todo lo que se enseña por encima de quinto curso. Cada modelo tiene un control equivalente entrenado con el mismo procedimiento pero sin el filtro. El hallazgo central es que aumentar el tamaño del modelo, el postentrenamiento con SFT y GRPO, y el aprendizaje en contexto amplifican lo que el temario ya contenía, pero ninguno mejoró de forma apreciable el rendimiento en conocimientos ajenos a él. El corpus y los modelos se publican como banco de pruebas para estudiar cómo adquieren conocimiento los modelos.

Por qué importaCasi toda afirmación sobre lo que un modelo "aprendió" es imposible de comprobar, porque nadie puede decir qué había en los datos de entrenamiento. Este tiene un límite trazado a propósito, lo que lo convierte en un laboratorio controlado para una discusión recurrente en el campo: las técnicas habituales para mejorar modelos ¿añaden conocimiento de verdad, o solo extraen más de lo que ya estaba? Dentro de esa frontera la respuesta fue la segunda, y es un resultado imposible de obtener hurgando en un modelo puntero cuya dieta se desconoce.

#Ciencia e Investigación

✓ Verificado · 2 fuentes

Léelo en la app — gratis, en 9 idiomas

Noticias relacionadas

Estados Unidos pone la IA en el centro de la ciencia con 16 países.
2026-10-05 Cinco problemas abiertos cayeron con un chat corriente.
2026-10-05 El modelo sin ajustar resolvió tareas que su versión pulida no logró.
2026-10-04 Un modelo entrenado con fotos comunes logró 70% en razonamiento.
2026-10-04 Google puso sus chips de IA en órbita para ver si sobreviven.
2026-10-03