Ils ont construit un modèle de langue qui n'a jamais rien lu au-delà du CM2 — puis constaté qu'ils ne pouvaient pas lui en apprendre davantage

Des chercheurs de l'Institut Max Planck pour les systèmes intelligents, de l'Institut ELLIS de Tübingen et de l'ETH Zurich ont publié LittleLearner : des modèles de langue de 0,6, 1,3 et 5 milliards de paramètres entraînés depuis zéro sur un corpus de 88 milliards de tokens distillé de FineWeb-Edu par un filtre en cinq étapes aligné sur les standards Common Core américains, dont tout ce qui s'enseigne au-delà de la cinquième année a été retiré. Chaque modèle dispose d'un témoin entraîné par le même procédé, sans le filtre. Le résultat central : agrandir le modèle, le post-entraîner par SFT et GRPO, et l'apprentissage en contexte amplifient tous ce que le programme contenait déjà, mais aucun n'améliore sensiblement les performances sur les connaissances situées en dehors. Le corpus et les modèles sont publiés comme banc d'essai pour étudier l'acquisition des connaissances.

✓ Vérifié · 2 sources

Actus liées