aiminute. ← Toute l’actu IA
Recherche AI Minute Newsroom 2026-08-16

Ils ont construit un modèle de langue qui n'a jamais rien lu au-delà du CM2 — puis constaté qu'ils ne pouvaient pas lui en apprendre davantage

Ils ont construit un modèle de langue qui n'a jamais rien lu au-delà du CM2 — puis constaté qu'ils ne pouvaient pas lui en apprendre davantage

Des chercheurs de l'Institut Max Planck pour les systèmes intelligents, de l'Institut ELLIS de Tübingen et de l'ETH Zurich ont publié LittleLearner : des modèles de langue de 0,6, 1,3 et 5 milliards de paramètres entraînés depuis zéro sur un corpus de 88 milliards de tokens distillé de FineWeb-Edu par un filtre en cinq étapes aligné sur les standards Common Core américains, dont tout ce qui s'enseigne au-delà de la cinquième année a été retiré. Chaque modèle dispose d'un témoin entraîné par le même procédé, sans le filtre. Le résultat central : agrandir le modèle, le post-entraîner par SFT et GRPO, et l'apprentissage en contexte amplifient tous ce que le programme contenait déjà, mais aucun n'améliore sensiblement les performances sur les connaissances situées en dehors. Le corpus et les modèles sont publiés comme banc d'essai pour étudier l'acquisition des connaissances.

Pourquoi c'est importantPresque toute affirmation sur ce qu'un modèle a « appris » est invérifiable, parce que personne ne peut dire ce que contenaient les données d'entraînement. Celui-ci a une frontière tracée exprès, ce qui en fait un laboratoire contrôlé pour une querelle récurrente du domaine : les techniques standard d'amélioration ajoutent-elles réellement des connaissances, ou se contentent-elles d'extraire davantage de ce qui était déjà là ? À l'intérieur de cette frontière, la réponse fut la seconde — un résultat qu'on ne peut pas obtenir en sondant un modèle de pointe dont on ignore le régime.
#Science & Recherche

✓ Vérifié · 2 sources

WhatsApp X Telegram
Lire dans l'app — gratuit, en 9 langues

Actus liées

OpenAI dit que ses nouveaux modèles bloquent le vol de raisonnement.
2026-11-22
La communauté Lean juge correcte la preuve de Riemann assistée par IA.
2026-11-22
Un modèle d'IA ouvert progresse en modifiant ses poids, dit une étude.
2026-11-21
Aucun chatbot de thérapie n'a l'aval de la FDA, selon un audit.
2026-11-21
Des mathématiciens ne voient aucune erreur dans la preuve de Riemann.
2026-11-21