Forschung AI Minute Newsroom 2026-08-16

Sie bauten ein Sprachmodell, das nie etwas oberhalb der fünften Klasse gelesen hat — und stellten fest, dass sie ihm nicht mehr beibringen konnten

Forschende des Max-Planck-Instituts für Intelligente Systeme, des ELLIS Institute Tübingen und der ETH Zürich haben LittleLearner veröffentlicht: Sprachmodelle mit 0,6, 1,3 und 5 Milliarden Parametern, von Grund auf trainiert auf einem Korpus von 88 Milliarden Token, das über einen fünfstufigen, an den US-Common-Core-Standards ausgerichteten Filter aus FineWeb-Edu destilliert wurde und aus dem alles entfernt ist, was oberhalb der fünften Klasse unterrichtet wird. Zu jedem Modell gibt es ein Kontrollmodell aus derselben Pipeline ohne Filter. Der zentrale Befund: Das Vergrößern des Modells, Nachtraining mit SFT und GRPO sowie das Lernen im Kontext verstärken alle das, was der Lehrplan bereits enthielt — keines davon verbesserte die Leistung bei Wissen außerhalb davon nennenswert. Korpus und Modelle erscheinen als Testumgebung für die Erforschung des Wissenserwerbs.

Warum es wichtig istFast jede Behauptung darüber, was ein Modell "gelernt" hat, ist unprüfbar, weil niemand sagen kann, was in den Trainingsdaten stand. Dieses Modell hat eine bewusst gezogene Grenze und wird damit zum kontrollierten Labor für einen Streit, den das Feld immer wieder führt: Fügen die üblichen Verbesserungsverfahren tatsächlich Wissen hinzu, oder holen sie nur mehr aus dem heraus, was schon da war? Innerhalb dieser Grenze lautete die Antwort: das Zweite — ein Ergebnis, das sich an einem Spitzenmodell mit unbekannter Datendiät nicht gewinnen lässt.

#Wissenschaft & Forschung

✓ Verifiziert · 2 Quellen

In der App lesen — kostenlos, 9 Sprachen

Sie bauten ein Sprachmodell, das nie etwas oberhalb der fünften Klasse gelesen hat — und stellten fest, dass sie ihm nicht mehr beibringen konnten

Verwandte Meldungen