Forschung
AI Minute Newsroom
2026-08-16
Sie bauten ein Sprachmodell, das nie etwas oberhalb der fünften Klasse gelesen hat — und stellten fest, dass sie ihm nicht mehr beibringen konnten
Forschende des Max-Planck-Instituts für Intelligente Systeme, des ELLIS Institute Tübingen und der ETH Zürich haben LittleLearner veröffentlicht: Sprachmodelle mit 0,6, 1,3 und 5 Milliarden Parametern, von Grund auf trainiert auf einem Korpus von 88 Milliarden Token, das über einen fünfstufigen, an den US-Common-Core-Standards ausgerichteten Filter aus FineWeb-Edu destilliert wurde und aus dem alles entfernt ist, was oberhalb der fünften Klasse unterrichtet wird. Zu jedem Modell gibt es ein Kontrollmodell aus derselben Pipeline ohne Filter. Der zentrale Befund: Das Vergrößern des Modells, Nachtraining mit SFT und GRPO sowie das Lernen im Kontext verstärken alle das, was der Lehrplan bereits enthielt — keines davon verbesserte die Leistung bei Wissen außerhalb davon nennenswert. Korpus und Modelle erscheinen als Testumgebung für die Erforschung des Wissenserwerbs.
Warum es wichtig istFast jede Behauptung darüber, was ein Modell "gelernt" hat, ist unprüfbar, weil niemand sagen kann, was in den Trainingsdaten stand. Dieses Modell hat eine bewusst gezogene Grenze und wird damit zum kontrollierten Labor für einen Streit, den das Feld immer wieder führt: Fügen die üblichen Verbesserungsverfahren tatsächlich Wissen hinzu, oder holen sie nur mehr aus dem heraus, was schon da war? Innerhalb dieser Grenze lautete die Antwort: das Zweite — ein Ergebnis, das sich an einem Spitzenmodell mit unbekannter Datendiät nicht gewinnen lässt.
✓ Verifiziert · 2 Quellen
In der App lesen — kostenlos, 9 Sprachen
Verwandte Meldungen
OpenAI will den Diebstahl von Denkschritten fast gestoppt haben.
2026-11-22Die Lean-Community hält den KI-gestützten Riemann-Beweis für korrekt.
2026-11-22Ein offenes KI-Modell verbesserte sich laut Forschern selbst.
2026-11-21Laut US-Prüfern hat kein KI-Therapie-Chatbot eine Zulassung der FDA.
2026-11-21Unabhängige Mathematiker finden im KI-Beweis zu Riemann keine Fehler.
2026-11-21