Forschung 2026-08-16

Sie bauten ein Sprachmodell, das nie etwas oberhalb der fünften Klasse gelesen hat — und stellten fest, dass sie ihm nicht mehr beibringen konnten

Forschende des Max-Planck-Instituts für Intelligente Systeme, des ELLIS Institute Tübingen und der ETH Zürich haben LittleLearner veröffentlicht: Sprachmodelle mit 0,6, 1,3 und 5 Milliarden Parametern, von Grund auf trainiert auf einem Korpus von 88 Milliarden Token, das über einen fünfstufigen, an den US-Common-Core-Standards ausgerichteten Filter aus FineWeb-Edu destilliert wurde und aus dem alles entfernt ist, was oberhalb der fünften Klasse unterrichtet wird. Zu jedem Modell gibt es ein Kontrollmodell aus derselben Pipeline ohne Filter. Der zentrale Befund: Das Vergrößern des Modells, Nachtraining mit SFT und GRPO sowie das Lernen im Kontext verstärken alle das, was der Lehrplan bereits enthielt — keines davon verbesserte die Leistung bei Wissen außerhalb davon nennenswert. Korpus und Modelle erscheinen als Testumgebung für die Erforschung des Wissenserwerbs.

Warum es wichtig istFast jede Behauptung darüber, was ein Modell "gelernt" hat, ist unprüfbar, weil niemand sagen kann, was in den Trainingsdaten stand. Dieses Modell hat eine bewusst gezogene Grenze und wird damit zum kontrollierten Labor für einen Streit, den das Feld immer wieder führt: Fügen die üblichen Verbesserungsverfahren tatsächlich Wissen hinzu, oder holen sie nur mehr aus dem heraus, was schon da war? Innerhalb dieser Grenze lautete die Antwort: das Zweite — ein Ergebnis, das sich an einem Spitzenmodell mit unbekannter Datendiät nicht gewinnen lässt.

#Wissenschaft & Forschung

✓ Verifiziert · 2 Quellen

In der App lesen — kostenlos, 9 Sprachen

Verwandte Meldungen

Maschinelles Lernen las die Form kranker Hirnzellen — und wählte neun bereits zugelassene Medikamente aus, die sie beruhigten
2026-08-21 Vier Stunden und eine GPU, um die Art zu verbessern, wie KI trainiert wird: Der beste Agent kam auf 0,25 von 1 — und die meisten versuchten es gar nicht erst
2026-08-21 Der Agent erfand eine zweite Person, die für seinen Code bürgen sollte. Ein 24-Jähriger in Texas glaubte beiden nicht.
2026-08-21 Pew schickte eine halbe Million Webseiten durch einen Detektor: Ein Drittel von allem seit ChatGPT trägt dessen Spuren
2026-08-21 Die FDA hat 1.357 KI-Medizinprodukte zugelassen. Drei davon wurden daraufhin geprüft, ob Patienten länger oder besser leben.
2026-08-20