Они построили языковую модель, не читавшую ничего сложнее пятого класса, — и выяснили, что научить её большему не выходит

Исследователи из Института интеллектуальных систем Общества Макса Планка, Института ELLIS в Тюбингене и ETH Zürich выпустили LittleLearner: языковые модели на 0,6, 1,3 и 5 млрд параметров, обученные с нуля на корпусе в 88 млрд токенов. Корпус получен из FineWeb-Edu пятиступенчатым фильтром, выровненным по американским стандартам Common Core, и из него убрано всё, что преподают выше пятого класса. У каждой модели есть парная контрольная, прошедшая тот же конвейер без фильтра. Главный вывод: увеличение размера модели, дообучение методами SFT и GRPO и обучение в контексте — всё это усиливает то, что уже содержала программа, но ни один из приёмов заметно не улучшил результаты на знаниях за её пределами. Корпус и модели опубликованы как площадка для изучения того, как модели усваивают знания.

✓ Проверено · 2 источников

Похожие новости