aiminute. ← Все новости ИИ
Исследования AI Minute Newsroom 2026-08-16

Они построили языковую модель, не читавшую ничего сложнее пятого класса, — и выяснили, что научить её большему не выходит

Они построили языковую модель, не читавшую ничего сложнее пятого класса, — и выяснили, что научить её большему не выходит

Исследователи из Института интеллектуальных систем Общества Макса Планка, Института ELLIS в Тюбингене и ETH Zürich выпустили LittleLearner: языковые модели на 0,6, 1,3 и 5 млрд параметров, обученные с нуля на корпусе в 88 млрд токенов. Корпус получен из FineWeb-Edu пятиступенчатым фильтром, выровненным по американским стандартам Common Core, и из него убрано всё, что преподают выше пятого класса. У каждой модели есть парная контрольная, прошедшая тот же конвейер без фильтра. Главный вывод: увеличение размера модели, дообучение методами SFT и GRPO и обучение в контексте — всё это усиливает то, что уже содержала программа, но ни один из приёмов заметно не улучшил результаты на знаниях за её пределами. Корпус и модели опубликованы как площадка для изучения того, как модели усваивают знания.

Почему это важноПочти любое утверждение о том, что модель «выучила», непроверяемо: никто не может сказать, что было в обучающих данных. Здесь граница проведена намеренно, и это превращает работу в контролируемую лабораторию для спора, который в области ведут постоянно: стандартные приёмы улучшения моделей действительно добавляют знание или лишь извлекают больше из уже имеющегося? В пределах этой границы верным оказалось второе — а такой результат нельзя получить, тыкая во фронтирную модель с неизвестным рационом.
#Наука и исследования

✓ Проверено · 2 источников

WhatsApp X Telegram
Читайте в приложении — бесплатно, 9 языков

Похожие новости

OpenAI заявила, что новые модели почти остановили кражу рассуждений.
2026-11-22
Сообщество Lean признало верным ИИ-доказательство гипотезы Римана.
2026-11-22
Открытая ИИ-модель улучшила себя правкой своих весов, пишут учёные.
2026-11-21
Аудиторы США выяснили, что ни один ИИ-бот для терапии не одобрен FDA.
2026-11-21
Математики не нашли ошибок в ИИ-доказательстве гипотезы Римана.
2026-11-21