Исследования AI Minute Newsroom 2026-08-25

Лаборатория в Стэнфорде начала трёхмесячный запуск обучения на 535 миллиардов параметров публично — с кривыми потерь, составом данных и неудавшимися экспериментами

Проект Marin под руководством Перси Ляна начал предобучение Marin 535B-A23B — модели со смесью экспертов, 535 миллиардов параметров, из которых 23 миллиарда активны на токен, — на 11 стойках GB200 NVL72. Опубликованный план: 18,75 триллиона токенов, 80 процентов предобучения и 20 процентов промежуточного обучения, около трёх месяцев и примерно 2,7e24 операций с плавающей точкой, затем постобучение. От обычного релиза это отличается тем, что открыт сам процесс: живые кривые потерь, состав данных, телеметрия оборудования, конфигурации, инженерные артефакты и те эксперименты, которые не сработали; посторонние могут предлагать и запускать опыты через GitHub. Перед стартом команда обучила лесенку моделей поменьше, чтобы зафиксировать рецепт.

Почему это важноПочти всё, что публика знает об обучении больших моделей, приходит из готовых весов и статьи, написанной задним числом. Принятые решения, тупики и те часы, когда запуск теряет устойчивость, — именно то, чего лаборатории не публикуют, и именно в этом состоит бо́льшая часть ремесла. Запуск на 2,7e24 FLOPs, идущий открыто, впервые даёт людям вне передовых лабораторий возможность видеть эти решения по мере их принятия — и на масштабе, достаточно близком к переднему краю, чтобы усвоенное переносилось дальше.

✓ Проверено · 3 источников

Читайте в приложении — бесплатно, 9 языков

Похожие новости