Google взяла обычную языковую модель и научила её писать по 256 слов сразу — меньше чем за десятую часть исходной стоимости обучения

DiffusionGemma — экспериментальная модель Google DeepMind с открытыми весами, которая не порождает текст токен за токеном. Она параллельно уточняет блоки по 256 токенов, как диффузионная модель изображений разом проясняет всю картинку, выдавая около двадцати токенов за проход и примерно 1500 выходных токенов в секунду на одной Nvidia H100. Технический отчёт, подписанный командой из 43 авторов и выложенный на arXiv 31 июля, содержит более узкое и более полезное утверждение, чем цифра скорости. Диффузионные языковые модели до сих пор считались отдельной линией, которую нужно обучать с нуля, — потому почти ни у кого их нет. Google не обучала с нуля: она взяла Gemma 4, модель со смесью экспертов на 25,2 миллиарда общих и 3,8 миллиарда активных параметров, и преобразовала её — сначала обучение с учителем на восстановление испорченных блоков текста, затем этап, объединяющий обучение с подкреплением и дистилляцию сэмплера, — израсходовав менее десяти процентов токенов, на которых обучалась исходная модель. Преобразованная модель сохраняет режим размышления, мультимодальный ввод и длинный контекст, а по утверждению отчёта обгоняет авторегрессионные модели по скорости порождения даже тогда, когда те применяют передовое спекулятивное декодирование. Веса лежат на Hugging Face под Apache 2.0. Преимущество в скорости сужается, как только сервер обрабатывает около 32 одновременных запросов, — а именно в этом режиме и живёт большинство рабочих развёртываний.

✓ Проверено · 2 источников

Похожие новости