У новой открытой модели Nvidia 30 миллиардов параметров, а работают одновременно 3 — и она запускается на настольном компьютере

11 августа Nvidia выпустила Nemotron 3.5 Lightning: модель на 30 миллиардов параметров архитектуры «смесь экспертов», активирующая на каждый токен лишь 3 миллиарда, с контекстным окном до миллиона токенов и весами под разрешительной лицензией OpenMDW-1.1 — компании могут скачивать, изменять и строить на ней продукты, не спрашивая Nvidia. Модель создана для невзрачной половины агентской работы: ревью кода, вызовы инструментов, наблюдение за оповещениями безопасности, ответы на вопросы по счетам — то есть шаги, которые передовая модель спланирует, но выполнять сама не обязана. Nvidia заявляет до четырёхкратной скорости вывода и на 30% более быстрое завершение агентских задач по сравнению с моделями сопоставимого размера, а также приводит результаты 81,62 на MMLU Pro, 75,57 на GPQA Diamond и 52,80 на SWE-bench Verified. Она работает локально на ПК с RTX, на DGX Spark, DGX Station и платах Jetson, масштабируется в дата-центры и доступна на Hugging Face, ModelScope и OpenRouter. Одновременно Nvidia открыла исходный код NeMo Switchyard — библиотеки маршрутизации, которая отправляет каждый шаг рабочего процесса самой дешёвой модели, способной его выполнить; по собственным замерам Nvidia, связка с Switchyard обходится примерно в треть от стоимости выполнения всего на Opus 4.8.

✓ Проверено · 3 источников

Похожие новости