Swiftlet уместил модель на 80 млрд параметров в 4,3 ГБ ОЗУ — а 35-миллиардную запустил на iPhone
Новая среда выполнения с открытым кодом на Swift и Metal под названием Swiftlet подгружает веса модели со смесью экспертов с диска по требованию: слои внимания, маршрутизаторы и кэш часто используемых 'экспертов' остаются в памяти, остальное читается с накопителя. Результат: Qwen3-Next-80B работает на Mac с чипом M5 примерно в 4,3 ГБ ОЗУ со скоростью 4,5–5 токенов в секунду, а модель на 35 млрд параметров идёт на iPhone 17 со скоростью около токена в секунду. Компромиссы остаются: большой модели нужно 42 ГБ свободного места на диске, а автор предупреждает, что такие разреженные модели 'беседуют как большие, но вспоминают факты как маленькие'. Проект за день возглавил Hacker News и набрал более 280 звёзд на GitHub.
Почему это важноБольшие модели не работали на потребительских устройствах из-за стены памяти, а не из-за чипа. Если стриминг экспертов оправдает себя, уже имеющееся у вас железо получит класс моделей, для которого до сих пор требовалась рабочая станция с GPU, — а это важно для приватности, офлайн-использования и всех, кому не по карману счета за API.
Читайте в приложении — бесплатно, 9 языков
Похожие новости
Apple Music будет сообщать, что песню сделала машина, — но говорить об этом или нет, решает тот, кто её загружает2026-08-21Stripe только что заплатила 7,5 миллиарда за маршрутизатор моделей. Через несколько дней Ramp собрала свой и раздаёт его бесплатно до января.
2026-08-21Ассистент Meta стал приложением для Mac, которое читает ваш экран и печатает в любое окно, — а увиденное может пойти на обучение модели
2026-08-21Один клик на новостном сайте теперь говорит Google показывать вам его чаще — и вы остаётесь на той же странице
2026-08-21Adobe теперь сочинит музыку, начитает закадровый текст и хлопнет дверью — и уверяет, что лицензия вас прикроет
2026-08-21