Swiftlet уместил модель на 80 млрд параметров в 4,3 ГБ ОЗУ — а 35-миллиардную запустил на iPhone
Новая среда выполнения с открытым кодом на Swift и Metal под названием Swiftlet подгружает веса модели со смесью экспертов с диска по требованию: слои внимания, маршрутизаторы и кэш часто используемых 'экспертов' остаются в памяти, остальное читается с накопителя. Результат: Qwen3-Next-80B работает на Mac с чипом M5 примерно в 4,3 ГБ ОЗУ со скоростью 4,5–5 токенов в секунду, а модель на 35 млрд параметров идёт на iPhone 17 со скоростью около токена в секунду. Компромиссы остаются: большой модели нужно 42 ГБ свободного места на диске, а автор предупреждает, что такие разреженные модели 'беседуют как большие, но вспоминают факты как маленькие'. Проект за день возглавил Hacker News и набрал более 280 звёзд на GitHub.
Почему это важноБольшие модели не работали на потребительских устройствах из-за стены памяти, а не из-за чипа. Если стриминг экспертов оправдает себя, уже имеющееся у вас железо получит класс моделей, для которого до сих пор требовалась рабочая станция с GPU, — а это важно для приватности, офлайн-использования и всех, кому не по карману счета за API.
Читайте в приложении — бесплатно, 9 языков
Похожие новости
TikTok поместил бота для покупок внутрь видео, которое вы смотрите.2026-10-06Помощник Meta ведёт почасовое дело на всех ваших знакомых.
2026-10-05Одна команда возвращает выключатель ИИ, удалённый Apple.
2026-10-05OpenAI обещает улучшение каждый день или сброс лимитов.
2026-10-05Meta открыла прошивку, чтобы вы собрали своё устройство Muse.
2026-10-04