Инструменты
AI Minute Newsroom
2026-08-04
Swiftlet уместил модель на 80 млрд параметров в 4,3 ГБ ОЗУ — а 35-миллиардную запустил на iPhone
Новая среда выполнения с открытым кодом на Swift и Metal под названием Swiftlet подгружает веса модели со смесью экспертов с диска по требованию: слои внимания, маршрутизаторы и кэш часто используемых 'экспертов' остаются в памяти, остальное читается с накопителя. Результат: Qwen3-Next-80B работает на Mac с чипом M5 примерно в 4,3 ГБ ОЗУ со скоростью 4,5–5 токенов в секунду, а модель на 35 млрд параметров идёт на iPhone 17 со скоростью около токена в секунду. Компромиссы остаются: большой модели нужно 42 ГБ свободного места на диске, а автор предупреждает, что такие разреженные модели 'беседуют как большие, но вспоминают факты как маленькие'. Проект за день возглавил Hacker News и набрал более 280 звёзд на GitHub.
Почему это важноБольшие модели не работали на потребительских устройствах из-за стены памяти, а не из-за чипа. Если стриминг экспертов оправдает себя, уже имеющееся у вас железо получит класс моделей, для которого до сих пор требовалась рабочая станция с GPU, — а это важно для приватности, офлайн-использования и всех, кому не по карману счета за API.
✓ Проверено · 2 источников
Читайте в приложении — бесплатно, 9 языков
Похожие новости
Исследователи заявили, что вывели переписку из агента Muse от Meta.
2026-11-22Общее рабочее пространство ChatGPT Space открывают для Plus.
2026-11-21Signal закрыл чаты от встроенных в телефон ИИ-ассистентов.
2026-11-20OpenAI открыла разработчикам свою новейшую голосовую модель.
2026-11-20Gemini теперь умеет сам кликать и печатать на вашем Mac.
2026-11-20