Swiftlet把800亿参数模型塞进4.3GB内存——350亿的塞进iPhone
一个名为Swiftlet的新开源Swift/Metal运行时按需从磁盘流式加载混合专家权重:注意力层、路由器和常用'专家'缓存驻留内存,其余部分从存储中取用。结果是Qwen3-Next-80B在M5 Mac上仅用约4.3GB内存以每秒4.5-5个token运行,350亿参数模型在iPhone 17上以每秒约1个token运行。代价依然存在:大模型需要42GB空闲磁盘,作者也提醒,这类稀疏模型'聊天像大模型,记事实却像小模型'。该项目一天内登顶Hacker News,GitHub星标超过280。
为什么重要?大模型跑不进消费级设备,原因一直是内存墙而非芯片。如果专家流式加载站得住脚,你手头的硬件就能运行迄今需要GPU工作站的模型级别——这对隐私、离线使用以及付不起API账单的人都意义重大。
在App中阅读——免费，9种语言
相关新闻
Apple Music 将标注哪些歌曲由机器生成——但要不要说，取决于上传者2026-08-21Stripe 刚以75亿美元买下一个模型路由器。几天后，Ramp 自己造了一个，并且免费送到一月。
2026-08-21Meta 的助手现在是一款 Mac 应用，能读你的屏幕、往任何窗口里打字——而它看到的东西可以用来训练模型
2026-08-21在新闻网站上点一下，就等于告诉谷歌"多给我看这家"——而且你不用离开正在读的页面
2026-08-21Adobe 现在能生成配乐、旁白和关门声——而且它说授权已经替你兜底
2026-08-21