Swiftlet把800亿参数模型塞进4.3GB内存——350亿的塞进iPhone
一个名为Swiftlet的新开源Swift/Metal运行时按需从磁盘流式加载混合专家权重:注意力层、路由器和常用'专家'缓存驻留内存,其余部分从存储中取用。结果是Qwen3-Next-80B在M5 Mac上仅用约4.3GB内存以每秒4.5-5个token运行,350亿参数模型在iPhone 17上以每秒约1个token运行。代价依然存在:大模型需要42GB空闲磁盘,作者也提醒,这类稀疏模型'聊天像大模型,记事实却像小模型'。该项目一天内登顶Hacker News,GitHub星标超过280。
为什么重要?大模型跑不进消费级设备,原因一直是内存墙而非芯片。如果专家流式加载站得住脚,你手头的硬件就能运行迄今需要GPU工作站的模型级别——这对隐私、离线使用以及付不起API账单的人都意义重大。
在App中阅读——免费，9种语言
相关新闻
TikTok把购物机器人放进了你正在看的视频里。2026-10-06Meta的助手给你生活里每个人都建了按小时更新的档案。
2026-10-05一条命令就把苹果删掉的 AI 关闭开关找回来
2026-10-05OpenAI 承诺28天每天上新，做不到就重置额度
2026-10-05Meta开源了固件，让你自己造一台Muse设备。
2026-10-04