aiminute. ← 全部AI新闻
工具 AI Minute Newsroom 2026-08-04

Swiftlet把800亿参数模型塞进4.3GB内存——350亿的塞进iPhone

Swiftlet把800亿参数模型塞进4.3GB内存——350亿的塞进iPhone

一个名为Swiftlet的新开源Swift/Metal运行时按需从磁盘流式加载混合专家权重:注意力层、路由器和常用'专家'缓存驻留内存,其余部分从存储中取用。结果是Qwen3-Next-80B在M5 Mac上仅用约4.3GB内存以每秒4.5-5个token运行,350亿参数模型在iPhone 17上以每秒约1个token运行。代价依然存在:大模型需要42GB空闲磁盘,作者也提醒,这类稀疏模型'聊天像大模型,记事实却像小模型'。该项目一天内登顶Hacker News,GitHub星标超过280。

为什么重要?大模型跑不进消费级设备,原因一直是内存墙而非芯片。如果专家流式加载站得住脚,你手头的硬件就能运行迄今需要GPU工作站的模型级别——这对隐私、离线使用以及付不起API账单的人都意义重大。

✓ 已核实 · 2个来源

WhatsApp X Telegram
在App中阅读——免费,9种语言

相关新闻

研究人员称攻破Meta的Muse智能体并取走聊天记录。
2026-11-22
ChatGPT的共享工作区Space开始向Plus用户开放。
2026-11-21
Signal默认阻止手机AI助手读取聊天内容
2026-11-20
OpenAI向开发者开放最新语音模型
2026-11-20
Gemini现在可以在你的Mac上代你点击和输入。
2026-11-20