Cloudflare公开秘诀：如何把万亿参数开源模型塞进更少的GPU
Cloudflare公开了在其Workers AI平台上运行月之暗面Kimi K2.6、智谱GLM 5.2等重量级开源模型的优化手册。把注意力缓存从16位改为8位存储，上下文容量翻倍至137万token，吞吐量提高41%，每token成本降低约30%；把GLM的权重压缩到4位，模型体积从705GB缩至421GB。公司称，优化后模型在基准测试中的准确率与原版难以区分。
为什么重要?AI经济学的前沿不只是更好的模型——还有更便宜地运行同样的模型。重量级开源模型的运行成本不断下降，这类技术是重要原因；而且Cloudflare把它们公开发表，任何基础设施团队都能照抄。
在App中阅读——免费，9种语言
相关新闻
Apple Music 将标注哪些歌曲由机器生成——但要不要说，取决于上传者2026-08-21Stripe 刚以75亿美元买下一个模型路由器。几天后，Ramp 自己造了一个，并且免费送到一月。
2026-08-21Meta 的助手现在是一款 Mac 应用，能读你的屏幕、往任何窗口里打字——而它看到的东西可以用来训练模型
2026-08-21在新闻网站上点一下，就等于告诉谷歌"多给我看这家"——而且你不用离开正在读的页面
2026-08-21Adobe 现在能生成配乐、旁白和关门声——而且它说授权已经替你兜底
2026-08-21