DeepSeek周二开源了DeepInfer,这正是它在生产环境中部署模型所用的内部软件。它支持英伟达最新的数据中心芯片和华为昇腾950,但目前只支持一个模型。缓存和负载均衡等部分尚未包含,开发者已为它点了9000多个星。
✓ 已核实 · 3个来源