一家叫Inferact的创业公司周三公布了测试,用的是自己为谷歌芯片写的底层代码。十六块谷歌TPU在Kimi K3上每秒产出709个词元,同样十六块英伟达GB200只有452个。作者之一是Woosuk Kwon,广泛使用的vLLM推理引擎的共同创造者。
✓ 已核实 · 2个来源