Inferactという新興企業が水曜、グーグル半導体向けに自作した低水準コードの測定結果を公表した。グーグルのTPU十六枚はKimi K3で毎秒709トークンを出し、同数のGB200は452トークンだった。著者の一人は、広く使われる推論基盤vLLMの共同開発者Woosuk Kwon氏である。
✓ 検証済み · 2ソース