ggmlチームは金曜、人気のllama.cppの計算エンジンであるライブラリの1.0版を公開した。古いインターフェースを廃止し、新しいモデルが使う省メモリの数値形式FP8に対応した。重みの一部だけを使う大型モデルも、NvidiaとAppleのチップで速く動く。
✓ 検証済み · 3ソース