ggml团队周五发布了这个库的1.0版,它是热门项目llama.cpp的计算引擎。新版删除了旧接口,并支持FP8,这是新模型常用的紧凑数字格式。每次只调用部分权重的大模型,在英伟达和苹果芯片上也跑得更快了。
✓ 已核实 · 3个来源