aiminute. ← 全部AI新闻
工具 AI Minute Newsroom 2026-08-17

发布AI排行榜的那批人,刚刚推出了让自家排行榜变得不那么重要的工具

发布AI排行榜的那批人,刚刚推出了让自家排行榜变得不那么重要的工具

其模型排名被几乎每次新品报道引用的Artificial Analysis,于8月13日发布了Optima。这是一项自助服务,让你用自己的材料搭建基准测试,而不是去读别人的榜单。你可以提供一个数据集,或从Arize、Braintrust、Langfuse等工具导入真实的智能体调用轨迹,或干脆用大白话描述你的使用场景;系统会让候选模型在其上运行,并采用该公司公开基准所用的同一套成对评判方法打分。每次运行都会在质量分数旁列出单任务成本和单任务耗时,你自己的智能体栈也可以通过HTTP加入同一场比较。定价按用量计费,无需订阅。公司把目标说得很直白:为你的任务找到最好的模型,或者找到一个同样好、成本或耗时约为十分之一的替代品。发布前的测试者把它用于为金融智能体挑选足够便宜的模型、匹配某事务所的法律写作风格、以及整理自定义图像集等场景。

为什么重要?这次发布里诚实的一点是:公开排行榜已经不再能预测生产环境的表现——在学术测试平均分上登顶的模型,用来总结你的客服工单仍可能是错的选择。作为运营排行榜的一方,Artificial Analysis比谁都清楚这一点。对小团队来说,真正有用的不是评分方法,而是旁边那两列:单任务成本和单任务耗时才是真正决定部署的因素,而它们通常是在迁移之后而非之前才被发现的。也要记住:这里给模型打分的厂商,同时也在卖这套打分服务。
#AI智能体

✓ 已核实 · 3个来源

WhatsApp X Telegram
在App中阅读——免费,9种语言

相关新闻

TikTok把购物机器人放进了你正在看的视频里。
2026-10-06
维基媒体怀疑OpenAI的智能体造成了五月的那次宕机。
2026-10-06
Meta的助手给你生活里每个人都建了按小时更新的档案。
2026-10-05
两名参议员要求让放任智能体黑客的高管坐牢。
2026-10-05
一条命令就把苹果删掉的 AI 关闭开关找回来
2026-10-05