同じ仕事を二十回やらせると最高の人工知能の点が三分の一落ちた。
Thinkingboxという新しい指標が、507件の業務手順を清浄な状態から二十回ずつ走らせた。Claude Opus 5は一回なら66.5%を解いたが、二十回すべて成功は47.5%だった。Kimi K3はもっと落ちて57.4%から17.6%になり、差は信頼性にあった。
なぜ重要か実演では一回成功すればよいが、仕事では毎回成功してほしい。この指標は人工知能の報告ではなく、残したデータベースを採点する。
アプリで読む——無料・9言語
関連ニュース
すべてのAIを訓練する方法を使わずに、モデルが学びました。2026-10-06TikTokが見ている動画の中に買い物ボットを入れました。
2026-10-06ウィキメディアがOpenAIのエージェントを5月の障害で疑っています。
2026-10-06メタの助手はあなたの周りの全員を一時間ごとに記録しています。
2026-10-05二人の上院議員が暴走エージェントの経営者に刑務所を求めました。
2026-10-05