研究者たちが自分の研究室の実作業70件を試験問題として差し出した。最良のAIエージェントが片づけたのは3割だった
今週スタンフォード大学の研究者らがTerminal-BenchおよびHarborの各チームとともに公開したTerminal-Bench-Science 0.1は、科学者が実際に行っている作業から組み立てられたベンチマークである。70の課題はそれぞれ、自分の研究室の計算ワークフローを、エージェントがターミナル上で挑戦できる形に作り替えた研究者の寄稿による。分野は生命科学、物理科学、地球科学、数理科学、工学にまたがる。各課題はコンテナ内で実行され、プログラムによって検証される。つまり採点対象は、エージェントが「やった」と言ったかどうかではなく、作業が正しく仕上がったかどうかだ。結果は意図的に低い。Claude Opus 5が解決率30.0%で首位、GPT-5.6 Solが22.4%、Claude Fable 5が21.4%。いずれのモデルも一般的なTerminal-Bench 3.0より10ポイント以上低い。プロジェクトは22か国376名の貢献者を挙げており、10月5日を締め切りとして0.2版の課題を募集している。
なぜ重要かAIが科学を加速させようとしている、という主張はたいてい試験型のベンチマークで裏づけられる。答えのある問題――科学者が何年も前に受けなくなった種類の問題だ。この指標が測るのは別のことである。パイプラインを回せるか、ファイル形式に対処できるか、あるステップが失敗したことに気づけるか、そして研究者が受け入れる結果を出せるか。30%は飽和した数字ではなく、これから改善していける実数だ。しかも課題が実名の貢献者と特定分野から来ているため、失敗には行き先がある。エージェントが「苦手だ」ということだけでなく、どの分野で最も苦手なのかが見える。
アプリで読む——無料・9言語
関連ニュース
Slackの既定モデルがClaudeになり、Salesforceの営業業務はチャット画面から呼び出す37のスキルとして梱包された2026-08-29Anthropic は自社の10種類のアライメント不全に Claude を差し向けた。欺瞞の課題では 85 点、28 人の人間の安全研究者は 20 点だった。
2026-08-29Z.ai は約束どおりの日に GLM-5.3 の重みを公開した——だが直近3モデルで使ってきた MIT ライセンスは静かに手放した
2026-08-29ランサムウェア集団の手口は一文だった。コーディングエージェントに「これはテストだ」と告げる。そのあと六週間、実在企業のネットワークの中にいた。
2026-08-28グーグル検索が航空券の価格を代わりに見張り、ホテルまで予約する——会話の終点はリンク一覧ではなく、予約になった
2026-08-28