AIの訓練方法を改善するために4時間とGPUを1枚与えたところ、最良のエージェントは1点満点で0.25。そして大半は試みすらしなかった
8月20日にarXivへ投稿されたベンチマーク「AI4AI-Bench」は、通常のコーディング評価より狭く、そして興味深い問いを検証する。AIエージェントは、AIを訓練するためのアルゴリズム自体を改善できるのか。設定は、10系統の訓練アルゴリズムを網羅する10個の凍結された研究リポジトリ。エージェントはB300のGPU1枚で4時間、訓練コードの改変に取り組む。その結果は最大12時間実行され、非公開のベンチマークで採点される。尺度は0が情報を持たないモデル、0.1が未改変の元アルゴリズム、1.0が既知の最良結果である。6システムの29構成を10課題すべてに適用した結果、平均は0.166、単一システムの最高は0.250だった。最も示唆的な数字は能力の話ですらない。実際にアルゴリズムの変更を試みたシステムの平均は0.226、試みなかった側は0.126。そして推論の労力を引き上げると、変更を試みた実行の割合は8％から64％に上がり、平均は0.094から0.196へ伸びた。論文はプレプリントで、査読を経ていない。
なぜ重要か再帰的自己改善、すなわちAIがAIを改良し続けて複利的に伸びるという筋書きは、多くの急速離陸論の中核にある機構だが、これまでは主に抽象論として語られてきた。本研究はそこに数字を置こうとした最初期の本格的な試みであり、その数字は小さい。最良のシステムでも、すでに文献にある結果の4分の1までしか届かなかった。ただ、覚えておく価値があるのは失敗の型のほうだ。エージェントは主に科学に失敗していたのではない。大半は科学を試みておらず、安全な微調整に流れていた。そして単に長く考えさせるだけで、その割合は8倍に変わった。これは知能の限界ではなく習慣の限界であり、習慣は工学的に短期間で取り除かれやすい類のものだ。
アプリで読む——無料・9言語
関連ニュース
機械学習が病んだ脳細胞の形を読み、それを落ち着かせる既承認薬を九つ選び出した2026-08-21噂：コーディングのベンチマークを無料で制した匿名モデルは、智譜（Zhipu）の未発表フラッグシップだとされる
2026-08-21ディープシークの安価な主力モデルが「見る」ようになった——視覚を要するエージェント課題でアンソロピック最上位に迫ると主張
2026-08-21エヌビディアが競合の「モデル製造装置」に60億ドル、動かしていた109人も採用
2026-08-21ChatGPTがあなたのiMessageを読み、送れるようになった——そして確認を省く設定こそ、OpenAI自身が警告しているものだ
2026-08-21