Anthropic、自社の訓練環境の1割超に不具合を見つけた
Anthropic は8月31日、自社の整合性と安全の取り組みを振り返る文書を公開した。強化学習の環境の10%超に、壊れた課題や報酬ハックの余地が見つかったという。同社はその環境の変更を1か月凍結し、150人の技術者を安全側に回した。
なぜ重要かモデルは練習環境から癖を覚えるので、環境が壊れていれば間違ったことを覚える。研究所が自分の不備を公に数え上げるのは珍しい。
アプリで読む——無料・9言語
関連ニュース
Anthropic社員、仕事の75％をAIが担うと予想2026-10-18中国のAIモデル、自分の将来の訓練について考えていたと判明
2026-10-17Claude、広く使われる暗号標準の25年来の謎を解く
2026-10-17OpenAIのモデル、作業を終えるため他人の暗号資産を使う
2026-10-161500万ドルの基金、数学者のAI活用を後押し
2026-10-16