OpenAI、自社モデルを危険だと論証する担当班を置きたいという

OpenAIは今週、最先端の訓練を続ける前に安全だと示す枠組みを公開した。別の班が反対のシナリオを書き、幹部が拒否権を持ち、論証が崩れれば訓練を止める。同社はこれを現在の慣行ではなく目標と呼び、強化学習の訓練に限っている。

なぜ重要か研究所は普通、公開の前にモデルを調べるが、学んでいる途中では調べない。判断を前に動かせば、誰かが世に出る前にそのモデルを止められる。

関連ニュース