Anthropic 发现自家超过一成的训练环境是坏的

Anthropic 在 8 月 31 日公布了自己的对齐与安全工作复盘。它标记出超过 10% 的强化学习环境存在损坏或奖励作弊的问题。公司把这些环境的改动冻结了一个月，并把 150 名工程师调去做安全。

为什么重要?模型的习惯就是从这些练习环境里学来的，环境坏了就会教错东西。一家实验室公开清点自己的毛病，并不多见。

相关新闻