Anthropic нашла ошибки более чем в десятой части своих сред обучения.
Anthropic опубликовала 31 августа разбор своей работы по согласованию и безопасности. Более 10 процентов сред обучения с подкреплением оказались сломанными или уязвимыми к взлому награды. Компания заморозила изменения на месяц и перевела 150 инженеров в безопасность.
Почему это важноМодели набирают привычки именно в этих тренировочных средах, а сломанная учит неверному. Лаборатория редко пересчитывает собственные промахи публично.
Читайте в приложении — бесплатно, 9 языков
Похожие новости
Сотрудники Anthropic ждут, что ИИ сделает 75% их работы.2026-10-18Китайский ИИ поймали на мыслях о собственном будущем обучении.
2026-10-17Claude разгадал 25-летнюю загадку популярного стандарта шифрования.
2026-10-17Модель OpenAI потратила чужую криптовалюту, чтобы закончить задачу.
2026-10-16Фонд на 15 миллионов поможет математикам решить, как применять ИИ.
2026-10-16