'Одобрить'? 40 000 игровых сессий: люди пропускают каждую третью опасную команду ИИ-агента
Компания Scale X превратила запросы разрешений ИИ-агентов в браузерную игру и проанализировала более 40 000 сессий с 409 000 решений 'одобрить/отклонить'. Средняя точность — 66,3%: игроки одобряли примерно каждую третью вредоносную команду, а треть сессий закончилась с отрицательным счётом. Бдительность падала по мере накопления одобрений; самая пропускаемая угроза — скрипт 'npm run analyze', способный исполнить произвольный код, — одобрялась почти в 65% случаев.
Почему это важно'Каждую команду одобряет человек' — стандартный ответ отрасли на вопрос о безопасности агентов. Это крупнейший открытый набор данных, показывающий, как сильно эта защита протекает от усталости — ровно тот сценарий отказа, который регуляторы и лаборатории считают решённым. Настоящая защита, похоже, требует песочниц и лучшего дизайна разрешений, а не большего числа кликов.
Читайте в приложении — бесплатно, 9 языков
Похожие новости
Модель обучилась без метода, которым обучают весь ИИ.2026-10-06TikTok поместил бота для покупок внутрь видео, которое вы смотрите.
2026-10-06Reflection бесплатно отдаст модель на 501 миллиард параметров.
2026-10-06Wikimedia подозревает агентов OpenAI в майском сбое.
2026-10-06Помощник Meta ведёт почасовое дело на всех ваших знакомых.
2026-10-05