aiminute. ← Все новости ИИ
Исследования AI Minute Newsroom 2026-08-07

'Одобрить'? 40 000 игровых сессий: люди пропускают каждую третью опасную команду ИИ-агента

'Одобрить'? 40 000 игровых сессий: люди пропускают каждую третью опасную команду ИИ-агента

Компания Scale X превратила запросы разрешений ИИ-агентов в браузерную игру и проанализировала более 40 000 сессий с 409 000 решений 'одобрить/отклонить'. Средняя точность — 66,3%: игроки одобряли примерно каждую третью вредоносную команду, а треть сессий закончилась с отрицательным счётом. Бдительность падала по мере накопления одобрений; самая пропускаемая угроза — скрипт 'npm run analyze', способный исполнить произвольный код, — одобрялась почти в 65% случаев.

Почему это важно'Каждую команду одобряет человек' — стандартный ответ отрасли на вопрос о безопасности агентов. Это крупнейший открытый набор данных, показывающий, как сильно эта защита протекает от усталости — ровно тот сценарий отказа, который регуляторы и лаборатории считают решённым. Настоящая защита, похоже, требует песочниц и лучшего дизайна разрешений, а не большего числа кликов.
#Программирование#ИИ-агенты

✓ Проверено · 2 источников

WhatsApp X Telegram
Читайте в приложении — бесплатно, 9 языков

Похожие новости

OpenRouter отключил трёх провайдеров после теста с приманками.
2026-11-22
Исследователи заявили, что вывели переписку из агента Muse от Meta.
2026-11-22
OpenAI заявила, что новые модели почти остановили кражу рассуждений.
2026-11-22
Сообщество Lean признало верным ИИ-доказательство гипотезы Римана.
2026-11-22
Открытая ИИ-модель улучшила себя правкой своих весов, пишут учёные.
2026-11-21