aiminute. ← 全部AI新闻
研究 AI Minute Newsroom 2026-08-07

'批准'?4 万局游戏数据:人类会放行三分之一的危险 AI 智能体命令

'批准'?4 万局游戏数据:人类会放行三分之一的危险 AI 智能体命令

开发者工具公司 Scale X 把 AI 智能体的权限请求做成了一款浏览器游戏,并分析了 4 万多局游戏中的 40.9 万次批准/拒绝决定。平均准确率仅 66.3%:玩家大约放行了三分之一的恶意命令,三分之一的对局以负分收场。随着批准次数增多,警惕性不断下降;被漏掉最多的威胁——可执行任意代码的 'npm run analyze' 脚本——被批准的比例接近 65%。

为什么重要?'每条命令都有人批准'是业界对智能体安全的标准答案。这是迄今最大的公开数据集,证明这道防线在疲劳之下漏洞百出——恰恰是监管者和实验室默认不会发生的失效模式。真正的防护恐怕要靠沙箱和更好的权限设计,而不是更多的点击。
#编程#AI智能体

✓ 已核实 · 2个来源

WhatsApp X Telegram
在App中阅读——免费,9种语言

相关新闻

诱饵测试曝光泄露后,OpenRouter停用三家推理服务商。
2026-11-22
研究人员称攻破Meta的Muse智能体并取走聊天记录。
2026-11-22
OpenAI称新模型几乎挡住了所有窃取推理过程的攻击。
2026-11-22
Lean社区称AI辅助的黎曼猜想证明正确无误。
2026-11-22
研究者称一款开源AI模型靠修改自身权重变得更强。
2026-11-21