欧洲网站每被 AI 机器人访问 179 次，才换回一位真人访客——它们的「禁止抓取」文件被无视的频率也高出三倍
TollBit 的《机器人现状》报告覆盖 2026 年上半年、3906 家出版方（其中 456 家为欧洲机构），发现中位数欧洲站点被抓取的强度是北美中位站点的四倍。它每被 AI 应用的机器人访问 179 次，才获得一次真人转介访问，这一比例比北美差三倍以上；其 robots.txt 中的禁止抓取指令被无视的频率也接近北美的三倍。在欧洲被识别出的 AI 页面抓取器中，约 15% 访问了站点标记为禁止的网址。页面抓取器是因用户提问而实时加载单个页面的代理，与训练爬虫或搜索爬虫不同。其中三个——ChatGPT-User、Bytespider 和 Youbot——在近一半曾在 robots.txt 中逐一点名它们的欧洲站点上访问了被禁页面。欧洲出版方的防护也更薄弱：仅 9% 屏蔽 Claude-User、13% 屏蔽 Perplexity-User，而北美两项均为 26%。欧洲站点 6 月的抓取量比 1 月高出约 20%。OpenAI 自己的文档主张，由于用户发起的抓取不属于自主爬取，robots.txt 可能不适用于 ChatGPT-User；Anthropic 则拒绝对自家智能体作此解读。
为什么重要?欧洲写下了全世界最严格的人工智能规则手册，而按这些数字，它如今是开放网络上最不被尊重的地区。这一落差之所以重要，是因为 robots.txt 在任何地方都不是法律——它是一个三十年前的请求，背后没有任何强制力；而业界如今正公开争论：当按下按钮的是人类时，它是否还适用。在这个问题定论之前，真正受保护的只有那些花钱做技术拦截的出版方；而欧洲站点当下的交换比例是：出去 179 次机器人访问，进来一位读者。
在App中阅读——免费，9种语言
相关新闻
内华达为拉斯维加斯放行最多 8000 辆无人驾驶出租车——特斯拉的上限五周内从 10 辆升到 5000 辆2026-08-21OpenAI 成立了一个团队，它公开表述的担忧是：像 OpenAI 这样的公司最终掌握了太多权力
2026-08-21OpenAI称它能在不保存你公司数据的前提下监管滥用——说这话时它指向的是Anthropic
2026-08-20佛罗里达一名警员查询前妻车牌717次。堪萨斯一座小城关掉了摄像头。
2026-08-20六个月前，好莱坞向字节跳动发出停止侵权函。本周双方签下休战协议——没有一分钱易手。
2026-08-20