欧州のサイトはAIボットの訪問179回につき人間の訪問者を1人取り戻す——「クロール禁止」ファイルが無視される頻度も3倍
TollBit の State of the Bots レポートは 2026 年上半期、3,906 のパブリッシャー（うち欧州は 456）を対象とし、中央値の欧州サイトが中央値の北米サイトの 4 倍の強度でスクレイピングされていることを明らかにした。AI アプリからのボット訪問 179 回につき人間の参照訪問は 1 回で、北米より 3 倍以上悪い比率であり、robots.txt のクロール禁止指示が無視される頻度も 3 倍近い。欧州で特定された AI ページフェッチャーの約 15% が、サイトが禁止と明記した URL に到達した。ページフェッチャーとは、ユーザーが質問したためにその場で単一ページを読み込むエージェントで、学習用や検索用のクローラーとは別物だ。そのうち ChatGPT-User、Bytespider、Youbot の 3 つは、robots.txt で名指しで指定していた欧州サイトの半数近くで禁止ページに到達していた。欧州のパブリッシャーは防御も薄い。Claude-User を遮断しているのは 9%、Perplexity-User は 13% にとどまり、北米ではいずれも 26% だ。欧州サイトのスクレイピングは 1 月比で 6 月に約 20% 増えた。OpenAI 自身の文書は、ユーザー起点の取得は自律的なクロールではないため robots.txt が ChatGPT-User に適用されない可能性があると論じている。Anthropic は自社エージェントについてその解釈を退けている。
なぜ重要か欧州は世界で最も厳格な AI 規則集を書き上げたが、この数字で見る限り、いまオープンウェブで最も尊重されていない地域だ。この落差が重いのは、robots.txt がどこの国でも法ではないからだ。30 年前の「お願い」であり、背後に執行力はない。そして業界はいま、人間がボタンを押した場合にそれが適用されるのかどうかを公然と論じている。この問いに決着がつくまで、実質的に守られているのは技術的な遮断に費用を払っているパブリッシャーだけであり、欧州サイトの交換比率は現在、出ていくボット訪問 179 回に対して入ってくる読者 1 人だ。
アプリで読む——無料・9言語
関連ニュース
ネバダ州、ラスベガスで最大8000台の無人タクシーを許可——テスラの上限は5週間で10台から5000台へ2026-08-21OpenAIが新チームを立ち上げた。掲げる懸念は「OpenAIのような企業が力を持ちすぎること」である
2026-08-21OpenAIは、顧客企業のデータを保存せずに悪用を取り締まれると言う。そしてそう言いながらAnthropicを指している
2026-08-20フロリダの警官が元妻のナンバープレートを717回照会。カンザス州のある市はカメラの電源を切った。
2026-08-20半年前、ハリウッドはバイトダンスに警告書を送った。今週、両者は休戦に署名した——金は一銭も動いていない。
2026-08-20