欧州のサイトはAIボットの訪問179回につき人間の訪問者を1人取り戻す——「クロール禁止」ファイルが無視される頻度も3倍
TollBit の State of the Bots レポートは 2026 年上半期、3,906 のパブリッシャー（うち欧州は 456）を対象とし、中央値の欧州サイトが中央値の北米サイトの 4 倍の強度でスクレイピングされていることを明らかにした。AI アプリからのボット訪問 179 回につき人間の参照訪問は 1 回で、北米より 3 倍以上悪い比率であり、robots.txt のクロール禁止指示が無視される頻度も 3 倍近い。欧州で特定された AI ページフェッチャーの約 15% が、サイトが禁止と明記した URL に到達した。ページフェッチャーとは、ユーザーが質問したためにその場で単一ページを読み込むエージェントで、学習用や検索用のクローラーとは別物だ。そのうち ChatGPT-User、Bytespider、Youbot の 3 つは、robots.txt で名指しで指定していた欧州サイトの半数近くで禁止ページに到達していた。欧州のパブリッシャーは防御も薄い。Claude-User を遮断しているのは 9%、Perplexity-User は 13% にとどまり、北米ではいずれも 26% だ。欧州サイトのスクレイピングは 1 月比で 6 月に約 20% 増えた。OpenAI 自身の文書は、ユーザー起点の取得は自律的なクロールではないため robots.txt が ChatGPT-User に適用されない可能性があると論じている。Anthropic は自社エージェントについてその解釈を退けている。
なぜ重要か欧州は世界で最も厳格な AI 規則集を書き上げたが、この数字で見る限り、いまオープンウェブで最も尊重されていない地域だ。この落差が重いのは、robots.txt がどこの国でも法ではないからだ。30 年前の「お願い」であり、背後に執行力はない。そして業界はいま、人間がボタンを押した場合にそれが適用されるのかどうかを公然と論じている。この問いに決着がつくまで、実質的に守られているのは技術的な遮断に費用を払っているパブリッシャーだけであり、欧州サイトの交換比率は現在、出ていくボット訪問 179 回に対して入ってくる読者 1 人だ。
アプリで読む——無料・9言語
関連ニュース
ノルウェーが更衣室や公園でのAIメガネを禁止する方針です。2026-10-06宣誓した4社は、AIが破滅を招くかどうか答えませんでした。
2026-10-06Anthropicが利用者の日記のような書き込みを警察に渡しました。
2026-10-05二人の上院議員が暴走エージェントの経営者に刑務所を求めました。
2026-10-05マスクの会社が全米初の脱衣禁止法を法廷で凍結させました。
2026-10-05