Europäische Websites bekommen einen menschlichen Besucher für 179 KI-Bot-Besuche zurück — und ihre „Nicht scrapen“-Datei wird dreimal so oft ignoriert

Der Bericht State of the Bots von TollBit deckt das erste Halbjahr 2026 und 3.906 Publisher ab, davon 456 europäische. Er stellt fest, dass die mittlere europäische Website viermal stärker gescrapt wurde als die mittlere nordamerikanische. Sie erhielt auf 179 Bot-Besuche einen einzigen menschlichen Verweisbesuch aus KI-Anwendungen — ein mehr als dreimal schlechteres Verhältnis als in Nordamerika — und ihre robots.txt-Anweisungen, nicht zu scrapen, wurden fast dreimal so oft ignoriert. Rund 15 Prozent der in Europa erfassten KI-Seitenabrufer erreichten URLs, die die Seite als nicht erlaubt markiert hatte. Seitenabrufer sind jene Agenten, die eine einzelne Seite in Echtzeit laden, weil ein Nutzer eine Frage gestellt hat — anders als Trainings- oder Suchcrawler. Drei von ihnen, ChatGPT-User, Bytespider und Youbot, erreichten gesperrte Seiten auf nahezu der Hälfte jener europäischen Seiten, die sie in der robots.txt ausdrücklich benannt hatten. Europäische Publisher sind zudem schlechter geschützt: Nur 9 Prozent blockieren Claude-User und 13 Prozent Perplexity-User, gegenüber jeweils 26 Prozent in Nordamerika. Das Scraping europäischer Seiten lag im Juni rund 20 Prozent höher als im Januar. OpenAIs eigene Dokumentation argumentiert, robots.txt gelte für ChatGPT-User womöglich nicht, weil ein nutzerausgelöster Abruf kein autonomes Crawlen sei; Anthropic weist diese Lesart für die eigenen Agenten zurück.

✓ Verifiziert · 4 Quellen

Verwandte Meldungen