Regulierung 2026-08-17

Europäische Websites bekommen einen menschlichen Besucher für 179 KI-Bot-Besuche zurück — und ihre „Nicht scrapen“-Datei wird dreimal so oft ignoriert

Der Bericht State of the Bots von TollBit deckt das erste Halbjahr 2026 und 3.906 Publisher ab, davon 456 europäische. Er stellt fest, dass die mittlere europäische Website viermal stärker gescrapt wurde als die mittlere nordamerikanische. Sie erhielt auf 179 Bot-Besuche einen einzigen menschlichen Verweisbesuch aus KI-Anwendungen — ein mehr als dreimal schlechteres Verhältnis als in Nordamerika — und ihre robots.txt-Anweisungen, nicht zu scrapen, wurden fast dreimal so oft ignoriert. Rund 15 Prozent der in Europa erfassten KI-Seitenabrufer erreichten URLs, die die Seite als nicht erlaubt markiert hatte. Seitenabrufer sind jene Agenten, die eine einzelne Seite in Echtzeit laden, weil ein Nutzer eine Frage gestellt hat — anders als Trainings- oder Suchcrawler. Drei von ihnen, ChatGPT-User, Bytespider und Youbot, erreichten gesperrte Seiten auf nahezu der Hälfte jener europäischen Seiten, die sie in der robots.txt ausdrücklich benannt hatten. Europäische Publisher sind zudem schlechter geschützt: Nur 9 Prozent blockieren Claude-User und 13 Prozent Perplexity-User, gegenüber jeweils 26 Prozent in Nordamerika. Das Scraping europäischer Seiten lag im Juni rund 20 Prozent höher als im Januar. OpenAIs eigene Dokumentation argumentiert, robots.txt gelte für ChatGPT-User womöglich nicht, weil ein nutzerausgelöster Abruf kein autonomes Crawlen sei; Anthropic weist diese Lesart für die eigenen Agenten zurück.

Warum es wichtig istEuropa hat das strengste KI-Regelwerk der Welt geschrieben und ist nach diesen Zahlen das am wenigsten respektierte Gebiet im offenen Netz. Die Lücke zählt, weil robots.txt nirgends Gesetz ist — eine dreißig Jahre alte Bitte ohne jede Durchsetzung. Und die Branche streitet inzwischen offen darüber, ob sie überhaupt gilt, wenn ein Mensch den Knopf gedrückt hat. Bis diese Frage geklärt ist, sind nur jene Publisher wirklich geschützt, die für eine technische Sperre bezahlen — und der Tausch lautet für europäische Seiten derzeit: 179 Bot-Besuche hinaus für einen Leser herein.

✓ Verifiziert · 4 Quellen

In der App lesen — kostenlos, 9 Sprachen

Verwandte Meldungen

Nevada erlaubt Las Vegas bis zu 8.000 fahrerlose Taxis — Teslas Obergrenze stieg in fünf Wochen von 10 auf 5.000
2026-08-21 OpenAI hat ein Team gegründet, dessen erklärte Sorge lautet, dass ein Unternehmen wie OpenAI am Ende zu viel Macht hat
2026-08-21 OpenAI sagt, es könne Missbrauch überwachen, ohne die Daten Ihres Unternehmens zu behalten — und zeigt dabei auf Anthropic
2026-08-20 Ein Polizist in Florida hat das Kennzeichen seiner Ex-Frau 717-mal abgefragt. Eine Stadt in Kansas hat ihre Kameras gerade abgeschaltet.
2026-08-20 Vor sechs Monaten schickte Hollywood ByteDance eine Unterlassungsaufforderung. Diese Woche unterzeichneten beide einen Waffenstillstand — und es floss kein Geld.
2026-08-20