TollBit'in 2026'nın ilk yarısını kapsayan State of the Bots raporu, 456'sı Avrupalı olmak üzere 3.906 yayıncıyı inceledi ve medyan Avrupa sitesinin medyan Kuzey Amerika sitesine göre dört kat daha yoğun tarandığını buldu. Bu site, yapay zekâ uygulamalarından her 179 bot ziyaretine karşılık yalnızca bir insan yönlendirmesi alıyor — Kuzey Amerika'dan üç kattan fazla kötü bir oran — ve robots.txt'deki 'tarama' talimatları neredeyse üç kat daha sık yok sayılıyor. Avrupa'da tespit edilen yapay zekâ sayfa getiricilerinin yaklaşık %15'i, sitenin yasaklı olarak işaretlediği adreslere ulaştı. Sayfa getiriciler, bir kullanıcı soru sorduğu için tek bir sayfayı anlık yükleyen ajanlardır; eğitim veya arama tarayıcılarından farklıdır. Bunlardan üçü — ChatGPT-User, Bytespider ve Youbot — kendilerini robots.txt'de tek tek adıyla yasaklamış Avrupa sitelerinin neredeyse yarısında yasaklı sayfalara ulaştı. Avrupalı yayıncılar aynı zamanda daha savunmasız: Claude-User'ı yalnızca %9'u, Perplexity-User'ı %13'ü engelliyor; Kuzey Amerika'da her ikisi de %26. Avrupa sitelerindeki tarama haziranda ocağa göre yaklaşık %20 daha yüksekti. OpenAI'nin kendi belgeleri, kullanıcı tarafından başlatılan bir getirmenin özerk tarama olmadığı gerekçesiyle robots.txt'nin ChatGPT-User için geçerli olmayabileceğini savunuyor; Anthropic kendi ajanları için bu yorumu reddediyor.