Европейские сайты получают одного живого посетителя на каждые 179 визитов ИИ-ботов — а их файл «не скрапить» игнорируют втрое чаще

Отчёт TollBit State of the Bots за первое полугодие 2026 года охватил 3906 издателей, из которых 456 европейских, и показал, что медианный европейский сайт скрапили вчетверо интенсивнее медианного североамериканского. На каждые 179 визитов ботов он получал один переход живого читателя из ИИ-приложений — соотношение более чем втрое хуже североамериканского, — а указания robots.txt не скрапить игнорировались почти втрое чаще. Около 15% выявленных в Европе ИИ-загрузчиков страниц обращались к адресам, помеченным сайтом как запрещённые. Загрузчики страниц — это агенты, которые в реальном времени открывают одну страницу, потому что пользователь задал вопрос; они отличаются от обучающих и поисковых краулеров. Трое из них — ChatGPT-User, Bytespider и Youbot — добирались до запрещённых страниц почти на половине европейских сайтов, поимённо назвавших их в robots.txt. Европейские издатели к тому же хуже защищены: Claude-User блокируют лишь 9%, Perplexity-User — 13%, тогда как в Северной Америке по 26%. Скрапинг европейских сайтов в июне был примерно на 20% выше, чем в январе. В собственной документации OpenAI утверждается, что robots.txt может не распространяться на ChatGPT-User, поскольку инициированная пользователем загрузка не является автономным обходом; Anthropic отвергает такое прочтение применительно к своим агентам.

✓ Проверено · 4 источников

Похожие новости