aiminute. ← Все новости ИИ
Регулирование AI Minute Newsroom 2026-08-17

Европейские сайты получают одного живого посетителя на каждые 179 визитов ИИ-ботов — а их файл «не скрапить» игнорируют втрое чаще

Европейские сайты получают одного живого посетителя на каждые 179 визитов ИИ-ботов — а их файл «не скрапить» игнорируют втрое чаще

Отчёт TollBit State of the Bots за первое полугодие 2026 года охватил 3906 издателей, из которых 456 европейских, и показал, что медианный европейский сайт скрапили вчетверо интенсивнее медианного североамериканского. На каждые 179 визитов ботов он получал один переход живого читателя из ИИ-приложений — соотношение более чем втрое хуже североамериканского, — а указания robots.txt не скрапить игнорировались почти втрое чаще. Около 15% выявленных в Европе ИИ-загрузчиков страниц обращались к адресам, помеченным сайтом как запрещённые. Загрузчики страниц — это агенты, которые в реальном времени открывают одну страницу, потому что пользователь задал вопрос; они отличаются от обучающих и поисковых краулеров. Трое из них — ChatGPT-User, Bytespider и Youbot — добирались до запрещённых страниц почти на половине европейских сайтов, поимённо назвавших их в robots.txt. Европейские издатели к тому же хуже защищены: Claude-User блокируют лишь 9%, Perplexity-User — 13%, тогда как в Северной Америке по 26%. Скрапинг европейских сайтов в июне был примерно на 20% выше, чем в январе. В собственной документации OpenAI утверждается, что robots.txt может не распространяться на ChatGPT-User, поскольку инициированная пользователем загрузка не является автономным обходом; Anthropic отвергает такое прочтение применительно к своим агентам.

Почему это важноЕвропа написала самый строгий в мире свод правил об ИИ и, судя по этим цифрам, оказалась наименее уважаемой территорией открытого веба. Разрыв важен потому, что robots.txt нигде не является законом: это тридцатилетняя просьба, за которой нет никакого принуждения, — и отрасль теперь открыто спорит, действует ли она вообще, когда кнопку нажал человек. Пока этот вопрос не решён, реально защищены лишь те издатели, кто платит за техническую блокировку, а обмен для европейских сайтов сегодня таков: 179 визитов ботов наружу за одного читателя внутрь.

✓ Проверено · 4 источников

WhatsApp X Telegram
Читайте в приложении — бесплатно, 9 языков

Похожие новости

Глава разведки Австралии предупредил об иностранных дата-центрах.
2026-11-22
Китай готовит стандарты учёта и оплаты токенов ИИ.
2026-11-22
Тайвань запретил короткие продажи акций после обвала из-за ИИ.
2026-11-22
Переговоры ООН о роботах-убийцах продлили ещё на два года.
2026-11-21
Сенат США обязал дата-центры платить за модернизацию электросетей.
2026-11-21