विनियमन AI Minute Newsroom 2026-08-17

यूरोपीय वेबसाइटों को हर 179 AI बॉट विज़िट के बदले एक इंसानी पाठक मिलता है — और उनकी 'स्क्रैप मत करो' फ़ाइल तीन गुना ज़्यादा बार अनदेखी होती है

TollBit की State of the Bots रिपोर्ट, जो 2026 की पहली छमाही में 3,906 प्रकाशकों को कवर करती है और जिनमें 456 यूरोपीय हैं, ने पाया कि मध्यमान यूरोपीय साइट को मध्यमान उत्तर अमेरिकी साइट की तुलना में चार गुना अधिक स्क्रैप किया गया। उसे AI ऐप्स से हर 179 बॉट विज़िट के बदले केवल एक इंसानी रेफ़रल विज़िट मिली — उत्तर अमेरिका से तीन गुना से भी बदतर अनुपात — और उसके robots.txt के स्क्रैप न करने के निर्देश लगभग तीन गुना ज़्यादा बार अनदेखे किए गए। यूरोप में पहचाने गए AI पेज-फ़ेचर्स में से लगभग 15% ऐसे URL तक पहुँचे जिन्हें साइट ने प्रतिबंधित चिह्नित किया था। पेज-फ़ेचर वे एजेंट हैं जो किसी उपयोगकर्ता के सवाल पूछने पर रीयल-टाइम में एक पन्ना लोड करते हैं — ये प्रशिक्षण या खोज क्रॉलरों से अलग हैं। इनमें से तीन — ChatGPT-User, Bytespider और Youbot — उन यूरोपीय साइटों में से लगभग आधी पर प्रतिबंधित पन्नों तक पहुँचे जिन्होंने robots.txt में उनका नाम लेकर मना किया था। यूरोपीय प्रकाशक कम सुरक्षित भी हैं: केवल 9% Claude-User को और 13% Perplexity-User को रोकते हैं, जबकि उत्तर अमेरिका में दोनों के लिए यह 26% है। यूरोपीय साइटों पर स्क्रैपिंग जून में जनवरी की तुलना में लगभग 20% अधिक थी। OpenAI का अपना दस्तावेज़ीकरण तर्क देता है कि robots.txt ChatGPT-User पर लागू नहीं हो सकता, क्योंकि उपयोगकर्ता द्वारा शुरू की गई फ़ेच स्वायत्त क्रॉलिंग नहीं है; Anthropic अपने एजेंटों के लिए इस व्याख्या को अस्वीकार करता है।

यह क्यों मायने रखता हैयूरोप ने दुनिया की सबसे सख़्त AI नियम-पुस्तिका लिखी, और इन आँकड़ों के हिसाब से आज वह खुले वेब पर सबसे कम सम्मानित क्षेत्र है। यह फ़ासला मायने रखता है क्योंकि robots.txt कहीं भी कानून नहीं है — यह तीस साल पुराना एक अनुरोध है, जिसके पीछे कोई प्रवर्तन नहीं; और उद्योग अब खुलकर बहस कर रहा है कि जब बटन किसी इंसान ने दबाया हो, तो वह लागू भी होता है या नहीं। जब तक यह सवाल तय नहीं होता, असली सुरक्षा सिर्फ़ उन्हीं प्रकाशकों के पास है जो तकनीकी रोक के लिए भुगतान कर रहे हैं — और यूरोपीय साइटों का मौजूदा सौदा है: बाहर 179 बॉट विज़िट, भीतर एक पाठक।

✓ सत्यापित · 4 स्रोत

ऐप में पढ़ें — मुफ़्त, 9 भाषाएँ

संबंधित खबरें