Cloudflare نے ابھی ابھی AI انڈسٹری کو روایتی تلاش کے مقاصد کے لیے استعمال ہونے والے ویب کرالر کو AI ایجنٹوں اور تربیت کے لیے استعمال کیے جانے والے ویب کرالرز کو الگ کرنے کے لیے ایک نئی ڈیڈ لائن جاری کی ہے۔ 15 ستمبر 2026 سے، Cloudflare کی ڈیفالٹ سیٹنگز اشتہارات کی میزبانی کرنے والے کسی بھی صفحات سے "مخلوط استعمال" کرالر کو بلاک کر دیں گی، کمپنی نے بُدھ کو اعلان کیا۔

اس کا مطلب ہے کہ تلاش، ایجنٹ کے استعمال اور تربیت کو ملانے والے کرالر کو ان سائٹس کو بطور ڈیفالٹ کرال کرنے سے روک دیا جائے گا، جب تک کہ سائٹ کا مالک دوسری صورت میں ترتیبات کو ایڈجسٹ نہ کرے۔ کمپنی کا کہنا ہے کہ ڈیفالٹس میں یہ تبدیلیاں کلاؤڈ فلیئر کے نئے صارفین، موجودہ صارفین کے ذریعے قائم کردہ نئی سائٹس، اور تمام موجودہ مفت صارفین پر لاگو ہوں گی۔

اس اقدام سے اس بات پر اثر پڑ سکتا ہے کہ کس طرح AI ماڈل فراہم کرنے والے تربیتی مقاصد کے لیے ویب مواد تک رسائی حاصل کر سکتے ہیں اور ان کی ایجنٹی خدمات کو طاقت دینے میں مدد کر سکتے ہیں۔

Cloudflare بتاتا ہے کہ زیادہ تر ویب سائٹ کے مالکان چاہتے ہیں کہ ان کا مواد تلاش کے ذریعے اور اکثر AI سروسز کے ذریعے بھی قابل دریافت ہو، لیکن وہ اپنی دانشورانہ املاک کو مفت میں دینے کے خلاف تحفظات چاہتے ہیں۔

Cloudflare خاص طور پر "دنیا کے سب سے بڑے سرچ انجن" (واضح طور پر ایک گوگل حوالہ!) کو دوسری AI کمپنیوں کے مقابلے میں "2x زیادہ معلومات" تک رسائی کے طور پر پکارتا ہے کیونکہ سرچ دیو صارفین کے لیے AI کے استعمال کیے بغیر قابل دریافت رہنا مشکل بنا دیتا ہے۔

گوگل نے ماضی میں اس عامیت کے خلاف پیچھے ہٹتے ہوئے کہا ہے کہ یہ گوگل ایکسٹینڈڈ نامی بوٹ فراہم کرتا ہے جو سائٹ کے مالکان کو اپنے مواد کو تربیت اور AI مصنوعات اور خدمات جیسے Gemini Apps اور Vertex API کے لیے استعمال کرنے سے آپٹ آؤٹ کرنے دیتا ہے۔ اس کا استعمال گوگل سرچ میں سائٹ کی شمولیت کو متاثر نہیں کرتا ہے۔ تاہم، ٹیک دیو کا پرچم بردار Googlebot تلاش کے لیے کرال کرتا ہے، بشمول AI خصوصیات جیسے AI جائزہ اور AI موڈ۔

کلاؤڈ فلیئر کے شریک بانی اور سی ای او میتھیو پرنس نے اس خبر کے اعلان میں کہا، "اب جب کہ انٹرنیٹ پر ٹریفک کی اکثریت غیر انسانی ہے، ہمیں مزید آگے بڑھ کر تیزی سے کام کرنا چاہیے تاکہ ایک پائیدار ماحولیاتی نظام ابھر سکے۔" اگلے سال تک اس تبدیلی کی توقع نہیں تھی۔

"Cloudflare کے نئے ٹولز اور شراکتیں ویب سائٹ کے مالکان کو زیادہ مرئیت اور تجارتی مواقع فراہم کرتی ہیں اور AI کمپنیوں کو فائدہ پہنچاتی ہیں جن کے پاس صاف اور شفاف ارادے کے ساتھ بوٹس ہوتے ہیں۔ ہم امید کرتے ہیں کہ ہماری تجویز کردہ ڈیفالٹ تبدیلیاں مخلوط استعمال والے کرالر کو ایجنٹ کے استعمال اور تربیت سے تلاش کو الگ کرنے کی ترغیب دیتی ہیں،" پرنس نے کہا۔

اگرچہ Cloudflare صارفین کو اپنے AI سسٹمز لانچ کرنے میں مدد کرنے کے لیے متعدد پروڈکٹس پیش کرتا ہے، کمپنی نے AI دور میں پبلشرز کو ان کے مواد پر مزید کنٹرول دینے کے لیے کئی ٹولز بھی جاری کیے ہیں۔ حالیہ برسوں میں، Cloudflare نے AI بوٹس کا مقابلہ کرنے کے لیے ٹولز کا آغاز کیا، جس میں ایک مارکیٹ پلیس بھی شامل ہے جو ویب سائٹس کو سکریپنگ کے لیے AI بوٹس کو چارج کرنے دیتا ہے، جسے Pay per Crawl کہا جاتا ہے۔

مؤخر الذکر اب "فی استعمال کی ادائیگی" میں بھی تیار ہو رہا ہے، کمپنی نے کہا، جو پبلشرز کو AI کمپنیوں سے اس وقت چارج کرنے کی اجازت دے گا جب ان کا مواد قدر پیدا کرتا ہے، نہ کہ صرف اس وقت جب اسے حاصل کیا جاتا ہے۔

اس تبدیلی سے پبلشرز کی بینڈوتھ کو بچانے اور AI ماڈل فراہم کرنے والوں کے لیے وسائل کی گنتی میں بھی مدد مل سکتی ہے، جیسا کہ Cloudflare کے ڈیٹا نے تجویز کیا ہے کہ AI کرالر سے کرال ٹریفک کا 50% سے زیادہ غیر تبدیل شدہ صفحات کو دوبارہ حاصل کرنے میں صرف کیا جاتا ہے۔

اس کو عملی جامہ پہنانے کے لیے، Cloudflare ابتدائی طور پر دو پارٹنرز Ceramic.ai اور You.com کے ساتھ کام کر رہا ہے۔ جب کوئی پبلشر آپٹ ان کرتا ہے، تو انہیں اس وقت ادائیگی کی جاتی ہے جب ان کا مواد Ceramic کے AI تلاش کے نتائج میں ظاہر ہوتا ہے یا جب You.com ان کے پریمیم مواد کے کسی حصے تک رسائی حاصل کرتا ہے۔

Cloudflare کا کہنا ہے کہ دیگر AI کمپنیاں اس ماڈل کو اپنی مرضی کے مطابق بنا سکتی ہیں کہ وہ کیسے کام کرتی ہیں۔