رباتهای AI Agent دیگر مثل قبل نمیتوانند بیاجازه وارد وبسایت شما شوند و هر چه دلشان خواست بردارند بروند! اگر فکر میکردید اینترنت باز یعنی هر خزندهای، از هر جایی، بدون هیچ محدودیتی میتواند محتوای شما را بخزد و به مدلهای هوش مصنوعی محتوا بدهد، وقتش رسیده این تصور را کنار بگذارید. Cloudflare، یکی از بزرگترین زیرساختهای اینترنت جهان که میزبان بخش عظیمی از ترافیک وب است، با معرفی سیاست «Your Content, Your Rules» یا همان «محتوای شما، قوانین شما»، تصمیم گرفته سرنوشت خزندههای هوش مصنوعی را به دست خود صاحبان سایت بسپارد. این تغییر که با شوخطبعی میشود گفت شبیه یک انقلاب مودبانه در دنیای وب است، از ChatGPT Fetch Bot گرفته تا Googlebot را تحت تأثیر قرار میدهد و آینده تعامل هوش مصنوعی با وب را برای همیشه تغییر میدهد.
سیاست «Your Content, Your Rules» در Cloudflare چیست؟
اسم سیاست جدید Cloudflare خودش همهچیز را میگوید: محتوای شما، قوانین خودتان. این شرکت که سالهاست نقش دروازهبان امنیتی و عملکردی میلیونها وبسایت را بازی میکند، حالا یک قدم جلوتر رفته و اعلام کرده که صاحبان سایت باید بتوانند دقیقاً تعیین کنند کدام رباتهای هوش مصنوعی اجازه ورود دارند، کدامها باید مسدود شوند و کدامها فقط در ازای پرداخت هزینه میتوانند محتوا را بردارند.
طبق بیانیه رسمی Cloudflare، این فلسفه دقیقاً به همین دلیل طراحی شده که اینترنت مبتنی بر عاملهای هوشمند (Agentic Internet) بتواند رشد کند، اما نه به قیمت له شدن حقوق ناشران و تولیدکنندگان محتوا. این یعنی رشد هوش مصنوعی و Cloudflare حالا باید دست در دست هم و با رعایت حقوق طرف سوم یعنی صاحبان سایت پیش بروند.
Cloudflare چگونه دسترسی رباتهای هوش مصنوعی را مدیریت میکند؟
تا همین چند وقت پیش، اکثر صاحبان سایت هیچ ابزار دقیقی برای تشخیص و کنترل خزندههای هوش مصنوعی نداشتند. فایل robots.txt وجود داشت، اما این فایل صرفاً یک درخواست مؤدبانه بود، نه یک قفل واقعی؛ خیلی از رباتها به سادگی از کنارش رد میشدند. حالا Cloudflare با ابزاری به اسم AI Crawl Control وارد میدان شده تا این خلأ را پر کند.
این ابزار در واقع بخشی از مجموعه بزرگتر Cloudflare AI است که برای مدیریت یکپارچه AI Crawlers و AI Agent Crawlers طراحی شده. AI Crawl Control به صاحبان سایت اجازه میدهد سه کار اساسی انجام دهند: اول، ببینند دقیقاً چه رباتهایی و با چه هدفی به سایتشان سر میزنند؛ دوم، تصمیم بگیرند کدام رباتها مجاز باشند و کدامها بلاک شوند و سوم، برای دسترسی خزندههای تجاری هزینه دریافت کنند. این یعنی محدودیت رباتهای هوش مصنوعی دیگر یک اتفاق تصادفی و پراکنده نیست، بلکه یک سیاست ساختاریافته و قابل مدیریت در سطح کل پلتفرم Cloudflare است.
سه دسته جدید رباتهای هوش مصنوعی در Cloudflare
یکی از هوشمندانهترین بخشهای این تغییر، دستهبندی دقیقتر رباتهای هوش مصنوعی است. تا پیش از این، خیلی از سایتها با یک دکمه ساده «بلاک کردن رباتهای هوش مصنوعی» کل خزندهها را یکجا مسدود میکردند؛ کاری که عملاً باعث افت دیدهشدن سایت در نتایج جستوجو هم میشد. Cloudflare برای رفع مشکل سه دسته مجزا تعریف کرده:
رباتهای Search
این دسته شامل خزندههایی است که برای بهبود نتایج جستوجو و ایندکس کردن محتوا فعالیت میکنند. Googlebot نمونه کلاسیک همین دسته است، اما امروزه رباتهای جستوجوی مبتنی بر هوش مصنوعی مثل خزندههای Perplexity یا Bing هم در همین گروه قرار میگیرند. مسدود کردن این دسته معمولاً به معنای کاهش دیدهشدن سایت شماست و کارشناسان توصیه میکنند این رباتها فعال بمانند.
رباتهای Agent
این دسته شامل خزندههایی است که به نمایندگی از یک کاربر یا یک دستیار هوشمند وارد سایت میشوند تا اطلاعات لحظهای بگیرند، مثلاً وقتی کاربری از یک چتبات میخواهد قیمت یک محصول را چک کند یا خلاصه یک مقاله را برایش بیاورد. ChatGPT Fetch Bot دقیقاً در همین دسته جای میگیرد. این نوع دسترسی معمولاً یک بار مصرف و مرتبط با یک درخواست مشخص کاربر است، نه جمعآوری انبوه داده.
رباتهای Training
این دسته همان خزندههایی هستند که برای آموزش مدلهای هوش مصنوعی محتوا را جمعآوری و ذخیره میکنند. این رباتها معمولاً حجم عظیمی از داده را بدون بازگرداندن ترافیک مستقیم به سایت برمیدارند و دقیقاً همین موضوع باعث نگرانی ناشران شده است. بلاک شدن AI Agent در این دسته برای بسیاری از سایتهای خبری و تولیدکننده محتوای تخصصی، گزینه پیشفرض و منطقی محسوب میشود، مگر اینکه قراردادی مالی برای استفاده از محتوا بسته شده باشد.
کنترلهای جدید AI Crawl برای صاحبان وبسایت چه مزایایی دارد؟
فرض کنید یک وبسایت فروشگاهی دارید و هر ماه صدها هزار بار خزندههای هوش مصنوعی متن محصولاتتان را میخزند، بدون اینکه حتی یک نفر از این طریق وارد سایت شما شود یا خریدی انجام دهد. با AI Crawl Control شما میتوانید:
- دید کاملی نسبت به رفتار خزندههای هوش مصنوعی روی سایت خود داشته باشید و بدانید کدامها بیشترین بار را روی سرورتان میگذارند.
- کنترل دقیقتری روی مجوز دسترسی داشته باشید، بدون نیاز به تنظیمات فنی پیچیده.
- تشخیص دقیقتری از هویت واقعی رباتها بگیرید، چون خیلی از خزندههای مخرب خودشان را جای رباتهای معتبر جا میزنند.
- از مدل درآمدزایی مثل Pay Per Crawl استفاده کنید و برای هر بار خزیده شدن محتوایتان توسط رباتهای تجاری، پولی دریافت کنید.
این یعنی دیگر لازم نیست بین دو گزینه «باز گذاشتن کامل درها» یا «بستن همهچیز روی همه» انتخاب کنید؛ حالا یک طیف کامل از تنظیمات دقیق، مخصوصاً برای رباتهای AI Agent که روزبهروز پرکاربردتر میشوند، در اختیار شماست.
تغییرات جدید Cloudflare از ۱۵ سپتامبر چگونه اجرا میشود؟
از تاریخ ۱۵ سپتامبر، تنظیمات پیشفرض بسیاری از وبسایتهایی که از Cloudflare استفاده میکنند تغییر کرده است. اگر پیشتر گزینه «Block AI bots» را فعال کرده بودید اما از آن زمان تنظیماتتان را بهروزرسانی نکردهاید، احتمالاً الان با دستهبندی جدید سهگانه مواجه شدهاید. کاربران رایگان که تنظیمات خود را تغییر نداده باشند، بهطور خودکار روی مقادیر پیشفرض جدید قرار میگیرند.
نکته مهم اینجاست که این پیشفرضها لزوماً به معنای مسدود شدن کامل همه چیز نیست. Cloudflare سیگنالهای جدیدی هم برای تشخیص نحوه استفاده از محتوا معرفی کرده و تعریف تازهای از «رباتهای تأییدشده» ارائه داده است. اگر مالک سایت هستید، بهتر است هرچه زودتر تنظیمات دسترسی رباتهای هوش مصنوعی به وب سایت خود را بررسی کنید تا غافلگیر نشوید، چون بسته به نوع کسبوکارتان، ممکن است بخواهید رباتهای جستوجو فعال بمانند اما رباتهای آموزشی مسدود شوند.
مدل Pay Per Use چگونه به ناشران و تولیدکنندگان محتوا کمک میکند؟
شاید مهمترین بخش این تحول، مدل اقتصادی تازهای است که Cloudflare معرفی کرده: Pay Per Crawl و بهطور کلیتر Pay Per Use. تا امروز، شرکتهای بزرگ هوش مصنوعی میتوانستند بدون پرداخت هیچ هزینهای، میلیونها صفحه وب را بخزند و از آن برای آموزش یا پاسخگویی مدلهای خود استفاده کنند، در حالی که ناشران محتوا هیچ سهمی از این ارزش اقتصادی دریافت نمیکردند. حالا با این مدل، صاحبان سایت میتوانند برای هر بار دسترسی خزندههای تجاری، مبلغی دریافت کنند؛ دقیقاً شبیه اینکه بهجای دادن رایگان محتوا، یک بلیت ورودی برای رباتها تعریف کرده باشید.
این تغییر میتواند تعادل قدرت بین ناشران و شرکتهای هوش مصنوعی و Cloudflare را به نفع تولیدکنندگان محتوای اصلی برهم بزند، در معنای مثبت کلمه. اگر شما هم بهعنوان یک کاربر یا کسبوکار دنبال این هستید که بدون درگیر شدن با این پیچیدگیهای فنی، مستقیماً از قابلیتهای هوش مصنوعی بهره ببرید، مجموعه هوش مصنوعی بستری آماده در اختیارتان میگذارد که از طریق آن میتوانید بدون نیاز به راهاندازی زیرساخت، به ابزارهای هوش مصنوعی روز دنیا دسترسی داشته باشید و آنها را مستقیماً در کارهای روزمره خود به کار بگیرید.
همکاری Cloudflare با شرکتهای هوش مصنوعی برای توسعه Agentic Internet
نکته جالب این است که Cloudflare این تغییرات را بهتنهایی و بدون هماهنگی با بازیگران اصلی صنعت هوش مصنوعی انجام نداده است. این شرکت با چند شرکت بزرگ فناوری هوش مصنوعی مذاکره کرده تا استانداردهای مشترکی برای شناسایی و تأیید هویت خزندهها تعریف شود. هدف نهایی این است که Agentic AI، یعنی هوش مصنوعی که بهجای کاربر عمل میکند و تصمیم میگیرد، بتواند به شکل شفاف و قابلردیابی با وب تعامل داشته باشد.
این رویکرد همکاریمحور نشان میدهد که اخبار Cloudflare در این حوزه صرفاً درباره محدود کردن نیست؛ بلکه درباره ساختن یک چارچوب پایدار است که هم به رشد فناوری هوش مصنوعی کمک کند و هم حقوق مالکان محتوا را زیر پا نگذارد. مرورگرهای هوش مصنوعی که این روزها بهسرعت در حال محبوب شدن هستند، مثل مرورگرهایی که مستقیماً از چتباتها برای گشتوگذار در وب استفاده میکنند، دقیقاً بخشی از همین اکوسیستم Agentic Internet هستند که Cloudflare قصد دارد قوانین بازی آن را شفاف کند.
تأثیر تغییرات Cloudflare بر ChatGPT، Googlebot و سایر عاملهای هوش مصنوعی
حالا سؤال اصلی این است: این تغییرات چه تأثیری روی بازیگران بزرگ میگذارد؟ برای ChatGPT Fetch Bot که در دسته رباتهای Agent قرار میگیرد، تغییرات چندان دراماتیک نیست؛ چون این نوع دسترسی معمولاً به نفع کاربر نهایی و مرتبط با یک درخواست مشخص است، بنابراین بیشتر سایتها احتمالاً اجازه فعالیت آن را میدهند.
اما داستان برای Googlebot کمی پیچیدهتر است. چون گوگل هم از رباتهای سنتی جستوجو و هم از ابزارهای هوش مصنوعی مثل Gemini برای پردازش محتوا استفاده میکند، تفکیک این دو نوع فعالیت گاهی دشوار میشود. اگر صاحب سایتی بهاشتباه دسته «Training» را مسدود کند، ممکن است ناخواسته روی برخی قابلیتهای هوش مصنوعی گوگل هم تأثیر بگذارد، بدون اینکه دیدهشدن سایتش در جستوجوی معمولی گوگل آسیب ببیند؛ چون این دو معمولاً از مسیرهای فنی متفاوتی مدیریت میشوند. به همین دلیل، بررسی دقیق تنظیمات پیش از اعمال هرگونه محدودیت رباتهای هوش مصنوعی اهمیت زیادی دارد.
سایر عاملهای هوش مصنوعی مثل خزندههای Anthropic، DeepSeek، Grok یا Perplexity هم باید خودشان را با این استانداردهای تازه هماهنگ کنند.
اگر میخواهید از این ابزارها بهصورت مستقیم و بدون دغدغه استفاده کنید، پنل چت هوشمند را امتحان کنید و بدون نگرانی از پیچیدگیهای زیرساختی یا پرداخت دلاری، شروع به کار با ابزارهای ai کنید.
آیا آینده اینترنت به سمت دسترسی مبتنی بر مجوز و پرداخت حرکت میکند؟
با نگاهی به مسیر حرکت Cloudflare، به نظر میرسد اینترنت آینده دیگر آن فضای کاملاً باز و رایگانی نخواهد بود که خیلیها به آن عادت کرده بودند. اینترنت مبتنی بر مجوز، جایی که هر خزنده باید هویتش را ثابت کند، مقصودش را اعلام کند و شاید هم برای دسترسی هزینه بپردازد، دیگر یک سناریوی فرضی نیست و دارد همین حالا شکل میگیرد.
این روند طبیعتاً برای همه دلچسب نیست. برخی استارتاپهای کوچک هوش مصنوعی نگرانند که این سیاستها هزینه ورود به بازار را بالا ببرد و رقابت را عمدتاً به نفع شرکتهای بزرگی رقم بزند که توان مالی پرداخت هزینه Pay Per Use را دارند. از طرف دیگر، ناشران و تولیدکنندگان محتوا از این تحول استقبال میکنند، چون بالاخره احساس میکنند صدایشان در برابر غولهای فناوری شنیده شده است. در هر صورت، اگر میخواهید بدون نگرانی از این تغییرات پرشتاب عقب نمانید و همچنان از جدیدترین ابزارهای هوش مصنوعی بهرهمند شوید، سری به صفحه تعرفهها و پلنهای هوش مصنوعی بزنید و متناسب با نیازتان یکی را انتخاب کنید.
در نهایت، آنچه مسلم است این است که رابطه بین وبسایتها و رباتهای هوش مصنوعی وارد فصل تازهای شده؛ فصلی که در آن شفافیت، رضایت و در بسیاری موارد، پرداخت هزینه، جای دسترسی بیقید و شرط قدیمی را میگیرد.
سوالات متداول
آیا Cloudflare بهطور کامل جلوی دسترسی رباتهای هوش مصنوعی را میگیرد؟
نه، Cloudflare هیچ ربات هوش مصنوعی را بهصورت کلی و اجباری مسدود نمیکند. این ابزار صرفاً امکان تصمیمگیری دقیق را در اختیار صاحب سایت میگذارد تا خودش انتخاب کند کدام دسته از رباتها اجازه دسترسی داشته باشند.
آیا مسدود کردن رباتهای Training روی رتبه سایت در گوگل تأثیر میگذارد؟
معمولاً نه، چون رباتهای جستوجوی گوگل معمولاً از مسیر فنی جداگانهای نسبت به رباتهای training مدیریت میشوند.
Pay Per Crawl دقیقاً چگونه کار میکند؟
در این مدل، صاحب سایت میتواند برای هر بار دسترسی خزندههای تجاری هوش مصنوعی به محتوای سایتش، هزینهای دریافت کند.
آیا رباتهای AI Agent مثل ChatGPT Fetch Bot هم شامل این محدودیتها میشوند؟
بله، اما چون این رباتها معمولاً به نمایندگی از یک کاربر و برای یک درخواست مشخص وارد سایت میشوند، اکثر صاحبان سایت ترجیح میدهند اجازه فعالیت به آنها بدهند.
چطور بدانم کدام رباتهای هوش مصنوعی از سایتم بازدید میکنند؟
ابزار AI Crawl Control در Cloudflare گزارشی دقیق از فعالیت خزندهها روی سایت شما ارائه میدهد.
