کلودفلر و ابزارهای تازه برای دیدهشدن در جستجوی هوش مصنوعی
کلودفلر (Cloudflare)، یکی از بزرگترین شرکتهای زیرساخت و امنیت اینترنت در جهان، در کنفرانس سالانهی خود با نام Cloudflare Connect 2026 که هفتهی گذشته برگزار شد، مجموعهای از ابزارهای تازه برای کمک به وبسایتها و ناشران در مدیریت و اندازهگیری «دیدهشدن» محتوای خود در موتورهای پاسخ هوش مصنوعی معرفی کرد. این ابزارها شامل یک شاخص جستجوی هوش مصنوعی، یک داشبورد عملکرد و همچنین کنترل دقیقتر ترافیک رباتهای خزندهی هوش مصنوعی هستند.
زمینه و پسزمینه
متیو پرینس، مدیرعامل کلودفلر، در این کنفرانس گفته است ترافیک ناشی از عاملهای خودکار هوش مصنوعی (agentic traffic) میتواند تا هزار برابر ترافیک انسانی افزایش یابد. او بازهی زمانی دقیقی برای این پیشبینی ارائه نکرد، اما اعلام کرد کلودفلر پیشبینیهای خود را به دلیل سرعت بالای پذیرش هوش مصنوعی، زودتر از برنامهی قبلی بهروزرسانی کرده است. مهندسان کلودفلر در همین کنفرانس گزارش دادند که از زمان عرضهی دستیار هوش مصنوعی «میوز» متا، بیش از ۲۰ هزار آدرس IP مسکونی منحصربهفرد شناسایی شدهاند که رفتارشان تقریباً غیرقابلتشخیص از رفتار انسانی است؛ این رباتها میتوانند با عناصر صفحه تعامل داشته باشند و حتی کپچا (CAPTCHA) را حل کنند، که مدیریت آنها را بسیار دشوارتر از سیلهای سنتی ترافیک رباتی میکند.
در روز دوم کنفرانس، مایکل ترمانته محصولات تازهای را معرفی کرد که شامل سه بخش اصلی میشوند: «شاخص جستجوی هوش مصنوعی» (AI Search Index) که به صاحبان وبسایت امکان میدهد بهصورت اختیاری در آن ثبتنام کنند (طبق گزارش، راهاندازی آن تنها حدود یک دقیقه زمان میبرد)؛ «کنترل خزش هوش مصنوعی» (AI Crawl Control) که حدود یک سال پیش عرضه شده بود و اکنون با ویژگیهای تازه، نسخهی ایستا و «آماده برای عاملها» از سایت را به رباتها ارائه میدهد و نشان میدهد کدام رباتها سایت را خزش میکنند و کدام خزشها منجر به ترافیک واقعی میشوند؛ و داشبورد «عملکرد AEO» که نشان میدهد آیا رباتهای هوش مصنوعی به سایت دسترسی دارند و بهدرستی تنظیم شدهاند، همراه با نرخ استناد و ذکر (citation و mention) هر سایت توسط مدلهای مختلف زبانی بزرگ.
تحلیل
یکی از مهمترین یافتههای پژوهشی ارائهشده در این کنفرانس، تغییر الگوی خزش اوپنایآی از هدف «آموزش مدل» به هدف «پاسخگویی به کاربر» است. بر اساس دادههای کلودفلر، فعالیت رباتهای خزندهی مرتبط با جستجو (search crawler) رشد ۱۱۶ درصدی سالبهسال داشته، در حالی که فعالیت رباتهای مرتبط با آموزش مدل (training bot) تنها ۷ درصد رشد کرده است. این داده نشان میدهد صنعت هوش مصنوعی بهسرعت از فاز «جمعآوری داده برای آموزش» به فاز «استفادهی زنده از وب برای پاسخگویی لحظهای به کاربران» حرکت میکند؛ تغییری که پیامدهای متفاوتی برای ناشران دارد، چرا که خزش برای پاسخگویی زنده معمولاً به معنای امکان بیشتر برای استناد و ارجاع مستقیم به محتوای ناشر در پاسخ نهایی است.
کلودفلر همچنین دادهای مقایسهای میان میزان «ذکر شدن» (mention) و «استناد شدن» (citation) محتوای وبسایتها توسط ارائهدهندگان مختلف هوش مصنوعی منتشر کرد، بر اساس آزمایش ۵۰ درخواست در ۸ نمونه. طبق این داده، اوپنایآی حدود چهار برابر بیشتر از آنتروپیک ترافیک ارجاعی به وبسایتها میفرستد؛ تفاوتی قابلتوجه که میتواند نشاندهندهی تفاوت در فلسفهی طراحی محصول دو شرکت باشد: در حالی که چتجیپیتی احتمالاً لینکهای مستقیم بیشتری به منابع ارائه میدهد، کلود ممکن است بیشتر بر پاسخ خلاصه و یکپارچه تمرکز کند بدون ارجاع صریح و قابلکلیک به اندازهی مشابه.
از منظر ناشران و متخصصان سئو، مهمترین نوآوری این ابزارها، فراهمکردن دادهی کمّی دقیق دربارهی چیزی است که تا پیش از این عمدتاً بهصورت کیفی و مبتنی بر گمان بررسی میشد: آیا رباتهای هوش مصنوعی اصلاً به سایت دسترسی دارند؟ کدام مدلها بیشتر از سایت استناد میکنند؟ و کدام خزشها واقعاً به بازدید واقعی منجر میشوند؟ نویسندهی گزارش Search Engine Land این داشبورد را «برد بزرگ» ارزیابی کرده و تأکید کرده که هیچ ابزار دیگری چنین داده و تصویرسازی را ارائه نمیدهد، بهخصوص با قیمتی که او آن را «تنها ۲۰ دلار در ماه» توصیف کرده است.
با این حال، این پیشرفتها یک معضل تازه نیز برای مدیران زیرساخت ایجاد میکند. از آنجا که رباتهای هوش مصنوعی پیشرفته (مانند آنهایی که شبیه کاربران انسانی رفتار میکنند و کپچا را حل میکنند) فشار قابلتوجهی بر سرورها وارد میکنند، مهندسان در این کنفرانس بهصراحت دربارهی مصالحهی میان «اجازهدادن به دسترسی هوش مصنوعی» (که میتواند منجر به استناد و دیدهشدن بیشتر شود) و «مسدودکردن رباتهایی که شبیه انسان رفتار میکنند» (برای کاهش بار سرور) بحث میکردند؛ تصمیمی که در ماههای آینده احتمالاً به یکی از چالشهای اصلی مدیران فنی وبسایتها در سطح جهانی تبدیل خواهد شد، بهخصوص با توجه به پیشبینی پرینس دربارهی رشد انفجاری ترافیک عاملهای هوش مصنوعی.
موضوع دیگری که در این کنفرانس مطرح شد اما هنوز پاسخ کاملی نیافته، این پرسش است که چتجیپیتی برای پاسخگویی به پرسشهای کاربران، پاسخهای خود را از کدام شاخص یا منبع دادهای استخراج میکند. نویسندهی گزارش اشاره کرده که این سؤال در رویداد بیپاسخ ماند و انتظار دارد کلودفلر در آیندهی نزدیک یک پست وبلاگی اختصاصی دربارهی این موضوع منتشر کند. این ابهام نشان میدهد که حتی شرکتهایی مانند کلودفلر که در قلب زیرساخت اینترنت جهانی قرار دارند و دسترسی وسیعی به دادههای ترافیک دارند، هنوز بهطور کامل درک نکردهاند مدلهای بزرگ زبانی چگونه و از کجا اطلاعات لازم برای پاسخ به کاربران را به دست میآورند؛ سطحی از عدمشفافیت که برای کل اکوسیستم سئو و بهینهسازی محتوا چالشبرانگیز است.
از منظر استراتژیک، معرفی این مجموعه ابزار توسط کلودفلر را میتوان گامی برای تبدیلشدن این شرکت به یک «واسطهی اعتماد» میان ناشران وب و شرکتهای هوش مصنوعی دید. با توجه به اینکه بخش بزرگی از ترافیک اینترنت جهانی از زیرساخت کلودفلر عبور میکند، این شرکت در موقعیت منحصربهفردی قرار دارد تا هم دادههای دقیق دربارهی رفتار رباتهای هوش مصنوعی ارائه دهد و هم بهعنوان یک دروازهبان، شرایط دسترسی این رباتها به محتوای وبسایتها را تنظیم کند. اگر این استراتژی با موفقیت ادامه یابد، کلودفلر میتواند در سالهای آینده به یکی از بازیگران کلیدی در شکلدهی به قواعد اقتصادی تعامل میان ناشران محتوا و شرکتهای هوش مصنوعی تبدیل شود؛ نقشی که در حال حاضر هیچ بازیگر دیگری به این شکل گسترده ایفا نمیکند. برای ناشرانی که تا امروز هیچ تصویر روشنی از رفتار رباتهای هوش مصنوعی روی سایت خود نداشتند، این ابزارهای تازه میتواند نقطهی شروع یک رویکرد دادهمحور و آگاهانهتر در مواجهه با عصر جستجوی مبتنی بر هوش مصنوعی باشد.
منبع: Search Engine Land