گوگل قوانین robots.txt برای خزندههای هوش مصنوعی را توضیح داد
گری ایلیس و چری پروماوین، دو کارشناس شناختهشدهی تیم جستوجوی گوگل، در دومین قسمت از مجموعه ویدیویی «Non-Canonical Cabinet» به یکی از پرتکرارترین سوالات فنی سئو پرداختهاند: دقیقاً چه چیزی را میتوان و نمیتوان در فایل robots.txt نوشت؟ محور اصلی این ویدیو، قوانین robots.txt برای خزندههای هوش مصنوعی است و توضیحات گوگل در این زمینه، برای هر کسی که سایتی دارد و میخواهد کنترل دقیقی روی نحوهی دسترسی رباتهای هوش مصنوعی به محتوایش داشته باشد، اهمیت زیادی دارد.
زمینه و پسزمینه
فایل robots.txt سالهاست بهعنوان استاندارد اصلی کنترل دسترسی خزندهها به وبسایتها استفاده میشود و از سال ۲۰۲۲ هم بهصورت رسمی تحت استاندارد RFC 9309 تعریف شده است. با این حال، با ظهور خزندههای مخصوص هوش مصنوعی که محتوای سایتها را برای آموزش مدلهای زبانی جمعآوری میکنند، سوالات تازهای دربارهی نحوهی درست استفاده از این فایل مطرح شده؛ از جمله اینکه آیا میتوان با استفاده از کاراکترهای غیرانگلیسی، ایموجی یا نشانههای خاص، قوانین دقیقتری برای خزندههای هوش مصنوعی نوشت یا نه. گری ایلیس در این ویدیو بهصراحت توضیح میدهد که robots.txt «بوم هنری شخصی شما نیست» و باید دقیقاً طبق استاندارد نوشته شود تا همهی خزندهها، از جمله رباتهای گوگل و رباتهای آموزش هوش مصنوعی، آن را بهدرستی تفسیر کنند.
تحلیل
سه نکتهی کلیدی از این ویدیو برای هر صاحب سایت ضروری است. نکتهی اول اینکه User-agent tokenها (یعنی نام رباتهایی که قوانین برایشان نوشته میشود) فقط میتوانند از حروف انگلیسی و خط تیره تشکیل شوند؛ یعنی هیچ ایموجی یا کاراکتر غیرانگلیسی در نام ربات قابلاستفاده نیست. اگر بخواهید یک خزندهی هوش مصنوعی خاص را مسدود کنید، باید دقیقاً از همان توکن شناختهشدهی آن ربات استفاده کنید؛ وگرنه پارسر گوگل آن قانون را بهسادگی نادیده میگیرد و خط مربوطه را دور میریزد. نکتهی دوم اینکه برای مسیرهای حاوی کاراکترهای غیرانگلیسی – مثل حروف فارسی، عربی، چینی یا حتی حروف لاتین با علائم خاص مثل اوملاوت آلمانی – باید حتماً از رمزگذاری درصدی (percent-encoding) استفاده کنید. اگرچه گوگلبات بهطور خودکار این کاراکترهای چندبایتی UTF-8 را رمزگذاری و تفسیر میکند، اما بسیاری از خزندههای دیگر یا قدیمیتر ممکن است این کار را نکنند و در نتیجه، کل خط دستور را نادیده بگیرند.
نکتهی سوم و شاید مهمترین بخش این توضیحات، تمایز روشنی است که گری ایلیس بین «کنترل خزش» و «سیاست آموزش مدلهای هوش مصنوعی» ایجاد میکند. طبق استاندارد RFC 9309، robots.txt فقط یک پروتکل «ترجیح دسترسی» است؛ یعنی فقط به رباتها میگوید کدام صفحات را میتوانند بخزند و کدام را نه. این فایل هیچ کنترلی روی اینکه یک شرکت هوش مصنوعی با محتوایی که قبلاً خزیده چه کاری انجام میدهد، ندارد. به بیان دیگر، دستور Disallow فقط بهمعنای «وارد این اتاق نشو» است، نه «اگر وارد شدی، از محتوای این اتاق برای آموزش مدل استفاده نکن». این تمایز برای بسیاری از ناشران محتوا که فکر میکنند با مسدود کردن یک خزنده در robots.txt، از استفادهی محتوایشان در آموزش مدلهای هوش مصنوعی هم جلوگیری میکنند، یک نکتهی بسیار مهم و اغلب نادیدهگرفتهشده است.
گوگل همچنین تأکید کرده که robots.txt یک مکانیزم امنیتی نیست. این فایل صرفاً از خزندههایی که از قوانین پیروی میکنند (compliant crawlers) درخواست میکند مسیرهای مشخصی را نخزند؛ اما هیچ تضمینی وجود ندارد که همهی رباتها به این درخواست احترام بگذارند، و قطعاً نمیتواند از دسترسی کلاینتهای غیرمجاز جلوگیری کند. برای کسانی که واقعاً نگران استفادهی غیرمجاز از محتوایشان توسط ابزارهای هوش مصنوعی هستند، این یعنی robots.txt تنها یک لایه از یک استراتژی بزرگتر محافظت از محتوا باید باشد، نه راهحل نهایی.
از منظر عملی، توصیهی روشن گوگل برای صاحبان سایت این است: اول، هیچوقت فرض نکنید یک قانون robots.txt فقط به این دلیل که برای یک انسان قابلفهم بهنظر میرسد، درست کار میکند؛ همیشه سینتکس و الگوهای URL واقعی را تست کنید. دوم، در مسدودسازی مسیرهایی که حاوی کاراکترهای بینالمللی یا ایموجی هستند، دقت ویژهای بهکار ببرید، چون ناهماهنگی در رمزگذاری میتواند کل قانون شما را بیاثر کند. سوم، همیشه از نام دقیق و شناختهشدهی هر خزندهی هوش مصنوعی استفاده کنید، نه نامهای حدسی یا سلیقهای. برای سایتهای فارسیزبان که اغلب مسیرهای آدرس حاوی کلمات فارسی دارند، این نکتهی رمزگذاری اهمیت دوچندانی پیدا میکند؛ چون یک خطای کوچک در انکود کردن مسیرها میتواند باعث شود کل تلاش برای مسدود کردن یک خزندهی خاص، کاملاً بینتیجه بماند و آن ربات بدون هیچ مانعی، محتوای مورد نظر را بخزد.
در نهایت، این ویدیو بار دیگر یادآوری میکند که با وجود همهی پیچیدگیهای تازهی ناشی از ظهور خزندههای هوش مصنوعی، اصول پایهی robots.txt همچنان ساده و بدون تغییر باقی ماندهاند: یک فایل متنی ساده، چهار دستور اصلی (user-agent، allow، disallow و sitemap)، و پیروی دقیق از استاندارد RFC 9309. هر چیزی فراتر از این، اعتبار قانون شما را به خطر میاندازد.
یک نکتهی ظریف دیگر که در این ویدیو به آن اشاره شده، نحوهی رفتار پارسر گوگل با خطوط نامعتبر است. وقتی یک خط در robots.txt با قالب استاندارد مطابقت نداشته باشد – مثلاً بهجای نوشتن «Disallow: /path» چیزی شبیه یک جملهی توصیفی بنویسید – پارسر بهسادگی آن خط را نادیده میگیرد و به سراغ خط بعدی میرود؛ یعنی هیچ خطا یا هشداری هم صادر نمیشود. این رفتار «شکست خاموش» (silent failure) یکی از خطرناکترین جنبههای robots.txt است، چون صاحب سایت ممکن است فکر کند قانونی که نوشته در حال اجراست، در حالی که عملاً هیچ تأثیری ندارد و خزندهی مورد نظر همچنان بدون محدودیت به صفحات موردنظر دسترسی دارد. به همین دلیل، گری ایلیس بهصراحت توصیه میکند که هر قانون تازه حتماً با ابزارهای تست رسمی (مثل ابزار تست robots.txt در گوگل سرچ کنسول) بررسی شود، نه فقط با خوانش ظاهری فایل.
برای وبمسترها و مدیران سایتهای خبری و محتوایی که این روزها بهطور فعال با سیاستگذاری دربارهی خزندههای آموزش هوش مصنوعی دستوپنجه نرم میکنند، این توضیحات گوگل یک چارچوب ذهنی روشن ارائه میدهد: robots.txt فقط دروازهی ورود است، نه قرارداد استفاده از محتوا. برای کنترل واقعی روی نحوهی استفاده از محتوا پس از خزش، باید به ابزارهای حقوقی مثل شرایط استفاده، قراردادهای لایسنس محتوا، یا فناوریهای واترمارکینگ دیجیتال هم تکیه کرد؛ چون robots.txt بهتنهایی هیچ ابزاری برای اجرای چنین سیاستهایی در اختیار صاحب سایت قرار نمیدهد. همین موضوع، بار دیگر نشان میدهد که مدیریت صحیح یک سایت در عصر خزندههای هوش مصنوعی، نیازمند ترکیبی از دانش فنی دقیق و همکاری نزدیک بین تیمهای سئو، حقوقی و فنی است؛ چیزی که تا چند سال پیش برای اکثر وبمسترها اصلاً ضروری بهنظر نمیرسید.
منبع: Search Engine Roundtable