آپدیت اسپم گوگل و تأخیر ۶۰ ساعته سرچ کنسول؛ چه چیزی تأیید شده؟
آپدیت اسپم گوگل و تأخیر ۶۰ ساعته سرچ کنسول؛ چه چیزی تأیید شده؟ آپدیت اسپم اخیر گوگل رسماً…

چطور فیلترهای دستهبندی ووکامرس میتوانند از هر محصول واقعی، هزاران URL مصنوعی بسازند — و یک کراولر توزیعشده که داشت همهی آنها را یکییکی امتحان میکرد.
بعد از پیدا شدن سقف max_user_connections (که در مقالهی قبلی این مجموعه توضیح داده شد)، سوال بعدی این بود: چه چیزی دارد این ۳۰ اتصال را همیشه پر نگه میدارد؟ برای پیدا کردنش یک MU Plugin پروفایلر ساخته شد که هر Request کندتر از ۳ ثانیه را با جزئیات کامل ثبت میکرد: مسیر، Query String، تعداد کوئری، زمان اجرا و مصرف حافظه.
نتیجه خیلی زود مشخص شد. حجم زیادی از این درخواستهای سنگین، به آدرسهایی مثل اینها میآمدند:
/product-category/...?filter_...&min_price=...&max_price=...&orderby=...
/product-attribute/...?filter_...&query_type_...
و هر کدام از این درخواستها، بسته به ترکیب فیلترها، میتوانست:
3 تا 13 ثانیه طول بکشد
350 تا 700 Query به دیتابیس بزند
حدود 116 تا 120 مگابایت RAM مصرف کند
این دقیقاً همان چیزی است که به آن Faceted Navigation میگویند: هر فیلتر (رنگ، برند، بازهی قیمت، مرتبسازی) یک پارامتر در URL اضافه میکند، و ترکیب چند فیلتر با هم، بهصورت ریاضی، میتواند از چند ده دستهبندی و صفت واقعی، دهها هزار URL «بهظاهر معتبر» اما مصنوعی بسازد — صفحاتی که هیچ انسانی معمولاً به آنها لینک نمیدهد، ولی موتور جستجو یا یک کراولر میتواند یکییکی کشفشان کند و هرکدام را با یک Query سنگین WooCommerce (که باید محصولات را فیلتر، مرتب و صفحهبندی کند) اجرا کند.
نکتهی جالبتر این بود که این ترافیک از یک IP یا یک منبع واحد نمیآمد؛ تعداد زیادی IP کاملاً متفاوت، همگی یک User-Agent تقریباً یکسان داشتند:
Mac OS X 10_15_7
Chrome/150
Safari/537.36
این الگو — IPهای پراکنده با یک User-Agent تقریباً ثابت، همه در حال درخواست ترکیبهای سنگین فیلتر — امضای کلاسیک یک کراولر توزیعشده است، نه بازدیدکنندههای واقعی. هیچ کاربر واقعی اینطور رفتار نمیکند که پشت سر هم دهها ترکیب فیلتر قیمت و مرتبسازی را امتحان کند.
وسوسهی اول این است که کل الگوی User-Agent یا رِنج IP را مسدود کنی. اما این کار میتواند کاربران واقعی روی همان مرورگر را هم بلاک کند. راهحلی که اجرا شد یک Rule محدود در .htaccess بود که فقط دقیقاً همان الگوی پرهزینه (مسیرهای فیلتر دستهبندی/صفت با پارامترهای مشخص) را Reject میکرد — نه کل Bot، نه کل مرورگر، فقط همان ترکیب مشخصی که مشکلساز بود.
در همین بررسی، یک IP خاص بهطرز مشکوکی زیاد در لاگها دیده میشد. ابتدا به نظر رسید مقصر همان است — چون یک User-Agent مربوط به ابزار مانیتورینگ (PRTG Network Monitor) هم دقیقاً از همان IP، هر دقیقه یکبار صفحهی اصلی را درخواست میکرد. اما وقتی همان IP در .htaccess بلاک شد، تقریباً کل سایت برای کاربرهای عادی هم 403 شد. این آزمایش (که سریع Rollback شد) چیز مهمی را ثابت کرد: آن IP در واقع مربوط به یک کاربر خاص نبود، بلکه یک Reverse Proxy یا Gateway مشترک بود که ترافیک تعداد زیادی کاربر واقعی از پشتش رد میشد. بلاککردنش را لغو کردیم و بهجایش فقط همان User-Agent مشخصِ ابزار مانیتورینگ محدود شد. درس: مقدار REMOTE_ADDR همیشه IP واقعی کاربر نهایی نیست — مخصوصاً وقتی سایت پشت CDN، پراکسی یا Gateway هاست قرار دارد؛ بلاک کردن کورکورانهی یک IP پرتکرار میتواند بهجای یک مزاحم، صدها کاربر واقعی را قربانی کند.
بعد از اعمال Rule هدفمند روی فیلترها، همان الگوی Chrome/150 که قبلاً پر از Slow Log بود، عملاً از لاگهای کند ناپدید شد. درس اصلی این تجربه این است: وقتی یک فروشگاه فیلترهای زیاد دارد، تعداد URLهای واقعی محصول با تعداد URLهای قابلساخت (از ترکیب فیلترها) فاصلهی نجومی دارد؛ و اگر این ترکیبها محدود، کش یا noindex نشوند، فقط منتظر یک کراولر (انسانی یا خودکار) هستی که یکییکی همهشان را کشف کند و مستقیم به دیتابیس بزند. و هر بار قبل از بلاککردن یک IP، باید مطمئن شد که آن IP واقعاً یک مزاحم است، نه یک لایهی میانی که ترافیک کاربران واقعی از آن رد میشود.