توضیح مختصر: راه های فراوانی برای به اصطلاح رام کردن روبات موتورهای جستجو وجود دارد اما یکی از راه های مفید، استفاده از فایل robots.txt می باشد که توسط این فایل می توانید به روبات ها به نوعی دستور دهید که در چه تاریخ، چه زمان وارد و چه فایل و چه فولدری را ایندکس کند.
یکی از پارامتر های robots.txt زمان دیرکرد روبات ها است که توسط این پارامتر می توانید مشخص کنید روبات چقدر تأخیری داشته باشد. تا چند روز پیش برای تمامی سیستم های مدیریت محتوا این پارامتر یکی بود اما امروز دیتالایف خود را از آنها جدا کرد. زیرا با توجه به تبهر خاصی که در رام کردن روبات ها دارد و نقشه برنامه نویسی آن و کدی که از گوگل برای ایندکس شدن مطالب و صفحات دریافت کرده بر این باور است که مقدار 1 برای دیرکرد روبات ها مناسب نمی باشد و بجای آن مقدار 10 را به کاربران پیشنهاد کرده است.
فایل robots.txt خود را باز کنید و کد زیر را وارد کنید:
User-agent: *
Crawl-delay: 10
Crawl-delay: 10
با انجام این کار باعث شدید که روبات ها هر 10 ثانیه یکبار به سایت شما سر بزند. البته قابل ذکر است که بی رتبه و بی مطلب در سایت این کار هیچ تأثیری ندارد.
توجه: از آنجا که من در SEO و مخصوصا GEO مهارت خاصی دارم، تصمیم گرفتم در انجمن جدید سایت (انجمنی با سیستم PhpBB)، یک انجمن، جدا از دیگر انجمن ها برای seo باز کنم و با اطلاعاتی که از Seo دارم به کاربران عزیز دیتالایف انجین در دریافت ایندکس و رتبه ای بهتر کمک کنم.
موفق و پیروز باشید ...
