تبادل
لینک هوشمند
اگر دوست ندارید آلکسا اطلاعات سایت شما را منتشر کند باید از Standard for Robot Exclusion یا SRE استفاده نمایید
Martijn Koster ابداع کننده این روش برای کنترل رباتهای جستجوگر می باشد در حال حاضر رباتهای جستجوگر زیادی خود را تابع قوانین آن می دانند رباتهایی مثل ALEXA و Yahooو Bing و Baidu و...
تمام این رباتها برای قوانین وضع شده بر اساس SRE در بالاترین سطح فایلها (ریشه یا root ) به دنبال فایل robots.txt می گردند
اگر قصد دارید هیچ موتورجستجویی شما را ایندکس نکند کافیست دوسط زیر را در آن قرار دهید
User-agent: *
Disallow: /
اگر قصد دارید تنها پوشه عکس های شما ایندکس نشود آن را بصورت زیر اصلاح نمایید
User-agent: *
Disallow: /imag
اما اگر قصد دارید این محدودیت ها را برای آلکسا پیاده کنید از معرفه ia_archiver استفاده کنید
چرا که ربات آلسا ia_archiver را منسوب به خودش می داند
مثلا دو خط دستور زیر کافیست تا آلکسا دیگر مطالب سایت شما را ایندکس نکند و شاید در ترافیک هم آمار سایت شما را اعلام نکند (این از مواردی است که من جایی در آلکسا ندیدم که آلکسا خود را ملزم و متعهد به اجرای آن بداند
User-agent: ia_archiver
Disallow: /
ضمنا اگر اینکار را قبل از ایندکس شدن در آلکسا انجام بدهید موثرتر است چون بعد از آن حدود 3 ماه طول می کشد تا آلکسا به آن ترتیب اثر بدهد
نظرات شما عزیزان:
ارسال توسط علی اکبر کاظمی
آخرین مطالب
