چگونه رباط های بد همانندAhrefs را بلوکه کنیم


کلیه عکس های سایت را به سهولت دریافت کنید مبل ها بازی آنلاین لرد ها
slide
Prev
Next


چگونه رباط های بد همانندAhrefs را بلوکه کنیم

remove-bad-robots-from-websites-article

مطلبی خواندنی برای وب مستر ها

چگونه رباط های بد که از سایت باز دید میکنند را بلوکه کنیم

رباط ها نرم افزار هایی هستند که با ای پی های مشخص یا متغیر جهت جستجو یا بررسی وارد سایت ها می شوند 

بعضی از این رباط ها کارایی های مفیدی دارند همانند رباط های جستجوگر یا خزنده گوگل و یاهو و بینگ و…

و بعضی از این رباط ها صرفا برای اسپم نگاری یا هرز نگاری ، ارسال مطالب یا کامنت های تبلیغاتی و مزاحم وارد سایت ها می شوند 

بعضی هم در کلیه صفحات سایت می گردند که یا محتوای سایت را سرقت نمایند یا ….

رباط Ahrefs

رباطی با ظاهر مفید اما عملکردی ، نه چندان مفید و کارا می باشد

ربات Ahrefs وارد سایت ها می شود و کلیه سایت ها را بررسی میکند ، تا بدین وسیله هم اعلام حظور نماید و هم مثلا لینک ها و بک لینک های سایت ها را جهت ذخیره در دیتا بیس خود منتشر نماید

کاربران با مشاهده رباط Ahrefs خواه ناخواه اقدام به جستجوی این رباط می نمایند که چیست و چرا از سایت آنان بازدید میکند

و این هدف اصلی حرکت های این ربات ، تبلیغاتی می باشد ، آنگاه کاربر وارد سایت این رباط شده و با پیام های تبلیغاتی مواجه میگردد ( که چنانچه تمایل دارید آمار دقیقی از بک لینک ها و آمار شما نشان بدهیم ثبت نام نمایید و پس از مدتی این ثبت نام پولی خواهد بود

اما Ahrefs چه زیان هایی برای سایت ما دارد

جستجوی Ahrefs در سایت ها گاهی بیشتر از جستجوی رباط گوگل می باشد و حرکت های این رباط باعث مصرف پهنای باند سایت و یا حتی اشغال شدن سی پی یو  سرور نیز می گردد

مدیران سایت Ahrefs ادعا میکنند که رباط آنها عملکرد مفید دارد ! و آنها به استاندارد ها و قوانین فایل روبات تکس robots.txt احترام می گذارند !

اما این وقتی بخواهید مانع از ورود آن در سایت خود بشوید متوجه خواهید شد بی اعتنا به فرامین فایل robots.txt همچنان به فضولی و گشت گذار پر هزینه در سایت ها ادامه میدهد

روش هایی برای حذف روباط های مزاحم به شرح زیر می باشد

در فایل robots.txt

Robots.txt:

ser-agent: Rogerbot 
User-agent: Exabot 
User-agent: MJ12bot 
User-agent: Dotbot 
User-agent: Gigabot 
User-agent: AhrefsBot 
User-agent: BlackWidow 
User-agent: ChinaClaw 
User-agent: Custo 
User-agent: DISCo 
User-agent: Download\ Demon 
User-agent: eCatch 
User-agent: EirGrabber 
User-agent: EmailSiphon 
User-agent: EmailWolf 
User-agent: Express\ WebPictures 
User-agent: ExtractorPro 
User-agent: EyeNetIE 
User-agent: FlashGet 
User-agent: GetRight 
User-agent: GetWeb! 
User-agent: Go!Zilla 
User-agent: Go-Ahead-Got-It 
User-agent: GrabNet 
User-agent: Grafula 
User-agent: HMView 
User-agent: HTTrack 
User-agent: Image\ Stripper 
User-agent: Image\ Sucker 
User-agent: Indy\ Library
User-agent: InterGET 
User-agent: Internet\ Ninja 
User-agent: JetCar 
User-agent: JOC\ Web\ Spider 
User-agent: larbin 
User-agent: LeechFTP 
User-agent: Mass\ Downloader 
User-agent: MIDown\ tool 
User-agent: Mister\ PiX 
User-agent: Navroad 
User-agent: NearSite 
User-agent: NetAnts 
User-agent: NetSpider 
User-agent: Net\ Vampire 
User-agent: NetZIP 
User-agent: Octopus 
User-agent: Offline\ Explorer 
User-agent: Offline\ Navigator 
User-agent: PageGrabber 
User-agent: Papa\ Foto 
User-agent: pavuk 
User-agent: pcBrowser 
User-agent: RealDownload 
User-agent: ReGet 
User-agent: SiteSnagger 
User-agent: SmartDownload 
User-agent: SuperBot 
User-agent: SuperHTTP 
User-agent: Surfbot 
User-agent: tAkeOut 
User-agent: Teleport\ Pro 
User-agent: VoidEYE 
User-agent: Web\ Image\ Collector 
User-agent: Web\ Sucker 
User-agent: WebAuto 
User-agent: WebCopier 
User-agent: WebFetch 
User-agent: WebGo\ IS 
User-agent: WebLeacher 
User-agent: WebReaper 
User-agent: WebSauger 
User-agent: Website\ eXtractor 
User-agent: Website\ Quester 
User-agent: WebStripper 
User-agent: WebWhacker 
User-agent: WebZIP 
User-agent: Wget 
User-agent: Widow 
User-agent: WWWOFFLE 
User-agent: Xaldon\ WebSpider 
User-agent: Zeus
Disallow: /

---------------

و یا کد زیر را در فایل
.htaccess:
قرار دهید

SetEnvIfNoCase User-Agent .*rogerbot.* bad_bot
SetEnvIfNoCase User-Agent .*exabot.* bad_bot
SetEnvIfNoCase User-Agent .*mj12bot.* bad_bot
SetEnvIfNoCase User-Agent .*dotbot.* bad_bot
SetEnvIfNoCase User-Agent .*gigabot.* bad_bot
SetEnvIfNoCase User-Agent .*ahrefsbot.* bad_bot
SetEnvIfNoCase User-Agent .*sitebot.* bad_bot
<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Limit>

*************************************************
شایان ذکر است در بسیاری موارد دیده شده با وجود این فرامین و دستورات باز هم
رباط در سایت اقدام به ولگردی می نماید ! از این رو می توانید آی پی آن را بلوکه کنید
و دوباره روز بعد با ای پی دیگری ! حظور خواهد داشت ! ولی به نظر نمی رسید این رباط
بیشتر از ده یا بیست ای پی فعال داشته باشد !

——
کاربران سایت های وردپرسی ، مامبو ، جوملا و سایت های اچ تی ام ال و دینامیک و استاتیک هر کدام به
همان شیوه های مندرج در متن بالا می توانند اقدام به مسدود نمودن رباط های مزاحم نمایند

——–
نویسنده و منبع مطلب : پی سی پیک دات کام
www.p30pic.com




بدون نظر

ثبت نظر

منتظر پاسخ هستم

 


صفحه 1 از 11

Copyright (C) 2010-2015 p30pic.com All rights reserved

حق کپی رایت محفوظ ... این سایت تابع قوانین کشور زیبای ایران می باشد

X close
like us on google plus