乖兔博客

乖兔 > 系统工具 > AhrefsBot是什么搜索引擎蜘蛛怎么屏蔽它

AhrefsBot是什么搜索引擎蜘蛛怎么屏蔽它

乖兔 更新于: 2020-03-27 分类:系统工具

屏蔽AhrefsBot蜘蛛.jpg

不经常查看网站日志的朋友可能都不会注意,一直都有一个名叫AhrefsBot的蜘蛛每天都在大量的爬取着你的网站。这个AhrefsBot是一家国外提供SEO服务的公司,提供专业的收费外链分析服务,所以他对链接的分析需求非常大,于是就近乎疯狂的每天大量爬取网络上的各种网站。再小的网站都不放过。

对于我们国内站长来说,这个蜘蛛几乎没有什么意义,并且它的爬去频次非常高,爬取深度也很深。有时候忍不住想,要是百度和这个AhrefsBot蜘蛛一样痴迷自己的网站就好了!

既然没有,并且浪费服务器资源,那我们就非常有必要把它屏蔽掉。

首先,robots.txt文件里面屏蔽掉AhrefsBot蜘蛛:

User-agent: AhrefsBot
Disallow: /

然后,服务器配置里直接给他返回403,禁止他访问,以nginx为例,在网站配置文件里添加:

if ($http_user_agent ~* AhrefsBot) {
   return 403;
}

如果使用了宝塔面板,直接在报答里面封掉AhrefsBot爬虫的ip(话说他的ip还真是多啊):

54.36.148.0/24
54.36.149.0/24
54.36.150.0/24
195.154.122.0/24
195.154.123.0/24
195.154.126.0/24
195.154.127.0/24

打赏