AhrefsBot是什么搜索引擎蜘蛛怎么屏蔽它
0不经常查看网站日志的朋友可能都不会注意,一直都有一个名叫AhrefsBot的蜘蛛每天都在大量的爬取着你的网站。这个AhrefsBot是一家国外提供SEO服务的公司,提供专业的收费外链分析服务,所以他对链接的分析需求非常大,于是就近乎疯狂的每天大量爬取网络上的各种网站。再小的网站都不放过。
对于我们国内站长来说,这个蜘蛛几乎没有什么意义,并且它的爬去频次非常高,爬取深度也很深。有时候忍不住想,要是百度和这个AhrefsBot蜘蛛一样痴迷自己的网站就好了!
既然没有,并且浪费服务器资源,那我们就非常有必要把它屏蔽掉。
首先,robots.txt文件里面屏蔽掉AhrefsBot蜘蛛:
User-agent: AhrefsBot Disallow: /
然后,服务器配置里直接给他返回403,禁止他访问,以nginx为例,在网站配置文件里添加:
if ($http_user_agent ~* AhrefsBot) { return 403; }
如果使用了宝塔面板,直接在报答里面封掉AhrefsBot爬虫的ip(话说他的ip还真是多啊):
54.36.148.0/24 54.36.149.0/24 54.36.150.0/24 195.154.122.0/24 195.154.123.0/24 195.154.126.0/24 195.154.127.0/24
蜘蛛BT种子磁力链搜索引擎 蜘蛛种子搜索引擎 蜘蛛资源搜索引擎 bt蜘蛛磁力搜索引擎 不会屏蔽的搜索引擎 蜘蛛磁力搜索引擎下载 迅雷搜索引擎蜘蛛 搜索引擎蜘蛛的描述