MJ12bot爬虫是什么搜索引擎,怎么禁止爬取
0![MJ12bot爬虫是什么搜索引擎,怎么禁止爬取](https://www.guaitoo.com/uploadfile/202204/ec07d6a061f8f0b.jpg)
前面经过一个来自国外的AhrefsBot爬虫,如果经常分析网站的服务器日志,就会发现另外一个名为MJ12bot的网络爬虫也在大量爬取自己的网站,这是一家英国的提供搜索引擎营销数据的网站发出的爬虫,对于中文站来说并没有什么意义,所以建议把他屏蔽掉,MJ12bot蜘蛛遵循robots协议,所以在网站robots.txt里面加入下面代码就可以:
User-agent: MJ12bot Disallow: /
赞(0)
打赏
微信 支付宝 QQ 扫码打赏
![微信扫一扫](https://www.haociwen.com/cmstheme/ska66/img/payme.png)