前面经过一个来自国外的AhrefsBot爬虫,如果经常分析网站的服务器日志,就会发现另外一个名为MJ12bot的网络爬虫也在大量爬取自己的网站,这是一家英国的提供搜索引擎营销数据的网站发出的爬虫,对于中文站来说并没有什么意义,所以建议把他屏蔽掉,MJ12bot蜘蛛遵循robots协议,所以在网站robots.txt里面加入下面代码就可以:
User-agent: MJ12bot Disallow: /
打赏
感谢您的支持,我会继续努力的!
打开支付宝扫一扫,即可进行扫码打赏哦