乖兔博客

乖兔 > 系统工具 > MJ12bot爬虫是什么搜索引擎,怎么禁止爬取

MJ12bot爬虫是什么搜索引擎,怎么禁止爬取

乖兔 更新于: 2020-03-29 分类:系统工具

mj12bot.jpg

前面经过一个来自国外的AhrefsBot爬虫,如果经常分析网站的服务器日志,就会发现另外一个名为MJ12bot的网络爬虫也在大量爬取自己的网站,这是一家英国的提供搜索引擎营销数据的网站发出的爬虫,对于中文站来说并没有什么意义,所以建议把他屏蔽掉,MJ12bot蜘蛛遵循robots协议,所以在网站robots.txt里面加入下面代码就可以:

User-agent: MJ12bot
Disallow: /

打赏