MJ12bot爬虫是什么搜索引擎,怎么禁止爬取

前面经过一个来自国外的AhrefsBot爬虫，如果经常分析网站的服务器日志，就会发现另外一个名为MJ12bot的网络爬虫也在大量爬取自己的网站，这是一家英国的提供搜索引擎营销数据的网站发出的爬虫，对于中文站来说并没有什么意义，所以建议把他屏蔽掉，MJ12bot蜘蛛遵循robots协议，所以在网站robots.txt里面加入下面代码就可以：

User-agent: MJ12bot
Disallow: /

赞(0)

打赏 微信 支付宝 QQ 扫码打赏

伪装成搜索引擎的爬虫 搜索引擎爬虫网页403 java写一个爬虫站内搜索引擎 搜索引擎网络爬虫 搜索引擎爬虫原理