乖兔博客

乖兔 > 伪装成搜索引擎的爬虫

MJ12bot爬虫是什么搜索引擎,怎么禁止爬取
系统工具

MJ12bot爬虫是什么搜索引擎,怎么禁止爬取

乖兔 更新于:2020-03-29 评论 ( 0 )

前面经过一个来自国外的 AhrefsBot爬虫 ,如果经常分析网站的服务器日志,就会发现另外一个名为MJ12bot的网络爬虫也在大量爬取自己的网站,这是一家英国的提供搜索引擎营销数据的网站发出的爬虫,对于中文站来说并没有什么意...