乖兔博客

善用佳软~
放飞你的工作效率
乖兔 > 系统工具 > SemrushBot是什么蜘蛛能否禁止抓取

SemrushBot是什么蜘蛛能否禁止抓取

乖兔 更新于: 2020-03-29 分类:系统工具 评论 ( 0 )

semrushbot禁止抓取.jpg

semrushbot是国外一家提供seo数据分析的网站蜘蛛,在中文站长圈并不多见,并且对于我们来说没有什么意义,建议中文网站直接屏蔽。这个网站也有中文版的seo工具,但是鲜为人知。

屏蔽方法:直接在robots.txt加入下面代码:

User-agent: SemrushBot
Disallow: /

打赏

说点什么吧
  • 全部评论(0
    还没有评论,快来抢沙发吧!