SemrushBot是什么蜘蛛能否禁止抓取

0 SemrushBot是什么蜘蛛能否禁止抓取

semrushbot禁止抓取.jpg

semrushbot是国外一家提供SEO数据分析的网站蜘蛛,在中文站长圈并不多见,并且对于我们来说没有什么意义,建议中文网站直接屏蔽。这个网站也有中文版的seo工具,但是鲜为人知。

屏蔽方法:直接在robots.txt加入下面代码:

User-agent: SemrushBot
Disallow: /
赞(0)
打赏 微信扫一扫微信 支付宝 QQ 扫码打赏
如若转载,请注明本文出自:https://www.guaitoo.com/show/24.html