不经常查看网站日志的朋友可能都不会注意，一直都有一个名叫AhrefsBot的蜘蛛每天都在大量的爬取着你的网站。这个AhrefsBot是一家国外提供SEO服务的公司，提供专业的收费外链分析服务，所以他对链接的分析需求非常大，于是就近乎疯狂的每天大量爬取网络上的各种网站。再小的网站都不放过。对于我们国内站长来说，这个蜘蛛几乎没有什么意义，并且它的爬去频次非常高，爬取深度也很深。有时候忍不住想，要是百度和这个AhrefsBot蜘蛛一样痴迷自己的网站就好了！既然没有，并且浪费服务器资源，那我们就非常有必要把它屏蔽掉。首先，robots.txt文件里面屏蔽掉AhrefsBot蜘蛛：User-agent:
MJ12bot爬虫是什么搜索引擎,怎么禁止爬取 前面经过一个来自国外的AhrefsBot爬虫，如果经常分析网站的服务器日志，就会发现另外一个名为MJ12bot的网络爬虫也在大量爬取自己的网站，这是一家英国的提供搜索引擎营销数据的网站发出的爬虫，对于中文站来说并没有什么意义，所以建议把他屏蔽掉，MJ12bot蜘蛛遵循robots协议，所以在网站robots.txt里面加入下面代码就可以：User-agent: MJ12botDisallow: /
notepad++ $代表什么 在Notepad++中，"$"符号通常用作正则表达式中的结束符号，表示匹配字符串的结尾位置。当在搜索框或替换框中使用正则表达式时，可以使用"$"来指示要匹配的文本字符串的末尾。例如，如果你想查找以单词"cat"结尾的句子，你可以使用正则表达式"cat\W*$"，其中"\W"表示非单词字符。