不经常查看网站日志的朋友可能都不会注意，一直都有一个名叫AhrefsBot的蜘蛛每天都在大量的爬取着你的网站。这个AhrefsBot是一家国外提供SEO服务的公司，提供专业的收费外链分析服务，所以他对链接的分析需求非常大，于是就近乎疯狂的每天大量爬取网络上的各种网站。再小的网站都不放过。对于我们国内站长来说，这个蜘蛛几乎没有什么意义，并且它的爬去频次非常高，爬取深度也很深。有时候忍不住想，要是百度和这个AhrefsBot蜘蛛一样痴迷自己的网站就好了！既然没有，并且浪费服务器资源，那我们就非常有必要把它屏蔽掉。首先，robots.txt文件里面屏蔽掉AhrefsBot蜘蛛：User-agent:
网页出现 空白字符的解决方法 批量处理html文件，使用了超级字符串替换工具后，打开网页发现页面布局不对了，网页最顶部出现了一个宽宽的空白，查看源码，源码里面什么都没有，css样式也没有问题。最后发现，文件本来是utf8格式，被XReplace批量替换后，编码被改成了utf8-bom格式，这个空白正是由于这个bom文件头导致的。解决方法也很简单，使用notepad++重新把编码改成utf8无bom格式就好了。
CRTubeGet油管、B站等全网视频下载工具一键下youtube载在线视频神器 油管(youtube)上面有很多很有价值的干货视频，为了方便分享或者防止哪天视频找不到了，把视频下载下来是个很不错的方法。使用下载神器idm可以很方便下载油管上的单个视频，但是如果要下载播放列表的话就很不方便。怎么批量下载youtube视频？为此，笔者也特意找了不少软件，最终发现一个好用的，他就是CRTubeGet。他支持你所能常见到的几乎所有食品站，下载youtube和b站视频尤其好用。CRTubeGet界面可以看到，CRTubeGet的界面很简洁，你所需要做的只是把视频页面的url粘贴过来就好了。批量下载youtube某个博主的首页，然后复制地址栏的地址，到软件里面进行粘贴url即可。软件