开源项目：1.arexhttps://github.com/ahkimkoo/arex2.Html2Articlehttp://www.cnblogs.com/jasondan/p/3497757.html主要python包：requests；xml；jparser；url2io。其中jparser、url2io都用于网页文本正文提取，url2io准确率高，但不稳定，解析错误时则调用jparser。通过两者结合使用来提高正文提取的效果。jparser安装：pip install jparser使用：参考官
google adsense广告屏蔽指定敏感广告的方法 谷歌广告联盟google adsense是个很良心的广告联盟，对于小站长来说，相比其他联盟广告质量和广告收益都要更多一些。但是，由于是国外平台，由于环境的不同，它里面并不是所有的广告都适合出现在中文网站上，为了避免造成违规，就需要对广告内容做一些屏蔽设置。google adsense广告屏蔽指定敏感广告的方法：进入adsense后台后，依次进入评比控制功能--》所有网站，可以看到右侧有很多类型可选，点击某个类别即可进入某个类别来选择性的屏蔽这个类别下的部分或所有广告内容。把其中不想展示的广告类别后沟即可，
MJ12bot爬虫是什么搜索引擎,怎么禁止爬取 前面经过一个来自国外的AhrefsBot爬虫，如果经常分析网站的服务器日志，就会发现另外一个名为MJ12bot的网络爬虫也在大量爬取自己的网站，这是一家英国的提供搜索引擎营销数据的网站发出的爬虫，对于中文站来说并没有什么意义，所以建议把他屏蔽掉，MJ12bot蜘蛛遵循robots协议，所以在网站robots.txt里面加入下面代码就可以：User-agent: MJ12botDisallow: /