https://ruby-china.org/yijingping en-us <p>一个爬取微信公众号文章的爬虫</p> <p>github: <a href="https://github.com/bowenpay/wechat-spider" rel="nofollow" target="_blank">https://github.com/bowenpay/wechat-spider</a></p> <h2 id="微信爬虫的由来">微信爬虫的由来</h2> <p>我们是一家帮助中国 5000 万贫困人口与社会公益组织的对接的公司。</p> <p>我们通过国家和地方政府的“建档立卡”系统，获取到了一手的贫困户数据，目前有 100 万左右，总数为 5000 万，目前每个月都在增长。</p> <p>为了帮助这部分贫困户对接公益机构，我写了这个微信爬虫，从微信公众号发布的文章中上找出最新的公益项目。</p> <p>这种找项目的方式的可行性，我们还在试验中。</p> <p>起初，为了快速上线，本爬虫的代码是基于我的另一个 <a href="https://github.com/yijingping/unicrawler" rel="nofollow" target="_blank" title="">通用爬虫项目</a> 开发的，还不是很完善，所以希望任何对本项目感兴趣的人联系我，与我一同改进这个项目。</p> <p>联系方式：在该 issue 下留言告诉我 <a href="https://github.com/bowenpay/wechat-spider/issues/1" rel="nofollow" target="_blank" title="">点击去留言</a></p> <h2 id="界面预览">界面预览</h2> <p>1）要爬取的微信公众号列表</p> <p><img src="https://github.com/bowenpay/wechat-spider/blob/master/docs/images/1.jpg?raw=true" title="" alt=""></p> <p>2）要爬取的文章关键字列表</p> <p><img src="https://github.com/bowenpay/wechat-spider/blob/master/docs/images/2.png?raw=true" title="" alt=""></p> <p>3）已经爬取的微信文章</p> <p><img src="https://github.com/bowenpay/wechat-spider/blob/master/docs/images/3.png?raw=true" title="" alt=""></p> <p>4）查看文章，并标记是否可用</p> <p><img src="https://github.com/bowenpay/wechat-spider/blob/master/docs/images/4.jpg?raw=true" title="" alt=""></p> <p>5）控制爬取进程数</p> <p><img src="https://github.com/bowenpay/wechat-spider/blob/master/docs/images/5.png?raw=true" title="" alt=""></p> <h2 id="使用到的技术和框架">使用到的技术和框架</h2> <p>django mysql redis lxml selenium</p> yijingping Tue, 20 Sep 2016 18:39:10 +0800 https://ruby-china.org/topics/31113 https://ruby-china.org/topics/31113