瞎扯淡 爬虫代理池分享

yqwoe · 2020年05月05日 · 4608 次阅读

期初是打算爬取各大房源平台的数据做分析在郑州买房,后来发现反爬策略,无奈就寻找 ip,网上很多代理大多不可用。 后来就自己搞了个代理池,爬取的是各代理平台的免费 ip,测试连接后入库。

地址: https://zz.rm-rf.one/#/proxy_pool

后端实现:rails apionly +fast_jsonapi + kimurai 前端:umijs

随便用,但是尽量不要太频繁,接口我没做任何限制。 因为我也是新手,所以大家如果有好的建议可以一起讨论。

暂无回复。
需要 登录 后方可回复, 如果你还没有账号请 注册新账号