爬虫某一网址的一个 http 请求,1 小时大概 2000 请求,用的几个代理 ip 都被封了,有什么好的策略推荐吗?
寻求商业合作,付费调用 api
没有,几个 ip 肯定不够。网上找或者买代理 ip。 1l 回答也没用,官方 api 通常频率/数量限制很死。只能靠多 ip
https://github.com/huacnlee/imax.im/blob/master/app/models/douban_request.rb
自己设定一个请求限制
kuaidaili
#2 楼 @u1370743666 让我想起了豆瓣…
#3 楼 @huacnlee 项目至少每分钟 60 个请求才能符合需求,但每分钟 60 的频率应该也是会被封的吧
#1 楼 @xiaoronglv 正在寻求商业合作,谢谢回答
#6 楼 @linyunjiang 那就加机器就好了呀
#5 楼 @cqcn1991 豆瓣的请求次数限制大概是多少?
#9 楼 @wwwicbd 匿名的话好像是 45 次每分钟
#10 楼 @cqcn1991 哦哦多谢,不过我已经被 403 了。。。