新手问题 在服务器抓取淘宝搜索结果页失败,本地可以正常抓取

scige · 2015年11月24日 · 最后由 alucardpj 回复于 2015年11月26日 · 1575 次阅读

淘宝搜索结果页:https://s.taobao.com/search?q=iphone 在本地可以成功抓取,在服务器上就会失败被淘宝的反作弊拦截,跳转到登录页

加上 user-agent 和 cookies,设置 http 代理都试过了,仍然不行

用 nokogiri,wget 都是一样的,本地正常,服务器失败

有同学直到如何解决码?万分感激

gem 'headless' gem 'selenium-webdriver' 推荐两个 gem

抓包,http header 弄成完全一样的试试

或者是服务器 ip 入了黑名单了?

需要 登录 后方可回复, 如果你还没有账号请 注册新账号