新手问题在服务器抓取淘宝搜索结果页失败，本地可以正常抓取

scige · November 24, 2015 · Last by alucardpj replied at November 26, 2015 · 1564 hits

淘宝搜索结果页：https://s.taobao.com/search?q=iphone 在本地可以成功抓取，在服务器上就会失败被淘宝的反作弊拦截，跳转到登录页

加上 user-agent 和 cookies，设置 http 代理都试过了，仍然不行

用 nokogiri，wget 都是一样的，本地正常，服务器失败

有同学直到如何解决码？万分感激

bajiudongfeng #1 November 24, 2015

gem 'headless' gem 'selenium-webdriver' 推荐两个 gem

qingxp9 #2 November 26, 2015

抓包，http header 弄成完全一样的试试

alucardpj #3 November 26, 2015

或者是服务器 ip 入了黑名单了？

You need to Sign in before reply, if you don't have an account, please Sign up first.

新手问题 在服务器抓取淘宝搜索结果页失败，本地可以正常抓取