淘宝搜索结果页:https://s.taobao.com/search?q=iphone 在本地可以成功抓取,在服务器上就会失败被淘宝的反作弊拦截,跳转到登录页
加上 user-agent 和 cookies,设置 http 代理都试过了,仍然不行
用 nokogiri,wget 都是一样的,本地正常,服务器失败
有同学直到如何解决码?万分感激
gem 'headless' gem 'selenium-webdriver' 推荐两个 gem
抓包,http header 弄成完全一样的试试
或者是服务器 ip 入了黑名单了?