Nokogiri 是一个非常迅捷的 XML/HTML 解析器,可以通过 Xpath 和 CSS 定位,非常方便。 Watir webdriver 新版本可以支持 linux 下 chrome,ff,opera 等浏览器的操作,敲行代码就指挥浏览器自动化执行。 这两个 gem 搭配 open-uri 抓了很多有趣的图。比构造 http 头方便多了。
安装命令都是 gem install ×××××哦~ 具体用法详见 Nokogiri: http://ruby.bastardsbook.com/chapters/html-parsing/ Watir webdriver: 安装方法:https://github.com/zeljkofilipin/watirbook/blob/master/installation/ubuntu.md 使用详情:百度文库一大堆讲的都是 ie 的不过方法是一样的哦,巨简单~
问问楼主,ajax 请求是咋处理的,发现在服务器环境加上了 headless 之后,js 生成的 content 无法获取,如果没有 headless 的话,一切 ok