Ruby 爬 ruby-china，为什么浏览器看到的和爬到的不一样？
require 'nokogiri'
require 'rest-client'
def print_title url
begin
res = RestClient.get url
doc = Nokogiri::HTML res.body
doc.css('.title a').each do |i|
puts i.attributes['title'].value
end
puts '-' * 100
rescue
puts "invalid url"
end
end
puts 'Please input url, and enter "e" to exit.'
while 'e' != url = gets.chomp!
print_title url
end
比如去爬https://ruby-china.org/topics?page=60，感觉浏览器访问的时候被过滤了一些数据....
爬到的数据应该比浏览器访问的多，导致分页页数大了以后，顶部出现了浏览器访问到的 59 页的东西
Reply to
CaiAAA
CaiAAA
那是两个 gem 包，你在 shell 下安装对应的 gem 包
$ gem install nokogiri
$ gem install rest-client
在 ruby 里 require 对应的 gem，就可以使用对应的包，去看一下https://guides.rubygems.org/what-is-a-gem/
Reply to
tinyfeng
tinyfeng
输入 e 没有问题，直接退出了 既然是爬https://ruby-china.org/topics?page=60,代码里又没有提到,是在cmd里写什么代码吗这个网站
Reply to
CaiAAA
CaiAAA
while 'e' != url = gets.chomp!
print_title url
end
url 需要你自己输入
