Ruby 刚学 Ruby 想问一下怎么改代码能提升一下程序运行速度实在是太慢了。

regnskali · 2022年03月24日 · 最后由 lehug 回复于 2022年04月14日 · 1260 次阅读

require 'net/http'
require 'nokogiri'
require 'benchmark'

begin_time = Time.now
uri = URI('http://www2.kugou.kugou.com/yueku/v8/album/index/getData.js')
referrer_policy="http://www2.kugou.kugou.com"
number = 1
(1..200).each { |i|
  params = { :cdn => "cdn", :l => 1, :p => i, :c => 0 }
  uri.query = URI.encode_www_form(params)
  res = Net::HTTP.get_response(uri)
  parsed_data = Nokogiri::HTML.parse(res.body)
  if parsed_data.xpath("/html/body//ul//li//a[@class='pic']/@title[1]")[0]==nil then puts "暂无"; break end
  title_name = parsed_data.xpath("/html/body//ul//li//a[@class='pic']/@title[1]")
  title_name_url = parsed_data.xpath("/html/body//ul//li//a[@class='pic']/@href ")
  (0..title_name_url.length - 1).each { |i|
    puts "ID:#{number}"
    puts title_name[i]
    puts Nokogiri::HTML.parse(Net::HTTP.get(URI(referrer_policy + title_name_url[i]))).xpath("/html/body//div[@class='intro']//tr//td/a[@onclick=\"LogStat(1,'','演唱者点击量');\"]/text()")
    puts Nokogiri::HTML.parse(Net::HTTP.get(URI(referrer_policy + title_name_url[i]))).xpath("/html/body//div[@class='intro']//tr//td[@id='language']/text()")
    puts Nokogiri::HTML.parse(Net::HTTP.get(URI(referrer_policy + title_name_url[i]))).xpath("/html/body//div[@class='intro']//tr//td[@id='company']/text()")
    puts Nokogiri::HTML.parse(Net::HTTP.get(URI(referrer_policy + title_name_url[i]))).xpath("/html/body//div[@class='intro']//tr//td[@id='publish_time']/text()")
    number=number+1
    puts "--------------------------"
 }
}
end_time = Time.now
puts "Time taken is #{end_time - begin_time}."

1 个赞

nine #1 2022年03月24日

爬虫慢主要是 http 响应速度问题。

用线程会快，然而太快话会被对方识别、屏蔽和投毒。

搞爬虫的话直接上框架产品吧，异步、重连、更新内容、代理配置，都现成的。自己开发没必要。

1 个赞

regnskali #2 2022年03月24日

请问 Ruby 用什么框架比较好

mtan #3 2022年03月24日

对

regnskali 回复

可以试试 Sidekiq 简单易上手，变成异步任务执行，任务之间就不用互相等待。

xianyuit #4 2022年03月24日

这开些线程，或进程，能提高几十倍的速度，再换个请求库，加 xml 解决的库，又能提高几十倍

liuminhan #5 2022年03月24日

爬虫可以用 https://github.com/sparklemotion/mechanize，使用起来比较方便

zt2 #6 2022年03月24日

试试使用基于 Ruby 3 新特性的 Fiber 调度器 https://github.com/bruno-/fiber_scheduler

require 'fiber_scheduler'
require 'net/http'
require 'nokogiri'
require 'benchmark'

Fiber.set_scheduler(FiberScheduler.new)

begin_time = Time.now
uri = URI('http://www2.kugou.kugou.com/yueku/v8/album/index/getData.js')
referrer_policy="http://www2.kugou.kugou.com"
number = 1

(1..200).each do |i|
    Fiber.schedule do
        params = { :cdn => "cdn", :l => 1, :p => i, :c => 0 }
        uri.query = URI.encode_www_form(params)
        res = Net::HTTP.get_response(uri)
        puts res.body
    end
end

end_time = Time.now
puts "Time taken is #{end_time - begin_time}."