Ruby 里有没有比较成熟的爬虫框架

vus520 — Mon, 07 Oct 2013 17:10:18 +0800

目前来有这几个需求

爬行、内容抽取、下载和存储
支持代理库及代理池，最好能有二级代理功能，可以自己抓取代理列表并验证有效性
分布式，主服务器能将数据分发到从服务器并能完成数据收集

看到社区里有位同志推荐了黄先生的作品，看了一下，在内容抽取方面应该没有大问题 https://github.com/code4craft/webmagic

分布式和代理这块，ruby 有没有比较稳定的 gem，要想实现一个稳定长期的数据采集服务。

rbenv 安装太慢的解决办法

vus520 — Mon, 07 Oct 2013 13:22:29 +0800

rbenv + ruby-build 插件，可以直接使用命令 rbenv install 1.9.3-p448 安装对应的 ruby 版本，但，这样太慢，半小时过去，还在 Downloading

不过，ruby-build 提供了镜像链接，哈哈

RUBY_BUILD_MIRROR_URL="http://www.mirrorservice.org/sites/ftp.ruby-lang.org/pub/ruby/1.9/ruby-1.9.3-p448.tar.gz" rbenv install 1.9.3-p448

但，这样还是太慢，半小时过去，还在 Downloading，再换个镜像

env RUBY_BUILD_MIRROR_URL=http://mirrors.ibiblio.org/ruby/2.0/ruby-2.0.0-p247.tar.gz rbenv install 2.0.0-p247

但，这样还是 TMD 太慢，半小时过去，根本就没动呀！！！！

看到国内有淘宝的镜像了，换个地址再试！因为检查 md5sum，所以需要在 url 后面加个#，问号也可以的

env RUBY_BUILD_MIRROR_URL=http://ruby.taobao.org/mirrors/ruby/2.0/ruby-2.0.0-p247.tar.gz# rbenv install 2.0.0-p247

shuhai@Aspire:~/.rbenv/versions$ env RUBY_BUILD_MIRROR_URL=http://ruby.taobao.org/mirrors/ruby/2.0/ruby-2.0.0-p247.tar.gz# rbenv install 2.0.0-p247
Downloading ruby-2.0.0-p247.tar.gz...
-> http://ruby.taobao.org/mirrors/ruby/2.0/ruby-2.0.0-p247.tar.gz#/c351450a0bed670e0f5ca07da3458a5b

速度还是慢，我试了一下，用 wget 是可以很快下载完成的，那再换个办法

wget -q http://ruby.taobao.org/mirrors/ruby/2.0/ruby-2.0.0-p247.tar.gz -O /home/shuhai/.rbenv/versions/ruby-2.0.0-p247.tar.gz
env RUBY_BUILD_MIRROR_URL=file:///home/shuhai/.rbenv/versions/ruby-2.0.0-p247.tar.gz# ~/.rbenv/bin/rbenv install 2.0.0-p247

这个速度那是相当快呀！！！注意的是，文件 URI 后面要加个#或者？

via:http://www.4wei.cn/archives/1002162

vus520 (尘缘)

Ruby 里有没有比较成熟的爬虫框架

rbenv 安装太慢的解决办法