新手问题 Rails 串接 Ruby 爬虫

w181496 · August 22, 2015 · Last by johnnyhappy365 replied at August 24, 2015 · 3185 hits

小弟 ruby 新手 最近写了一只爬虫分析某网站资料 现在我想把分析的资料丢给 rails 做成网页版 但不知该如何下手

然后还有要如何做到点网页上某个 button,可以让他自己去执行爬虫爬资料 并将资料存回资料库? 求各位指点~感谢

点击按钮然后启动爬虫的线程么?

#1 楼 @ywjno 目前是这么想的,或是有其他更好的方法?

#1 楼 @ywjno 我们公司做了好几个这样的东西了,用 sidekiq 来后台运行爬虫

如果爬的内容少的话,直接调 sidekiq 等 active job 就可以了。如果是多的话,可以要中间再加一层做分布式或多并行吧。

You need to Sign in before reply, if you don't have an account, please Sign up first.