新手问题 Rails 串接 Ruby 爬虫

w181496 · 2015年08月22日 · 最后由 johnnyhappy365 回复于 2015年08月24日 · 3198 次阅读

小弟 ruby 新手 最近写了一只爬虫分析某网站资料 现在我想把分析的资料丢给 rails 做成网页版 但不知该如何下手

然后还有要如何做到点网页上某个 button,可以让他自己去执行爬虫爬资料 并将资料存回资料库? 求各位指点~感谢

点击按钮然后启动爬虫的线程么?

#1 楼 @ywjno 目前是这么想的,或是有其他更好的方法?

#1 楼 @ywjno 我们公司做了好几个这样的东西了,用 sidekiq 来后台运行爬虫

如果爬的内容少的话,直接调 sidekiq 等 active job 就可以了。如果是多的话,可以要中间再加一层做分布式或多并行吧。

需要 登录 后方可回复, 如果你还没有账号请 注册新账号