小弟 ruby 新手 最近写了一只爬虫分析某网站资料 现在我想把分析的资料丢给 rails 做成网页版 但不知该如何下手
然后还有要如何做到点网页上某个 button,可以让他自己去执行爬虫爬资料 并将资料存回资料库? 求各位指点~感谢
点击按钮然后启动爬虫的线程么?
#1 楼 @ywjno 目前是这么想的,或是有其他更好的方法?
#1 楼 @ywjno 我们公司做了好几个这样的东西了,用 sidekiq 来后台运行爬虫
如果爬的内容少的话,直接调 sidekiq 等 active job 就可以了。如果是多的话,可以要中间再加一层做分布式或多并行吧。