新手问题 Rake Task 突然猝死的原因应该从哪里找起?

syhsyh9696 · 2017年09月25日 · 最后由 jicheng1014 回复于 2017年09月28日 · 1435 次阅读

各位大佬,我有几个用于定时任务的 Rake Task,可是在执行过程中会突然的猝死 (突然结束进程)

我主要用了两个模块

  • Mechanize
  • ActiveRecord

我感觉问题可能是出在 mechanize 的问题上,但是我已经处理了部分异常, 如果我重新 'rake crawler:video' 仍然是可以正常向下处理的。

nohup.out 内也没有报错,我应该从哪些方面找这个 Task 的 Bug 呢?恳请各位支支招。

代码在这里

建议搭个异常监控,把异常事件都发送到监控服务上去。比如用这个 https://sentry.io/ 然后再慢慢调查。

你的 nohup 是哪个进程执行的?crontab ?

网站维护或者部署,返回的不是 xml, Nokogiri parse 就挂了

也有可能内存紧张被操作系统杀了。。

哟 爬虫扒视频啊 记得设置 timeout

需要 登录 后方可回复, 如果你还没有账号请 注册新账号