各位大佬,我有几个用于定时任务的 Rake Task,可是在执行过程中会突然的猝死 (突然结束进程)
我主要用了两个模块
我感觉问题可能是出在 mechanize 的问题上,但是我已经处理了部分异常, 如果我重新 'rake crawler:video' 仍然是可以正常向下处理的。
nohup.out 内也没有报错,我应该从哪些方面找这个 Task 的 Bug 呢?恳请各位支支招。
代码在这里
建议搭个异常监控,把异常事件都发送到监控服务上去。比如用这个 https://sentry.io/ 然后再慢慢调查。
你的 nohup 是哪个进程执行的?crontab ?
网站维护或者部署,返回的不是 xml, Nokogiri parse 就挂了
也有可能内存紧张被操作系统杀了。。
哟 爬虫扒视频啊 记得设置 timeout