Ruby on Rails 项目实现日志等级实时变更

lgcjwt — Fri, 28 Jun 2019 23:00:36 +0800

对于一个 rails 项目，一般是项目进程启动的时候会根据环境不同来设置一个日志等级。
但如果想要实现日志等级的实时变更并不容易，可能存在多个更加优雅的做法，而这里分享一种实践过的简 r 有效的办法。

起源

某天，Bill 怀着一个复杂的心情看了看你，“有个特殊的需求可能需要你调研一下，我们需要对一个 rails 项目实现实时变更日志等级。”。
你思考了一下，需求倒是很明确，可是……
“当然，你只是研究一下，不是非要实现，我的意思是，当然，能实现就最好不过了”
你一定受不了这个的，但这可能并不是一件容易的事情。

思路

其实改变日志等级很容易：

logger.level = 'INFO'

尝试通过定时任务的方式进入进程修改变量值

但其实，rake 是一个新的进程，他无法进入到 puma 或者 unicorn 或者 sidekiq 的进程中修改进程的变量。

很自然的就想到通过定时任务进入进程内部，修改相应的日志等级变量值。

我相信，这样一定是能达到目标的

按照这个思路，尝试了用rufus-scheduler去替代whenever。因为 Rufus-scheduler (out of the box) is an in-process, in-memory scheduler.。

其实这个方法确实是能部分实现日志等级变更的，但是sidekiq进程的日志等级就需要别的方法来控制。

“而且，这并不优雅”，当你告诉 Bill 这个未成型的方案的时候，他总结道。

“我或许可以帮你了解一下这个问题的症结所在”

症结与解决办法

ruby 项目的所有日志添加都要通过 Logger 类的实例方法：add，是这样定义的

def add(severity, message = nil, progname = nil)
    severity ||= UNKNOWN
    if @logdev.nil? or severity < @level
      return true
    end
    if progname.nil?
      progname = @progname
    end
    if message.nil?
      if block_given?
        message = yield
      else
        message = progname
        progname = @progname
      end
    end
    @logdev.write(
      format_message(format_severity(severity), Time.now, progname, message))
    true
  end

  #add方法的调用：比如logger.info
 def info(progname = nil, &block)
    add(INFO, nil, progname, &block)
  end

关键就在于@level的附值

# +severity+:: The Severity of the log message.
 def level=(severity)
   if severity.is_a?(Integer)
     @level = severity
   else
     case severity.to_s.downcase
     when 'debug'
       @level = DEBUG
     when 'info'
       @level = INFO
     when 'warn'
       @level = WARN
     when 'error'
       @level = ERROR
     when 'fatal'
       @level = FATAL
     when 'unknown'
       @level = UNKNOWN
     else
       raise ArgumentError, "invalid log level: #{severity}"
     end
   end
 end

一般是项目进程启动的时候会根据环境不同来设置一个日志等级，但无法在进程运行过程中实时变更。

打开类

很明显，如果有一个Monkeypatch，将 add 方法重写，logger 就可以任我们宰割了。

最终这样实现：

class ::Logger

  def add(severity, message = nil, progname = nil, &block)

    file_path = "#{Rails.root}/tmp/level.yml"
    @new_time = Time.now
    @last_effect_time = @last_effect_time || Time.now - 40 

    if @new_time - @last_effect_time >= 30 && File.exists?(file_path)
      log_level = File.open(file_path).read.strip
      case log_level
        when "INFO"
          $logger_level = 1
        when "DEBUG"
          $logger_level = 0
        when "WARN"
          $logger_level = 2
        when "ERROR"
          $logger_level = 3
        when "FATAL"
          $logger_level = 4
        when "UNKNOWN"
          $logger_level = 5
      end
      @last_effect_time = @new_time
    end

    @level = $logger_level || 0

    severity ||= UNKNOWN
    if @logdev.nil? or severity < @level
      return true
    end
    progname ||= @progname
    if message.nil?
      if block_given?
        message = yield
      else
        message = progname
        progname = @progname
      end
    end
    @logdev.write(
      format_message(format_severity(severity), Time.now, progname, message))
    true
  end

end

关键在于：

file_path = "#{Rails.root}/tmp/level.yml"
 if @new_time - @last_effect_time >= 30 && File.exists?(file_path)
   log_level = File.open(file_path).read.strip
   case log_level
   when "INFO"
       $logger_level = 1
   when "DEBUG"
       $logger_level = 0
   when "WARN"
       $logger_level = 2
   when "ERROR"
       $logger_level = 3
   when "FATAL"
       $logger_level = 4
   when "UNKNOWN"
       $logger_level = 5
   end
   @last_effect_time = @new_time
 end

 @level = $logger_level || 0

这里通过在项目的 tmp 目录下新建 level.yml 来实时控制日志等级。这样做有两个好处：

1.不需要通过修改数据库的值，只需要修改一个文件就可以实现日志等级切换
2.设置时间间隔，可以降低 io 频率。

实测可以完美实现日志等级实时变更。如果你发现其中可能存在的问题，欢迎拍砖
git push
end~

Ruby 原生日志分割已经解决多进程问题？

lgcjwt — Fri, 01 Jun 2018 22:49:52 +0800

Ruby 原生日志分割存在多进程问题？

今天星期一，你刚到公司，Bill 就来到你的办公桌旁说：“有个本地部署的客户，希望日志分割不用 logrotata，没办法，甲方有进程洁癖。”，经过商量，我决定先调研三种主流的日志分割方案（logrotata、ruby 原生、log4r），然后再开始工作。

而 Bill 更希望我用 ruby 原生的日志分割，经过一番搜索，发现@huacnlee的这篇帖子

https://ruby-china.org/topics/3704

本着初生牛犊不怕虎，进一步查阅 ruby 的源码：logger.rb，发现问题可能在这里：

def shift_log_age
  (@shift_age-3).downto(0) do |i|
    if FileTest.exist?("#{@filename}..#{i}")
      File.rename("#{@filename}.#{i}", "#{@filename}.#{i+1}")
    end
  end
  @dev.close rescue nil
  File.rename("#{@filename}", "#{@filename}.0")
  @dev = create_logfile(@filename)
  return true
end

这里只粘出来按照日期分割的部分，多线程情况下显然会有问题。如果能改善这段代码，显然能很 ruby 哲学地运用 ruby 原生的日志分割

又本着不怕虎，我试图打开类重写这个方法来解决这个问题

 def shift_log_age
  @dev = open_logfile(@filename)
  date = Time.now.strftime("%Y%m%d")
  return true if @dev.stat.size < @shift_size
  ......
  return true
end

完成这个动作之后，我迫不及待的将代码布上服务器

设置分割大小为 1M，开始用脚本开两个 worker 不停的写日志，发现完全没有问题。我将这个结果兴奋的告诉 Bill，Bill 却很淡定，甚至有些疑惑，指出了这里面几个明显的问题：

1. 存在临界域问题

2. 每次都要重新 open，费力又不能解决问题

Bill 的疑惑在于，这样的代码不可能解决临界域的问题，但是测试的结果却是没有问题的。Bill 决定拒接我的 PR，让我继续研究

至此，我已经决定放弃 ruby 原生日志分割，转而去研究 log4r，直到我在丧气中刷完 Facebook，偶然发现了这个：

https://www.slideshare.net/sonots/rubylogger-rubyconf-20131109

这个需要翻墙，为了省事，直接截图粘贴过来。感受一下作者 Naotoshi Seo 的兴奋之情。

再去 ruby 源码的 github 发现

https://github.com/ruby/ruby/pull/428

至此看来，ruby 原生日志分割，可以完美使用了，而我的方法之所以能成功，看来完全是因为 ruby 日志分割原本就支持多进程了

在 Bill 的帮助下，发现解决这一问题的关键在于

File.open(@filename, File::WRONLY | File::APPEND) do |lock|
  lock.flock(File::LOCK_EX) # inter-process locking. will be unlocked at closing file
  if File.identical?(@filename, lock) and File.identical?(lock, @dev)
    yield # log shifting
  else
  # log shifted by another process (i-node before locking and i-node after locking are different)
    @dev.close rescue nil
    @dev = open_logfile(@filename)
    @dev.sync = true
  end
end

也就是说：在 ruby-2.1.0 之后的版本，日志分割都不再有多进程的问题

但是，Bill 依然觉得不能乐观

1.虽然看上去已经完美支持多进程，但是调研结果发现工业上大部分仍然在用 logrotata 或 log4r

2.没有看到有使用原生日志分割的例子，甚至没有人来声明原生日志分割已经解决了多进程问题

3.是不是任然存在一些已知的或者未知的问题，导致 ruby 原生日志分割依旧被大家放在角落里？

所以有关原生日志分割的问题，是否可以放心的在存在多进程的工业环境中使用，请大佬们不吝赐教

lgcjwt (刘国春)