今天生产环境的 Sidekiq 出现了一件奇怪的事情：16 个线程都处于 busy 状态。

[boohee@tiger ~]$ ps aux|grep plan
boohee   sidekiq 3.2.6 plan [16 of 16 busy] 

所有的异步任务都卡住了，sidekiq.log 中也没有任何动静。

到底出了什么问题呢？我开始猜。

猜测 1：Sidekiq 进程假死了？

这个项目部署在两台服务器上，老虎和狮子。

老虎的 sidekiq 线程全忙。

[boohee@tiger ~]$ ps aux|grep plan
boohee   sidekiq 3.2.6 plan [16 of 16 busy] 

狮子的 sidekiq 线程全忙

[boohee@lion ~]$ ps aux|grep plan
boohee   sidekiq 3.2.6 plan [16 of 16 busy] 

两台服务器的 sidekiq 同时假死，不可能这么巧吧。

用 Capistrano 重启 Sidekiq，重启成功，堆积的异步任务开始执行。（Sidekiq 进程对信号还是有反应的）

5 分钟之后 sidekiq 的线程又全部处于 busy 状态，又卡住了！

猜测 1：某个很耗时的任务把所有的线程都阻塞了？

Google 后找到了 Sidekiq Problems and Troubleshooting 这篇文档，里面写了两种常见的 Frozen worker 的情况：

If all your workers are "frozen" or no jobs seem to be finishing, it's possible a remote network call is pending forever. This is common in two scenarios:

1. DNS lookup - resolving a hostname might hang. This has a serious side effect in MRI of locking up everything because of the way MRI uses DNS by default. The solution is to run require 'resolv-replace' in your initializer, which installs a pure Ruby DNS resolver that works concurrently.

2. Net::HTTP - unresponsive remote servers can cause a Net::HTTP call to hang and lock up your workers. Set open_timeout to ensure your code raises an exception rather than hanging forever.

看完了文档，我立马就想到了代码中的问题。

class XiaomiUserProjectNotifier
  include Sidekiq::Worker
  sidekiq_options retry: 3

  def perform(project_id)

    # 此处忽略一些业务代码

    begin
      res = RestClient.post url, params
    rescue => err
      raise err
    ensure

    # 此处忽略一些业务代码
  end
end

我使用 RestClient 调用了小米的接口，但这个接口不太稳定。当小米的接口没有响应时，Sidekiq 线程就在那傻傻的等待，几分钟...几个小时...几天...

最终，所有的线程都因为这个问题沦陷了（16 of 16 busy）

解决方法

知道问题，解决起来就简单了。

把 Restclient 超时时间设定为 10 秒，发布上线，这个问题就解决了。

class XiaomiUserProjectNotifier
  include Sidekiq::Worker
  sidekiq_options retry: 3

  def perform(project_id)

    # 此处忽略一些业务代码

    begin
      res = RestClient::Request.execute(
        :method => :post,
        :url => url,
        :payload => params,
        :timeout => 10,
        :open_timeout => 10
      )
    rescue => err
      raise err
    ensure

    # 此处忽略一些业务代码
  end
end

总结

异步任务中调用外部接口时，一定要加超时，否则 Sidekiq 有被冻住的风险。