Ruby Ruby memory leak detection

Saito · 2013年03月25日 · 最后由 googya 回复于 2013年04月01日 · 6387 次阅读

本帖已被管理员设置为精华贴

Ruby memory leak detection

ObjectSpace object count

counts = Hash.new{ 0 }
ObjectSpace.each_object do |o|
  counts[o.class] += 1
end

# or
ObjectSpace.count_objects

Symbol count

# symbol will not be garbage collected
Symbol.all_symbols.count

Heap Dump

# gem i heap_dump
require 'heap_dump'
# will automatically run GC.start
HeapDump.dump

GC

# check if its just not be garbage collected
GC.start

TracePoint on system hook

# hook on native events
TracePoint.new { |tp|
  p [tp.lineno, tp.event, tp]
}.enable

def hello_world
  puts "hello"
end

hello_world

GDB & Dtrace(ruby 2.0)

# I'm not a c guy. so...

以上是我的一些笔记，结果我用了上面所有的方法，最终发现问题不是 memory leak..

orz.

11 个赞

lgn21st #1 2013年03月25日

求故事的背景，过程，以及结果。

diudiutang #2 2013年03月25日

和 http://huangzhimin.com/2012/12/16/how-i-find-out-a-memory-leak-in-rack-app/ 发现泄漏的方法差不多，也是 symbol 不会被 GC 自动回收

Saito #3 2013年03月25日

我推荐一篇神文章，也是查找 memory leak 的，不过更多的是在 C 层面：http://blog.nelhage.com/2013/03/tracking-an-eventmachine-leak/

这个评论也是我看完后的想法：

Very nice write up. It reads like a mystery novel. I kept trying to guess whodunit.

Saito #4 2013年03月25日

#1 楼 @lgn21st

背景：bug report: grack 有内存泄漏，clone 5G 的 repo 会消耗 5G 内存。

然后：我发现一个类似的 bug report 在我 fork 出来的 repo 里也出现了。

再然后：我开始怀疑是真的内存泄漏，所以做了一个测试: 最终发现内存稳定在一个恒定值，而不是无限的增长。在测试中我用到了上面的方法。

再然后：昨天晚上，@luikore google 到说 thin 跟 webrick 会 cache response, 然后我们俩就开了局 LOL ..

今天：顺藤摸瓜，发现在了确实是有这么个情况。

最终：Research Result

bhuztez #5 2013年03月25日

#4 楼 @Saito 难道不是你输出方式不对？

Saito #6 2013年03月25日

#5 楼 @bhuztez

The reason it doesn't work is because the control is not given back to EventMachine after each chunk is returned. So basically what happens is that each chunk of the body is buffered by EventMachine because the event loop doesn't have a chance to send the data between each Enumerator yield.

Thin 的作者这样回复的...