zangcw (臧成威)

令人苦恼的性能问题

zangcw — Wed, 15 Jan 2014 00:11:18 +0800

最近很长一段时间，一直在查性能问题，几个月过去了，ab 并发量从原来的 4 台机器 20 多并发，到现在 100 多，还是非常低。服务器的环境从原来的 Nginx + Unicorn + Padrino + Mongoid改成了Nginx + Rainbows(EventMachine) + Padrino + Moped + Sinatra::Synchrony性能提升的也一般业务逻辑上，主要是论坛的那种逻辑，分为客户端 - 群组 - 讨论 - 回复等几个层次，主要使用 reference 进行查询，用于测试并发的接口的逻辑主要就是查询一个客户端下所有的群组信息，以及某一个用户在这些群组的权限，查询的次数已经尽量减少了。执行 perf 输出，发现 garbage_collector 占比很高，不知道什么原因大家都帮忙想想办法吧

多级类别的利器 awesome_nested_set

zangcw — Thu, 05 Dec 2013 01:11:51 +0800

应朋友的要求，从今天起，把用到的 gem 都写在 blog 上，即是给大家一个分享，也给自己一个记忆的地方。

原则就是，都是原创，可以少写，但是不帖大量自己没有搞懂的代码或者别人的观点。

今天用到了一个 gem 包叫做 awesome_nested_set

是一个专门处理多级 Model 嵌套的。使用二叉树算法，很精妙

用法

gem 'awesome_nested_set'
# gem 'awesome_nested_set', github: 'collectiveidea/awesome_nested_set' #on Rails 4

然后在你的 Migration 里面，要多级嵌套的地方写上

create_table :article_categories do |t|
  t.string :name
  t.integer :parent_id
  t.integer :lft
  t.integer :rgt
  t.integer :depth

  t.timestamps
end

然后在 model 里

acts_as_nested_set

OK 了，一个多级嵌套的模型已经搭建完毕了，简单吧？怎么用呢？

Model(such as article_category
- (Object) ancestors #所有的父节点(包括祖父节点）
- (Boolean) child? #是否是子节点？=有父节点
- (Object) descendants #所有的子节点(包括孙子节点)
- (Boolean) is_ancestor_of?(other) #是否是other的父辈
- (Boolean) is_descendant_of?(other) #是否是other的子辈
- (Boolean) is_or_is_ancestor_of?(other) #是否是other的父辈或自己
- (Boolean) is_or_is_descendant_of?(other) #是否是other的子辈或自己
- (Boolean) leaf? #是否是尾叶子节点？=没有子节点
- (Object) leaves #列出所有的叶子节点
- (Object) left #左边的兄弟编号(二叉树节点号，可不是id哟）
- (Object) left_sibling #左边的兄弟
- (Object) level #深度，0是root
- (Object) move_left #挪到左边兄弟的左边
- (Boolean) move_possible?(target) #能否挪到target的旁边(父子兄弟)，如果是target的祖父就不可以
- (Object) move_right #挪到右边兄弟的右边
- (Object) move_to_child_of(node) #挪到node的子节点
- (Object) move_to_child_with_index(node, index) #挪到node的子节点，并且排序为index
- (Object) move_to_left_of(node) #挪到node的左边
- (Object) move_to_ordered_child_of(parent, order_attribute, ascending = true) #挪到parent下，按照order_attribute进行升序(ascending=true)或者降序(ascending=false)排序
- (Object) move_to_right_of(node) #挪到node的右边
- (Object) move_to_root #使自己脱离成为根节点
- (Object) parent #父节点
- (Object) right #右边的兄弟编号（同上）
- (Object) right_sibling #右边的兄弟
- (Object) root #返回所处的树的根节点
- (Boolean) root? #是否是根节点=没有父节点
- (Boolean) same_scope?(other) #这个不是很明白哦，以后搞懂再改
- (Object) self_and_ancestors #自己和所有的父辈
- (Object) self_and_descendants #自己和所有的子孙
- (Object) self_and_siblings #自己和所有的兄弟
- (Object) siblings #所有的兄弟
- (Object) to_text #以文本形式列出树,方便debug
* 1 #<ArticleCategory:0x007fa6815e6e90> (, 1, 8)
** 2 #<ArticleCategory:0x007fa6815e6ad0> (1, 2, 7)
*** 4 #<ArticleCategory:0x007fa6815e67b0> (2, 3, 4)
*** 3 #<ArticleCategory:0x007fa6815e64b8> (2, 5, 6)

通过 mysql 的 log 可以看出，每个方法都是一次读取数据库，不需要递归，不需要循环哦。另外，可以加 callbacks 只需要在 acts_as_nested_set 后面加上一些参数即可

acts_as_nested_set  :before_add     => :do_before_add_stuff,
                    :after_add      => :do_after_add_stuff,
                    :before_remove  => :do_before_remove_stuff,
                    :after_remove   => :do_after_remove_stuff

好了，今天就到此吧，希望可以给大家帮助

转自我的 CSDN 博客

Unicorn + Mongoid 发现 Unicorn 工作进程在压力测试的时候挂的，求破

zangcw — Sun, 24 Nov 2013 18:24:58 +0800

环境是这样的 ruby 1.9.3-p448 mongoid 3.1.5 padrino 0.11.2 unicorn 4.7 正常跑起来没有事，但是用 ab 压力测试，就发现 unicorn.stderr.log 里 worker 都挂了，挂的原因还都不一样有

ArgumentError - negative length -463994859 given:

app error: "The operation: #<Moped::Protocol::Command\n  @length=58\n  @request_id=3\n  @response_to=0\n  @op_code=2004\n  @flags=[]\n  @full_collection_name=\"admin.$cmd\"\n  @skip=0\n  @limit=-1\n  @selector={:ismaster=>1}\n  @fields=nil>\nfailed with error nil" (Moped::Errors::OperationFailure)

Moped::Errors::OperationFailure - The operation: #<Moped::Protocol::Command
  @length=123
  @request_id=11
  @response_to=0
  @op_code=2004
  @flags=[:slave_ok]
  @full_collection_name="group_production.$cmd"
  @skip=0
  @limit=-1
  @selector={:count=>"users", :query=>{"$and"=>[{"_id"=>{"$in"=>[]}}]}}
  @fields=nil>
failed with error nil:

单体跑的时候都正常，为什么呢？有没有相同遭遇的？

搞了个 Rails engine，但是居然不生效求解释

zangcw — Tue, 12 Nov 2013 23:25:13 +0800

地址是https://github.com/WilliamZang/bootstrap3-kaminari-views 是做 Kaminari 分页的 bootstrap3 适配，但是死活没效果，请大神帮忙看看。第一次搞 engine，做的不好见笑了