tomlk (liukun)

咨询下，有个土木行业的朋友想要转行做 Ruby 程序员，有没有公司能够提供实习的机会呢？

tomlk — Thu, 24 Sep 2015 23:06:21 +0800

咨询下，有个土木行业的朋友想要转行做 Ruby 程序员，有没有公司能够提供实习的机会呢？简单介绍下这位朋友： 2014 年毕业于中国地质大学（北京）土木工程专业，学历本科，毕业后在中建五局工作至今。由于感觉他所在的行业有一些不太能够接受的东西，另外一个月完全没有假期且连续几个月每天加班到 23 点后，所以考虑转行。以前有一点 C 语言基础，学过一些基本的数据结构和算法，考过一个计算机二级，总的来说，编程基础较为薄弱，经验较少。现在经过多方了解后，考虑进入互联网行业，希望能有一家公司接受他进行实习，对待遇没有太高要求，希望能够成长，可以吃苦耐劳。

请问在 Rails 项目中使用 kafka 时关于消费消息有经验能分享下吗？

tomlk — Thu, 03 Sep 2015 20:58:51 +0800

如题，求教在 Rails 项目中使用 kafka 时消费消息是否有什么好办法。

我本人了解过 poseidon 和 posidon_cluster 这 2 个 gem，poseidon 对于生产消息支持良好，但是对于消费消息支持有限。 poseidon_cluster 对于消费消息支持比 poseidon 好一些，但是使用 fetch_loop 方法的话，默认情况下会在超时没有收到新消息会抛出异常，这样就需要有监控重启进程的机制。

想了解下是否有人在实际项目中用到了 kafka，如果有消费消息的话，有什么经验教训可以分享下吗？多谢~

Rails 中使用 Kafka 的 gem 介绍

tomlk — Thu, 03 Sep 2015 11:12:11 +0800

简介

Kafka 是目前比较热门的一个分布式消息系统，以高并发、高吞吐著称。

Kafka 相关资料

官方文档：http://kafka.apache.org/

官方推荐的处理 Kafka 的 gem--poseidon

poseidon 支持 Kafka-0.8 以上版本，是 kafka 官方推荐的用于 ruby 程序的 gem，可以方便的生产消息，作为 producer 是比较好用的。但是 poseidon 对于消费消息支持有限，只能指定 topic 和 partion 进行消费（这一点和该 gem 的作者本身确认过，然后他给我推荐了 poseidon_cluster）。

Kafka 消费消息的 gem--poseidon_cluster

由来

posidon 本身在消费消息时，只能指定 topic 和 partion 进行消费，而在实际应用中，我们往往更加关注某一个 topic 下的所有消息，并不关心到底存储在哪个 partion 中。所以，poseidon_cluster 这个 gem 就应运而生。

遇到的问题

在实际使用过程中发现，在使用 fetch_loop 时，如果长时间没有新消息产生（大概是 1 分钟左右），则在一定时间后，该方法会抛出异常。在网上搜索发现，有其他人遇到了类似的问题，但是没有一个良好的解决方案。

之后，我仔细阅读了该 gem 的文档和部分相关源码，发现出现异常的原因是在调用系统的 select 方法时超时，而这个超时时间是可以设置的。试验发现，在将超时时间设置为 48 小时后，在 18 小时内没有收到新消息时，fetch_loop 对应的进程仍然正常运行，没有抛出异常，再次产生新消息时仍然可以正常消费。

TODO

后续会补充一些具体的示例和试验过程。

Ruby 异常处理的几个细节

tomlk — Thu, 03 Sep 2015 10:53:39 +0800

1，异常发生时被自动赋值的变量

$! 最后发生的异常（异常对象） $@ 最后发生的异常的位置信息

示例：

irb(main):006:0* begin
irb(main):007:1*   abc
irb(main):008:1> rescue
irb(main):009:1>   puts $!.class
irb(main):010:1>   puts $!.inspect
irb(main):011:1>   puts $@.class
irb(main):012:1>   puts $@.inspect
irb(main):013:1> end
NameError
#<NameError: undefined local variable or method `abc' for main:Object>
Array
["(irb):7:in `irb_binding'", "C:/Ruby22/lib/ruby/2.2.0/irb/workspace.rb:86:in `eval'", "C:/Ruby22/lib/ruby/2.2.0/irb/workspace.rb:86:in `evaluate'", "C:/Ruby22/lib/ruby/2.2.0/irb/context.rb:379:in `evaluate'", "C:/Ruby22/lib/ruby/2.2.0/irb.rb:489:in `block (2 levels) in eval_input'", "C:/Ruby22/lib/ruby/2.2.0/irb.rb:623:in `signal_status'", "C:/Ruby22/lib/ruby/2.2.0/irb.rb:486:in `block in eval_in
put'", "C:/Ruby22/lib/ruby/2.2.0/irb/ruby-lex.rb:245:in `block (2 levels) in each_top_level_statement'", "C:/Ruby22/lib/ruby/2.2.0/irb/ruby-lex.rb:231:in `loop'", "C:/Ruby22/lib/ruby/2.2.0/irb/ruby-lex.rb:231:in `block in each_top_level_statement'", "C:/Ruby22/lib/ruby/2.2.0/irb/ruby-lex.rb:230:in `catch'", "C:/Ruby22/lib/ruby/2.2.0/irb/ruby-lex.rb:230:in `each_top_level_statement'", "C:/Ruby22/li
b/ruby/2.2.0/irb.rb:485:in `eval_input'", "C:/Ruby22/lib/ruby/2.2.0/irb.rb:395:in `block in start'", "C:/Ruby22/lib/ruby/2.2.0/irb.rb:394:in `catch'", "C:/Ruby22/lib/ruby/2.2.0/irb.rb:394:in `start'", "C:/Ruby22/bin/irb:11:in `<main>'"]

2，异常对象的方法

class 异常的种类 message 异常信息 backtrace 异常发生的位置信息（$@与$!.backtrace 是等价的）

示例：

irb(main):004:0* begin
irb(main):005:1*   abc
irb(main):006:1> rescue => ex
irb(main):007:1>   p ex.class
irb(main):008:1>   p ex.message
irb(main):009:1>   p ex.backtrace
irb(main):010:1> end
NameError
"undefined local variable or method `abc' for main:Object"
["(irb):5:in `irb_binding'", "C:/Ruby22/lib/ruby/2.2.0/irb/workspace.rb:86:in `eval'", "C:/Ruby22/lib/ruby/2.2.0/irb/workspace.rb:86:in `evaluate'", "C:/Ruby22/lib/ruby/2.2.0/irb/context.rb:379:in `evaluate'", "C:/Ruby22/lib/ruby/2.2.0/irb.rb:489:in `block (2 levels) in eval_input'", "C:/Ruby22/lib/ruby/2.2.0/irb.rb:623:in `signal_status'", "C:/Ruby22/lib/ruby/2.2.0/irb.rb:486:in `block in eval_in
put'", "C:/Ruby22/lib/ruby/2.2.0/irb/ruby-lex.rb:245:in `block (2 levels) in each_top_level_statement'", "C:/Ruby22/lib/ruby/2.2.0/irb/ruby-lex.rb:231:in `loop'", "C:/Ruby22/lib/ruby/2.2.0/irb/ruby-lex.rb:231:in `block in each_top_level_statement'", "C:/Ruby22/lib/ruby/2.2.0/irb/ruby-lex.rb:230:in `catch'", "C:/Ruby22/lib/ruby/2.2.0/irb/ruby-lex.rb:230:in `each_top_level_statement'", "C:/Ruby22/li
b/ruby/2.2.0/irb.rb:485:in `eval_input'", "C:/Ruby22/lib/ruby/2.2.0/irb.rb:395:in `block in start'", "C:/Ruby22/lib/ruby/2.2.0/irb.rb:394:in `catch'", "C:/Ruby22/lib/ruby/2.2.0/irb.rb:394:in `start'", "C:/Ruby22/bin/irb:11:in `<main>'"]
=> ["(irb):5:in `irb_binding'", "C:/Ruby22/lib/ruby/2.2.0/irb/workspace.rb:86:in `eval'", "C:/Ruby22/lib/ruby/2.2.0/irb/workspace.rb:86:in `evaluate'", "C:/Ruby22/lib/ruby/2.2.0/irb/context.rb:379:in `evaluate'", "C:/Ruby22/lib/ruby/2.2.0/irb.rb:489:in `block (2 levels) in eval_input'", "C:/Ruby22/lib/ruby/2.2.0/irb.rb:623:in `signal_status'", "C:/Ruby22/lib/ruby/2.2.0/irb.rb:486:in `block in eval
_input'", "C:/Ruby22/lib/ruby/2.2.0/irb/ruby-lex.rb:245:in `block (2 levels) in each_top_level_statement'", "C:/Ruby22/lib/ruby/2.2.0/irb/ruby-lex.rb:231:in `loop'", "C:/Ruby22/lib/ruby/2.2.0/irb/ruby-lex.rb:231:in `block in each_top_level_statement'", "C:/Ruby22/lib/ruby/2.2.0/irb/ruby-lex.rb:230:in `catch'", "C:/Ruby22/lib/ruby/2.2.0/irb/ruby-lex.rb:230:in `each_top_level_statement'", "C:/Ruby22
/lib/ruby/2.2.0/irb.rb:485:in `eval_input'", "C:/Ruby22/lib/ruby/2.2.0/irb.rb:395:in `block in start'", "C:/Ruby22/lib/ruby/2.2.0/irb.rb:394:in `catch'", "C:/Ruby22/lib/ruby/2.2.0/irb.rb:394:in `start'", "C:/Ruby22/bin/irb:11:in `<main>'"]

3, ensure，retry 和 rescue

ensure：后处理，ensure 中的处理在程序跳出 begin~end 部分时一定会执行。

retry：重试，在 rescue 中使用 retry 后，begin 以下的操作会再重做一遍。

rescue 修饰符：可以和 if 修饰符一样提高代码简洁性。

表达式 1 rescue 表达式 2

等价于：

begin 表达式 1 rescue 表达式 2 end

示例：

n = Integer(val)  rescue  0