so_zengtao (我天真无邪)

RabbitMQ Ruby 客户端 Bunny 部分源码解读

so_zengtao — Fri, 03 Aug 2018 16:16:28 +0800

Debug 的时候顺便看了一下源码、就按照自己的思维对源码有个复盘
这里记录一下也是顺便安利一下我们项目组在项目中对于某个逻辑常见的复盘方法
ConsumerWorkPool 拉出来是想给大家分享一下 Bunny 制作 Pool 的一个思路、我们的一些逻辑也借用了这个思路
然后总的来说 Bunny 的源码对面向对象的封装也有很多取舍、代码也谈不上特别漂亮的 (一些方法太长没拆分之类的)

下面三部分一起介绍了 Queue Subscribe & Consume 的流程

从 ConsumerWorkPool 开始说起（交代背景）

ConsumerWorkPool 顾名思义也就是 消费者工作的池子
ConsumerWorkPool 通过 死循环 利用线程 (Thread) 去 消费(consume) 队列中生产者积攒的消息

三个比较重要的 Instance Method

submit: 整个池子动起来之后唯一能被外界塞入待处理消息的地方
start:  初始化整个池子的运转 可以看到创建线程 并且准备好了循环体    
join:   threads.map(:&join)

class ConsumerWorkPool
  attr_reader :threads
  attr_reader :size

  def initialize()
    @queue = ::Queue.new
  end

  # submit 方法可以说是这个工作池启动工作的外界因素了 （顺便，&block 本来就是 callable 的）
  def submit(callable = nil, &block)
    @queue.push(callable || block)
  end

  def start
    @threads = []

    @size.times do
      t = Thread.new(&method(:run_loop))               
      @threads << t
    end

    @running = true
  end

  def join(timeout = nil)
    (@threads || []).each { |t| t.join(timeout) }
  end

  protected
    def run_loop
      catch(:terminate) do
        loop do
          Thread.stop if @paused      
          callable = @queue.pop

          begin
            callable.call
          rescue ::StandardError => e

          end
        end
      end
    end
end

然后就是 Queue 和 Consumer

Queues store and forward messages to consumers.
Messages flow from producer to exchanges that route them to queues & queues deliver the message to consumer

队列的概念存在于消费者这边。消费者的客户端需要去订阅队列，例如官方案例：

queue.subscribe(block: true) do |_delivery_info, _properties, body|
  puts " [x] Received #{body}"
end

可以看到 subscribe 方法创建了一个 Comsumer 的实例

然后将业务逻辑的代码块 - 也就是 &block（顺便也是上文提到的 callable）作为参数传给 Comsumer#on_delivery

等待 consumer 被上文提到的 ConsumerWorkPool call ( 也就是执行业务逻辑) 即可

class Queue
  # Adds a consumer to the queue
  def subscribe(opts = {}, &block)

    consumer = Comsumer.new(
      @channel,
      self
    )

    consumer.on_delivery(&block)
    @channel.basic_consume_with(consumer)
    if opts[:block]
      @channel.work_pool.join           # 这里是直接启动线程了
    end
    consumer
  end
end

class Consumer
  def on_delivery(&block)
    @on_delivery = block
    self
  end

  def call(*args)
    @on_delivery.call(*args) if @on_delivery
  end

  alias handle_delivery call
end

继续往下我们可以看到 Channel

Channel 可以说是 RabbitMQ 交互的核心、因为 Connection 的建立、销毁代价太高，使用了 Channel 来多路复用一个 TCP 连接

在这里我们关心以下几个方法

basic_consume_with(consumer)     Register a consumer for queue as Consumer instance 
maybe_start_consumer_work_pool!  保证启动 consumer_work_pool
register_consumer
handle_frameset(basic_deliver, properties, content)

class Channel

  def initialize(connection = nil, id = nil, work_pool = ConsumerWorkPool.new(1))
    @consumers  = Hash.new
  end

  def basic_consume_with(consumer)
    maybe_start_consumer_work_pool!
    ...
    register_consumer(consumer.consumer_tag, consumer)
  end

  def maybe_start_consumer_work_pool!
    if @work_pool && !@work_pool.running?
      @work_pool.start
    end
  end

  def generate_consumer_tag(name = "bunny")
    "#{name}-#{Time.now.to_i * 1000}-#{Kernel.rand(999_999_999_999)}"
  end

  def register_consumer(consumer_tag, consumer)
    @consumer_mutex.synchronize do
      @consumers[consumer_tag] = consumer
    end
  end

  # 可以看到这里调用了 ConsumerWorkPool 的 submit 方法、 consumer 自己也 call 了
  def handle_frameset(basic_deliver, properties, content)
    consumer = @consumers[basic_deliver.consumer_tag]
    if consumer
      @work_pool.submit do
        begin
          consumer.call(DeliveryInfo.new(basic_deliver, consumer, self), MessageProperties.new(properties), content)
        rescue StandardError => e
          @uncaught_exception_handler.call(e, consumer) if @uncaught_exception_handler
        end
      end
    else
      @logger.warn "No consumer for tag #{basic_deliver.consumer_tag} on channel #{@id}!"
    end
  end
end

[武汉] 天融信招聘中高级 Ruby 工程师～想回武汉的小伙伴们来吧

so_zengtao — Fri, 01 Jun 2018 21:23:04 +0800

公司背景介绍

天融信是中国领先的信息安全产品与服务解决方案提供商。基于创新的“可信网络架构”以及业界领先的信息安全产品与服务，天融信致力于改善用户网络与应用的可视性、可用性、可控性和安全性，降低安全风险，创造业务价值。

招聘的岗位

Ruby 开发工程师

岗位职责：

参与项目需求分析、业务逻辑流程设计、文档编写；
负责主要程序代码编写；
协助对所开发的功能进行测试，协助产品部署；

任职资格：

2 年以上 Ruby on Rails 开发经验；
能在 Linux（Debian 或 Ubuntu）系统下进行独立工作；
熟练使用 Ruby 语言及 Rails 框架；
熟悉 HTML5、Jquery, Boostrap 等前端开发技术；
使用过 watir、selenium、webdriver 者优先；

一些你可能想知道的

全额缴纳五险一金
公积金公司缴纳比例高达 12%
国家法定节假日休息、不占用私人周末
9 - 16k 的薪资空间（超预期的牛人可以另谈）
其它暂时没想好。该有的都有

我们在光谷创业街这边最后有意向的同学请联系这里：liu_desen@topsec.com.cn

依旧没有特别华丽的词藻。欢迎踏实、实在的朋友来共事

[杭州] 浮冬数据 - 暂时停止招聘

so_zengtao — Sat, 11 Nov 2017 12:10:55 +0800

版本 1.1 更新注记

我们已经入职了一位后端工程师、现在还需要一位后端工程师（Node 尤佳）
更新了福利模块 -【增加】5、6 两项
我们希望候选者有 很强的执行力 和 工程素养

关于我们

浮冬数据又开始招聘新的伙伴了

一家于 2016 年 6 月成立于新加坡的 电竞数据服务 创业公司
拿到了千万级别的 PreA 轮融资
传送门 - 2

现因为业务发展的需要现在有两个一个全栈的职位和一个运维的职位

福利

入职一年即可享受每年长达十天的年假
相对来说高于行业平均线的工资水平「15K - 25K」
共享公司高速发展带来的成果「我们部门有独立的期权池」
公司拥有海量的数据供你挖掘和处理
每个月有相应的项目考核奖金 - 额度也 比较给力
每人每年最少有 4 次 调薪机会 - 幅度也 非常给力

岗位

Base 要求

拥有写清晰文档（注释是文档的子集）的能力
拥有独立完成产品功能开发的能力
拥有设计并部署分布式应用、以及协调各服务之间远程调用的能力
代码结构规范、逻辑清晰合理
熟悉表现层状态转化规范、理解 Resource 和 MVC
对身边的人和事负责、愿意花时间去沟通并解决问题

Ruby 工程师

职责

开发公司内部数据接口并打通与公司其它现有平台的数据通道
负责公司新平台的所有研发工作

要求

精通 RoR 开发 & APi（指代这个APi） - 工作年限不限定
熟悉关系型数据库 & Redis
熟悉 Linux、Git、Nginx
能实现较复杂的前端开发、独立完成 HTML、CSS、JavaScript 的工作，熟悉 WebPack Vue React 等尤佳

Node 工程师

职责

开发公司内部数据接口并打通与部分外部平台的数据通道
负责公司新平台的所有研发工作

要求

对 HTTP，TCP 等基础协议有一定了解和应用
拥有扎实的 NodeJS 后端功底 (Http、SocketIo、Mysql、Redis、Hbase 等)
拥有扎实的前端功底 (闭包、事件、异步、CSS 等)
拥有连续重构系统的能力

最后的个人的一些补充

我们是一家创业公司，和其它公司不一样的是我们没有什么不打卡、弹性工作时间这样 人性化 地规定
我们愿意为你的额外 有效劳动 付出一定量的报酬
希望每一个愿意过来的人都能得到自己想要的东西，不管是物质上的回报、技能上的成长还是其它不能量化的东西
我们愿意分享创业的成果，所以不希望过来的人在我们这里浪费了青春、蹉跎了岁月、荒废了彼此 - 也就是说 我们不欢迎混的人 。青春可贵、这也是我这几年深刻的体会
这是一份没有华丽词藻的 JD，该有的福利都会有，双 Dell 24 都不叫事
最大的加分点是你是一个靠谱的人

如果你好学、踏实那么即使不那么满足上述要求也不要紧

如果上述要求除了薪资之外你都满足、那么你可以提出你的要求

工作地点 & 联系方式

部门这边可以自主招聘

杭州市滨江区滨盛路 1509 号天恒大厦

有意者请将简历发送至： zengtao@risewinter.com

【提供了一般的解决方案看看有没有更好的顺便 5 楼新问题】多态下的查询（不知道怎么用术语）看到的小伙伴进来看看吧

so_zengtao — Mon, 15 Sep 2014 16:33:59 +0800

老习惯先贴代码吧先看模型

# Collocation 和 Group 都有 state 和 feature 属性
class Collocation < ActiveRecord::Base
  has_one   :hit,     as: :hitable
  has_many  :sets,    as: :setable
end

class Group < ActiveRecord::Base
  has_one   :hit,     as: :hitable
  has_many  :sets,    as: :setable
end

class Set < ActiveRecord::Base
  belongs_to  :setable,   :polymorphic
  # 我想在下面这个scope里面 取到对应的state 和 feature 的 Collocation 和 Group 怎么写
  # 下面的这个写法不对
  scope :active_sets, -> { includes(:setable).where(setable: { state: 'ACTIVE', feature: true }) }
end

然后看看我在 Controller 里面原来的比较搓的方法

def index
  @sets = Set.all
  @sets = sets.select do |set|
    set.setable.state == "ACTIVE" && set.setable.is_featured == true
  end
end
这样是可以的 但是现在想 这样写

@sets = Set.active_sets # 这里就是上面模型里面我不知道该怎么写的 诸位大侠。

我理解的多态是一个容器（也是 C++ 里面的基类）用基类指针数组去找子类特定的属性。。反正好吧就是这样的有没有小伙伴告诉我这个怎么写某再次多谢了

诸位看看我这样理解 rails 的用户登陆过程是不是正确的

so_zengtao — Tue, 27 May 2014 16:26:43 +0800

所谓的用户登陆

其实就是在网站的每个页面（也就是每个控制器的每个动作都能取到 current_user）

然后在浏览器里的 cookies 里面存储的是一个没有加密的 hash_string1

然后在数据库里面存储一个加密的 hash_string2 (加密 hash_string1)

然后每个页面通过 cookies 拿到 hash_string1 然后加密之后找到 user 这个找到的 user 就是 current_user

然后就可以对这个 current_user 进行各种蹂躏了对么亲们？

在 Carrierwave 的 Git 上看到一段卖萌的代码

so_zengtao — Wed, 21 May 2014 15:49:07 +0800

def is_human? picture
   model.can_program?(:ruby)
 end

问一个 ruby 模型中关系数据库的问题。

so_zengtao — Mon, 19 May 2014 14:38:25 +0800

1：表 products 有属性：product_detail_id 和 product_type_id 也就是说每个产品都有一个产品详情和一个产品种类

（所以还有表格 ProductDetails 和 ProductTypes） 2：看模型的定义：

下面代码是说一个 product 实例有一个 (成员变量 C++ 的说法)product_type 类型是 ProductType 通过 :product_type_id 这个值在 ProductTypes 这个表中唯一确定取回该值赋给 product_type (如果理解错了还望诸位指正)

class Product < ActiveRecord::Base
  validates :product_type_id, presence: true
  validates :product_detail_id, presence: true

  has_one :product_type, foreign_key: :product_type_id, class_name: "ProductType"
  has_one :product_detail, foreign_key: :product_detail_id, class_name: "ProductDetail"

end

我在 ProductType 的模型里面直接这么写不知道可不可以？（可以的话能告诉我为什么嘛？我这里就在 activeadmin 这个 gem 里注册的时候出错了。（是不是要在 ProductTypes 的数据库中加入 product_id 这个列才行？为什么？）

class ProductType < ActiveRecord::Base  
  belongs_to :product
end

一个 Ajax 的问题新手网上都说的比较含糊所以来详细的问问。

so_zengtao — Thu, 15 May 2014 09:42:49 +0800

1：先看路由吧：

match "/update_rooms" => "admin/lessons#update_rooms"

2：然后看看视图：

Venue <%= select_tag "venue_id", options_for_select(@venues.map { |item| [item.name, item.id] }), 
    :prompt => "Please select project", 
    :onchange => "update_versions_div(this.value)",
    :remote => true  %>

    <div id="roomsByVenue">
        <%= render :partial => 'roomsbyvenue', :locals => { :f => f} %>
    </div>

下面是_roomsbyvenue.html.erb

Room<%= f.select(:room_id, options_for_select(@rooms.map { |item| [item.name, item.id] })) %> </br>

3：js 的代码

function update_versions_div(venue_id) {
    jQuery.ajax({
        url: "/update_rooms",
        data: { "venue_id" :  venue_id },
        datatype: "html"
        success: function(data){
            jQuery("#roomsByVenue").html(data);
        }
    });
}

好了问题来了。首先在 application.html.erb 里面是可以知道任何在 assert/javascripts 里面的文件最后都是会被包含进来的。好了我现在直接在 application.js 的最后加上了上述的 js 代码。然后到视图去操作然后浏览器的调试会显示见下图