qhwa

(Elixir 小程序) Tower2slack -- 让 Tower 的 hook 支持 Slack

qhwa — Sat, 24 Sep 2016 22:13:12 +0800

我们团队使用 Tower + Slack 作为日常的协作工具。 tower 提供了 web hook 的功能，可以将发生的事件通知给其他应用。Slack 也有 incomming bot 可以接收消息，自动发给团队成员。理论上可以很好工作的，但两者的数据定义不一样，需要中间做一次格式转换。

因此我写了一个小服务，可以很作为一个 hook 代理，将收到的 notification 数据转换后发给 Slack. 项目地址：https://github.com/qhwa/tower2slack

使用方式

根据 readme 启动服务。

将 tower 项目的 web hook url 设置为你服务器提供的 http 地址。假设你的 slack incoming web hook 地址是

https://hooks.slack.com/services/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

那么就换成

http://YOUR_HOST:14326/services/T28DCF96F/BEFGB0UJD/Ge0s8ue2iOPkEtLLMv1uqfF8

tower 的 web hook 设置中，secret 一栏可以填 #频道名 或 @用户名

效果图

友情提示

由于国内、外网络原因，最好将服务部署到国外，这样网络方面的失败率会低一些。

Ruby 2.3 new feature 之一: 多行字符串更优美的写法

qhwa — Wed, 23 Dec 2015 16:20:57 +0800

多行字符串的现状

目前的 ruby ( <= 2.3 preview 1) 中，如果要写一个多行的字符串，是比较麻烦的。

比如

def hello
  puts <<-HEREDOC.
    I know I know
    You will like it.
  HEREDOC
end

hello

输出是

I know I know
You will like it.

前面多了空格！

为了去掉空格，代码就会变得很丑：

def hello
  puts <<-HEREDOC
I know I know
You will like it.
  HEREDOC
end

hello

或者引入 active_support strip_heredoc

总之可以是做到，只是很不方便。

Ruby 2.3 <<~

ruby 2.3 将会引入一个新的语法 <<~ (squiggly heredoc)，让你用了就回不去

def hello
  puts <<~HEREDOC
    I know I know
    You will like it.
  HEREDOC
end

hello

完美输出：

I know I know
You will like it.

yeah~

ruby.taobao.org 要强制使用 https 协议了

qhwa — Mon, 21 Sep 2015 08:43:09 +0800

http 协议不安全，有被中间人篡改的可能性，所以 10 月 1 日起将强制使用 https 协议，http 协议会停止。

SSL (https) 的服务不影响，如果你本来就已经在用 https，就不用关心这件事了。

请检查配置中是否用了 http 协议：

Gemfile
~/.gemrc , /etc/gemrc
~/.bundle/config

无需更改 Gemfile，让 bundle 使用淘宝源

qhwa — Fri, 03 Jul 2015 15:30:07 +0800

大家都知道 Gemfile 中可以指定源：

# Gemfile:
source 'https://ruby.taobao.org'

然而有时候会带来些烦恼：

自己做的开源项目，Gemfile 指定了用淘宝源，结果老外 git clone 过去用，发现杯具了
需要国内、国外都部署，Gemfile 怎么写？

我今天知道，有个更方便的方法：

# Gemfile: 保持官方源不改
source 'https://rubygems.org'

命令行中运行：

bundle config 'mirror.https://rubygems.org' 'https://ruby.taobao.org'

配置全局有效，所以只需要运行一次，新项目（例如 rails new）都不用关心这个问题了

感谢 steven daniels 提供!

[杭州] 阿里巴巴招聘 Ruby 工程师 2 名

qhwa — Tue, 16 Jun 2015 11:32:25 +0800

招聘要求

阿里巴巴评级 P6 以上的职位，什么是 P6？

能独立完成产品功能开发；
3 年以上 Ruby on Rails 开发经验；
熟悉各种数据库，以 MySQL 为主；
熟悉前端开发，能独立完成 HTML、CSS、JavaScript 的工作，能实现复杂的前端功能；
熟悉 Linux 环境、运维相关内容；
当然能否通过还是要看面试了解细节。

待遇相关

现金薪酬

薪资
- 阿里巴巴集团为员工提供行业富有竞争力的薪资
- 薪资根据每个人的能力不同。2015 年 P6 约 19k+，供参考，具体数字以最终 offer 为准
奖金
- 根据部门和个人的年度绩效，有不同档次的年终奖金
- 优秀员工奖金更丰厚
- 如果整体部门表现优异，会有特别奖励

长期奖励

根据员工的年度绩效，奖励优秀员工绩效股权
年度表现优秀者，还有不同类型的特殊奖励

福利

五险一金: 都是按当地最高标准缴纳
iHome: 为员工提供免息购房贷款，可用作首付
蒲公英计划: 在员工及家庭（配偶、子女）面临重疾、残疾或身故的时候给予最高 20 万的经济援助
团队旅游: 每年一次 outing
孕妇休息室: 为准妈妈提供舒适隐秘休息室，有舒服的沙发，有用心的布置
幸福班车: 每周五和周一提供往返杭州和上海的幸福班车
配套设施: 园区内有健身房、图书馆、星巴克等
年休假: 试用期即可以享受年假，第一年/第二年是 7 天，以后逐年增加 2 天，最多 15 天
路途假: 为探望异地的父母、配偶，每年提供一次最长 3 天的路途假
年度体检: 一年一度的免费体检，全面检测身体状况，尽早预防各类健康风险。同时还为家属提供了阿里折扣价（比外部团购价优惠）

成长

有完善的晋升体系，可以一直做技术。可以根据自己的情况选择钻研技术、产品还是管理。
有各类丰富的技术分享和培训课程，各种业务沉淀的技术都会面向内部进行分享。如果有心，能在这里学习到很多技术
如果有意在产品方向发展的，也可以开发自己的创新产品。有专门的赛马计划进行鼓励

工作内容以及这边情况

之前负责酷盘
目前这边的业务是云 OS 相册服务。为个人用户提供好用的照片服务，涉及到照片智能识别分类、整理，高 QPS 性能优化等有挑战的工作。
团队目前有 5 人，都使用 ruby 作为主要开发语言。之前是李华顺在负责，现在是我在负责。
基本上每周五都有团队内部的技术分享。

工作环境

目前有 2 个名额！

简历请发往：hua.qiuh[at]alibaba-inc.com

一个小 gem，协助选择集群中一部分服务器部署

qhwa — Tue, 03 Feb 2015 14:43:36 +0800

想必大家都用过 capistrano 了，部署代码到多个服务器上的神器。不过使用中有个不太方便的地方是，某些情况下只想部署到其中几台。有好几种方式可以做到：

临时修改发布脚本（config/deploy.rb 或 config/deploy/***.rb）
使用 HOST 命令行环境变量，或者 --host 参数，比如 HOST=example.com cap production deploy

第 1 种不好重用，第 2 种在 capistrano v3.3 以上版本已经失效了。

我把我们项目中用的 task 抽出来做成了一个 gem: capistrano-hostmenu 功能实在是太简单，没有什么好描述的。。

一图顶千言：

用 Ruby 开发命令行工具的一些 tips

qhwa — Mon, 17 Nov 2014 12:53:38 +0800

最近 @季子乌的花瓣账号突然被封，苦心采集的很多图片一下子全部看不到了！

后来虽然联系客服重新开通了账号，但还是心有余悸，觉得还是 pinterest 靠谱一些，准备把图片全部迁移到 pinterest 上。由于图片数量比较多，我就用 ruby 写了一个工具，将花瓣上的图片下载下来。（不过 pinterest 不能批量上传，这些图片也只是备份到本地，这是后话了）

这个项目已开源，地址是： https://github.com/qhwa/huaban_exporter

这个工具下载后，可以用执行 huaban 命令

huaban export boards --of qhwa

执行效果：

我喜欢用命令行工作，之前做的几个 gem（lfd, fdlint）也都提供了命令行。这次就趁这个项目总结了一下怎样用 ruby 开发友好的命令行工具。

I. 初期怎样提高开发效率？

在写了基础的一些逻辑 model 后，我写个简单的 rake 文件，初期用 rake 来作为入口，边开发边测试。

一开始我只建了这样的一个 rake 任务，来调试获取画板列表功能：

rake boards         # 列出一个用户的所有画板 (user=用户名 rake boards)

后来随着功能不断完成，逐渐增加了几个新的任务，最后是完整的任务：

rake boards         # 列出一个用户的所有画板 (user=用户名 rake boards)
rake export_board   # 导出一个画板的所有图片到本地 (board_id=画板id  rake export_board)
rake export_boards  # 导出用户所有的画板图片到本地 (user=用户名 rake export_boards)
rake pins           # 列出一个画板所有的采集 (board_id=画板id rake pins)

II. 项目后期功能稳定后，怎么做命令行入口

rakefile 很适合自己用，但是要分发别人用，用 rakefile 就不方便了。做成带命令行脚本的 gem 更加方便。

把你的脚本放到 bin 目录下
加上执行权限 (chmod a+x)
加上 shebang, 比如 #!/usr/bin/env ruby

这一步我以前是用下面提到的 gli 来自动进行，但后来改成手动做了。因为 gli 生成了一些额外的文件，和 bundle 有点冲突。

III. 怎样让命令变得友好？

有个超棒的 gem 叫做 [gli][gli]，帮你很容易实现出类似 git 这样风格的脚本

IV. 项目完成后，怎么用做成一个 gem，分享给别人？

[bundler][bundler] 提供了生成 gem 的功能

bundle gem <name> 生成目录结构
修改 gemspec
rake install 先在本地安装这个 gem 进行测试
rake build 以最新的文件重新打包成 gem
rake release 打包成 gem, 生成 git tag，将 gem 上传到 https://rubygems.org

[huaban]: http://www.huaban.com [proj]: https://github.com/qhwa/huaban_exporter [gli]: https://github.com/davetron5000/gli [bundler]: http://bundler.io/

MRuby 1.0 发布了

qhwa — Fri, 28 Feb 2014 10:08:40 +0800

Mruby

看 libraries，已经有很多有趣又有用的库了。比如：

mruby-girffi 可以用来对接现有的 C 库
cocoa
arduino
redis 作为 redis 脚本
gtk2 / gtk3 / fltk ... ...

个人认为最近硬件发展很快，mruby 要是能赶上潮流就非常有前途

淘宝威客站点的部署

qhwa — Wed, 03 Jul 2013 21:55:01 +0800

之前做淘宝威客的时候，做了一个子项目 weike-deployment，用来快速部署一台新机器，可以把刚装完系统的 Linux 服务器，很快地变成一个生产环境的节点。

实践下来，感受到了一些好处：

添加新机器比较容易
服务器的软件配置也加入了版本控制
一些安装比较麻烦的软件（例如 imagemagick），不需要每次都去对着教程装了
整个拓扑结构都有了文档，如果新人加入也可以很快上手（虽然一直没有新人……）

这个项目的目录结构：

weike-deployment
|~cmd/                                  #=> 一些shell脚本
| |-build_weike_server*
| |-restart_haproxy*
| `-restart_nginx*
|~doc/                                  #=> 文档
| |-install-server.md
| `-readme.md
|~etc/                                  #=> 软件配置
| |~ssh/
| | |-authorized_keys
| | |-config
| | |-... (ssh keys)
| |-haproxy.cfg
| |-ldpath.lib.conf
| |-nginx.conf
| `-nginx.weike.conf
`~src/                                  #=> 软件包，预先下载好
  |~rvm/
  | `~archives/
  |   `-ruby-1.9.3-p385.tar.bz2
  |-ImageMagick-6.8.3-3.tar.bz2
  |-jasper-1.900.1.tar.gz
  |-libmcrypt-2.5.8.tar.bz2
  `-node-v0.8.20.tar.gz

其中最核心的是安装脚本， cmd/build_weike_server

#!/bin/bash
#****************************************************************#
# ScriptName: build-weike-server.sh
# Author: hua.qiuh
# Create Date: 2013-02-21
# Modify Author: 
# Modify Date: 2013-02-21
# Function: 
#***************************************************************#
BASE_DIR=/home/www
SOURCE_DIR=$BASE_DIR/src
CONFIG_DIR=$BASE_DIR/etc
RUNNER=ads

current_user=`whoami`

function build_weike_server(){

    init_base

    if [ "$current_user" != "$RUNNER" ]
    then
        install_global_softwares
    else
        install_project_softwares
    fi
}

function init_base(){
    if [ `pwd` != $BASE_DIR ]
    then
        sudo mkdir -p $BASE_DIR
        sudo chown $current_user:users $BASE_DIR -R
        cp * -a $BASE_DIR/
        cd $BASE_DIR
        cmd/build_weike_server
        exit
    fi
}

function install_global_softwares(){
    prepare_libs

    install_git
    install_nodejs
    install_imagemagick
    install_mcrypt

    install_nginx   # web服务器上需要安装
    install_haproxy # web服务器上需要安装

    add_local_lib_path
    install_sendmail_server
}

function prepare_libs(){
    sudo yum -y install \
        gcc gcc-c++ autoconf libjpeg-devel libpng-devel \
        freetype freetype-devel libxml2-devel zlib-devel \
        glibc-devel glib2-devel bzip2-devel \
        ncurses-devel curl-devel e2fsprogs-devel \
        krb5-devel libidn-devel \
        openldap-devel openldap-clients openldap-servers \
        libmcrypt-devel libxslt-devel libtiff-devel \
    || (echo "requirements installing failed!" && exit)
}

function login_as_runner(){
    log 'login as user: ads'
    sudo su ads
    cd ~
}

function logout(){
    log 'logout'
    exit
}

function install_git(){
    info '>> Installing git'
    git --version && celebrate 'git has been installed' && return

    sudo yum install git
}

function install_nginx(){
    info '>> Installing Nginx'
    weike_conf=/home/tops/conf/vhosts/weike.taobao.com.conf
    [ -f $weike_conf ] && celebrate 'Nginx has been installed' && return

    sudo yum install tops-nginx -y 
    sudo mkdir -p /home/tops/conf/vhosts
    sudo cp $BASE_DIR/etc/nginx.conf /home/tops/conf/
    sudo ln -s $BASE_DIR/etc/nginx.weike.conf $weike_conf
}

function install_haproxy(){
    info '>> Installing HAProxy'
    [ -f /etc/haproxy.cfg ] && celebrate 'HAProxy has been installed' && return

    sudo yum install haproxy -y
    sudo mv /etc/haproxy.cfg /etc/haproxy.cfg.origin
    sudo ln -s $BASE_DIR/etc/haproxy.cfg /etc/haproxy.cfg
}

function add_local_lib_path(){
    info '>> Adding /usr/local/lib to global library path'
    target=/etc/ld.so.conf.d/local_lib.conf
    [ -f $target ] && celebrate 'already added' && return

    sudo cp $BASE_DIR/etc/ldpath.lib.conf /etc/ld.so.conf.d/local_lib.conf
    sudo ldconfig
}

function install_sendmail_server(){
    info '>> Installing sendmail'
    sudo yum install -y sendmail > /dev/null
    sudo /etc/init.d/sendmail start
    sudo chkconfig sendmail on
    celebrate 'sendmail has started'
}

function install_imagemagick(){
    info '>> Installing ImageMagick'
    convert --version && celebrate 'imagemagick has been installed' && return

    export CFLAGS="-O2 -fPIC"
    export CXXFLAGS=$CFLAGS
    install_from_source 'jasper'
    install_from_source 'ImageMagick'
}

function install_mcrypt(){
    info '>> Installing libmcrypt'
    [ -f /usr/local/lib/libmcrypt.so ] && celebrate 'libmcrypt has been installed' && return

    install_from_source 'libmcrypt'
}

function install_nodejs(){
    info '>> Installing Nodejs'
    node --version && celebrate 'Nodejs has been installed' && return

    install_from_source 'node'
}

function install_project_softwares(){
    install_rvm
    install_ruby
    install_weike_components
    config_ssh_gitlab

    celebrate 'done!'
}

function install_rvm(){
    info '>> Installing rvm'
    rvm --version && celebrate 'rvm has been installed' && return

    \curl -L https://get.rvm.io | bash -s stable
    echo '[[ -s "$HOME/.rvm/scripts/rvm" ]] && . "$HOME/.rvm/scripts/rvm"' >> ~/.bashrc
    source ~/.bashrc

    echo 'install: --no-rdoc --no-ri' >> ~/.gemrc
    echo 'update:  --no-rdoc --no-ri' >> ~/.gemrc
}

function install_ruby(){
    info '>> Installing ruby'
    ruby --version && celebrate 'Ruby has been installed' && return

    cp $BASE_DIR/src/rvm/archives/* ~/.rvm/archives/
    rvm install 1.9.3 && rvm use 1.9.3 --default
}

function install_weike_components(){
    install_bundler
    install_rmagick
    install_rubymcrypt
}

function install_bundler(){
    info '>> Installing bundler'
    bundle --version && celebrate 'bundler has been installed' && return

    gem install bundler
}

function install_rmagick(){
    info '>> Installing rmagick'
    [ `gem list -i rmagick` = "true" ] && celebrate 'rmagick has been installed' && return

    export PKG_CONFIG_PATH="/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH"
    gem install rmagick
}

function install_rubymcrypt(){
    info '>> Installing ruby-mcrypt'
    [ `gem list -i ruby-mcrypt` = "true" ] && celebrate 'ruby-mcrypt has been installed' && return

    export PKG_CONFIG_PATH="/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH"
    gem install ruby-mcrypt -- --with-mcrypt-dir=/usr/local
}

function config_ssh_gitlab(){
    mkdir -p ~/.ssh
    cp $BASE_DIR/etc/ssh/* ~/.ssh
    chown `whoami` ~/.ssh -R
    chmod 600 ~/.ssh/*
}


#--------------- helpers --------------

function install_from_source(){
    cd $SOURCE_DIR
    extract $1 || (warn "$1 source not found!" && return)
    log "Compiling $1 $2"
    make -s clean
    ./configure $2 && make -j -s && sudo make -s install && return
    warn "installing $1 failed"
}

function extract(){
    (tar xzf $1*.tar.gz || tar xzf $1*.tgz || tar xjf $1*.tar.bz2 || tar xjf $1*.tar.bz ) && cd $1*
}
function log(){
    echo -e "\e[35m$1\e[0m"
}
function warn(){
    echo -e "\e[31m$1\e[0m"
}
function info(){
    echo $1
}
function celebrate(){
    echo -e "\e[32m$1\e[0m"
}

build_weike_server

可能对很多人来说不是新鲜的东西啦，其实只是受 Unix 的影响，认同这条原则：

所有东西都是文件

后续想更加自动化，借鉴一下 Arch Linux 的方式。

Passenger 怎么做到无缝更新部署？

qhwa — Thu, 24 Jan 2013 14:17:31 +0800

passenger 的重启很方便，touch tmp/restart.txt 可是之后首次访问就会有很长的启动时间

查了一下文档，只有企业版有rolling restart功能……这是要让人抓狂么，难道每次更新都放到夜深人静的时候？

大家有什么法子吗？ passenger_pool_idle_time 能解决吗？

Most active GitHub users in China

qhwa — Fri, 11 Jan 2013 13:19:02 +0800

https://github.com/lifesinger/lifesinger.github.com/blob/master/lab/2013/github-users/github-users-china.md 按年度贡献次数排的，好玩的地方很多啊！

对 Flash Socket 的补充

qhwa — Mon, 19 Nov 2012 11:39:00 +0800

RubyConf2012 大会上 @yedingding 分享的 Ruby Realtime web 中提到的几种技术方案选择，XHR polling、HTTP Long Polling、HTTPStream、Flash Socket、Web Socket，其中关于 Flash Socket 的描述我觉得可以探讨一下，正好我的工作和 Ruby、Flash 都有很多接触。

1. 误区：Flash Socket 需要 Flash Media Server 配合？

Socket 是一种简单、宽松的通信方式，HTTP 协议也是在 Socket 方式的基础上定了一些 request 和 response 的协议。Flash Socket 是在 Flash 应用程序中和服务器端建立一个 Socket 连接，至于后端是 Flash Media Server 还是开源的 Red5，或是 Ruby Socket Server，都是可以的。只要遵循 Socket 的规范，前后端的实现都是任意组合的。前端可以是 Flash，可以是 Silverlight，也可以是 Java Applet。后端的选择就更多了。

2. 补充：Web Socket 在低级浏览器上的支持

低级浏览器（IE6、7、8）中可以利用 Flash Web Socket 做 JS Web Socket 方案的 fallback。Flash 支持最底层的 Socket，也可以很容易实现 Web Socket、XML Socket 这些封装。我们开发过 Web 版的阿里旺旺聊天界面，客户端就是使用了 Flash Web Socket 为主，JS Web Socket 为 fallback 的方案。然后封装了一个 Web Socket 组件，业务逻辑中不需要关心 Web Socket 是 JS 还是 Flash 实现。

虽然大家用 Flash Socket 的机会比较少，而且短期内 Flash Socket 必然被 JS web socket 或 Flash web socket 代替，个人认为以后 Flash 在桌面 web 上的机会会越来越少，但是目前 Flash 还是可以做一些 HTML5 的有益补充，所以我斗胆在 Ruby 社区抛个砖，说一下 Flash Socket 的东西，方便大家在技术选型的时候，当你的应用需要考虑低级浏览器的时候，当你的应用需要跨域 realtime 的时候，也可以考虑一下 Flash。

做了一个自动将字符转成 utf8 编码的 gem

qhwa — Mon, 13 Aug 2012 15:30:29 +0800

http://rubygems.org/gems/string_utf8

gem install string_utf8

给 String 加了一个 utf8! 方法，会使用一系列的字符集去猜测，直到可以正确转成 utf8 为止。目前主要是自己用在中文的辨识上，自己用在很多项目里面，感觉还是很方便的。

用法示例：

require 'string/utf8'
p File.read( 'input.txt' ).utf8!  #不用去关心原来是什么编码

scaling github： github 背后的理念分享

qhwa — Wed, 15 Feb 2012 13:23:00 +0800

很多值得学习的地方 http://speakerdeck.com/u/holman/p/scaling-github

用 ruby 做了一个 web 前端代码检查工具

qhwa — Wed, 01 Feb 2012 22:41:45 +0800

名称叫做 fdlint，用来对 HTML/JS/CSS 代码进行扫描，找出一些不合理的地方。做这个是因为我是前端开发工程师，团队 code review 的时候，发现有很多检查项目是可以用工具扫描的，于是就有了这个想法。

因为喜欢 ruby，就用 ruby 做了。我的 ruby 属于刚刚入门，幸好有高手相助，核心部分是另外一位牛人同事 (bencode) 一起写的，细心的可以看看 bencode 和我的提交记录，明显熟练程度很不一样，呵呵。开发的过程中学到了很多很多，之后会不断完善功能、重构代码。

项目主页：https://github.com/qhwa/fdlint

请提些意见吧！不管是代码上还是功能上的。