tuliang (涂亮)

Redis Cluster 实践

tuliang — Thu, 17 Jan 2019 20:26:59 +0800

背景

redis 这个 gem 在最新的 4.1 版中开始支持 Redis Cluster。

开发环境

我们需要在开发环境搭建一个 Redis Cluster，最方便快捷的方法是使用 docker 和 docker-compose，并且使用配置好的 image。

在 docker-compose.yml 中添加下列代码

version: '3'
services:
  redis-cluster:
    image: grokzen/redis-cluster
    environment:
     - IP=0.0.0.0
    ports:
      - '7000-7007:7000-7007'

使用 docker-compose up -d 启动服务即可。

更新代码

在 Gemfile 中设置 redis gem 的版本为 4.1

gem "redis", "~> 4.1"

在 application.rb 中修改 session_store 和 cache_store

Rails.application.configure do
  # Redis Session Store (redis-rails Gem)
  config.session_store :redis_store, servers: { cluster: %w[redis://127.0.0.1:7000] }, expires_in: 1.month

  # Redis Cache Store (redis-rails Gem)
  config.cache_store = :redis_store, { cluster: %w[redis://127.0.0.1:7000] }

  # Redis Cache Store (ActiveSupport)
  config.cache_store = :redis_cache_store, { cluster: %w[redis://127.0.0.1:7000] }
end

在其他地方使用 Redis Cluster

redis = Redis.new(cluster: %w[redis://127.0.0.1:7000])

分片

从单机变成集群之后，数据分片了，分散到不同机器，但是实际需求要求相关联的 key 分配到相同机器。

因为业务或者性能问题，我们会使用 Redis 的 pipelined、multi 和 Rails.cache.read_multi，这些场景下都需要 key 分配到相同机器。

但是 Redis Cluster 的分片方案是服务端提供分片，规则不是客户端控制的。

针对这些场景 Redis Cluster 提供了 Keys hash tags 的功能，简单来说是：

当一个 key 包含 {} 的时候，就不对整个 key 做 hash，而仅对 {} 包括的字符串做 hash。

redis = Redis.new(cluster: %w[redis://127.0.0.1:7000])

redis.mget('key1', 'key2')
#=> Redis::CommandError (CROSSSLOT Keys in request don't hash to the same slot)

redis.mget('{key}1', '{key}2')
#=> [nil, nil]

总结

本文只是一个简单的例子，不能在生产环境中直接使用。

在生产环境需要考虑 Redis 的各个客户端，同时要考虑数据迁移和兼容的问题，升级到 Redis Cluster 要非常谨慎和细心。

参考资料：

原文转自博客 Redis Cluster 实践

Nginx 进程和信号

tuliang — Sun, 02 Dec 2018 10:49:15 +0800

Nginx 进程和信号

进程结构

一般来说 Nginx 有一个父进程 Master，和一个或多个子进程。

子进程分两类，一种是 Worker 进程，另一种是 Cache 相关的进程。

Cache 在多个 Worker 间共享使用。同时被进程 Cache manager 和 Cache loader 使用。Cache loader 做缓存的载入，Cache manager 做缓存的管理。这些进程间的通讯都是使用共享内存来解决的。

为什么不用多线程？因为线程之间是共享地址空间的，当某一个第三方模块引发了地址空间的段错误时，地址越界出现时，会导致整个进程挂掉。

Nginx 希望每个 Worker 进程从头到尾占有一个 CPU，所以往往不止要把 Worker 进程的数量配置与服务器的 CPU 核数一致以外，还需要把每一个 Worker 进程与某一个 CPU 核绑定在一起。这样可以更好的使用每个 CPU 核上面的 CPU 缓存，提高缓存的命中率。

不仅仅是缓存的原因，一个进程从头到尾占有一个 CPU，减少 CPU 上下文切换的次数和耗时，让 CPU 更多的时间用在运行进程上。

Master 进程

监控 Worker 进程，接受信号

CHLD，子进程终止的时候会向父进程发送 CHLD。Master 进程通过这个信号维持 Worker 进程的数量。

管理 Worker 进程，发送信号

TERM/INT，立刻停止进程。
QUIT，优雅的退出，等请求处理完才退出，用户无感知。
HUP，重载配置文件。
USR1，重新打开日志文件，做日志文件的切割。

下面 2 个信号，Nginx 命令行中没有对应的操作，只能通过 kill 直接向 Master 进程发送

USR2，热升级第一阶段，启动新进程。旧的 Nginx 主进程 Master 将会把自己的进程文件改名为 .oldbin，然后执行新版 Nginx。此时新旧 Nginx 会同时运行，共同处理请求。
WINCH，热升级第二阶段，停止老进程。逐步停止旧版 Nginx 的 Worker 进程就都会随着任务执行完毕而退出，新版的 Nginx 的 Worker 进程会逐渐取代旧版 Worker 进程。

Worker 进程

和上面对应，接受信号

TERM/INT
QUIT
USR1
WINCH

Nginx 命令行

启动 Nginx 以后，Nginx 会把 Master 进程的 pid 记录到一个文件中，一般是 Nginx 安装目录下 logs/nginx.pid。

我们平时使用的命令行其实就是对这个 pid 发送对应的信号。

reload: HUP
reopen: USR1
stop: TERM
quit: QUIT

reload 流程

向 Master 进程发送 HUP 信号（reload 命令）
Master 进程校验配置语法是否正确
Master 进程更新监听端口（比如新配置增加了监听 443 端口）
Master 进程用新配置启动新的 Worker 子进程
Master 进程向老 Worker 子进程发送 QUIT 信号
老 Worker 子进程关闭监听句柄，处理完当前连接后结束进程

在 1.11.11 的版本中，增加了 worker_shutdown_timeout 参数来设置优雅退出 Worker 进程的超时时间。

热升级流程

将旧 Nginx 文件换成新 Nginx 文件（注意备份）
向 Master 进程发送 USR2 信号
Master 进程修改 pid 文件名，加后缀 .oldbin
Master 进程用新 Nginx 文件启动新 Master 进程
向老 Master 进程发送 WINCH 信号，老 Master 进程会优雅关闭老 Worker 进程
此时老 Master 进程依然存活，如果出现问题需要回滚。向老 Master 进程发送 HUP，然后向新 Master 发送 QUIT 即可。（注意恢复备份文件）
正常升级后，通过 kill -QUIT 信号关闭老 Master 进程

新老 Master 进程，同时存在，那么是怎么同时监听端口的？

新老 Master 进程是父子进程，所以可以同时监听。

优雅关闭 Worker 进程

优雅关闭是指 HTTP 请求，如果代理的是 WebSocket、TCP、UDP，这时候 Nginx 是无法进行优雅关闭的。

设置定时器（这个功能默认不开启，配置文件有设置 worker_shutdown_timeout 才会生效）
关闭监听句柄
关闭空闲连接
在循环中等待全部连接关闭（如果设置了 worker_shutdown_timeout，超时后会强制关闭全部连接）
退出进程

更多信息可以参考官方文档 Starting, Stopping, and Restarting NGINX

原文转自博客 Nginx 进程和信号

浅谈 Markdown 编译器

tuliang — Mon, 19 Nov 2018 00:35:38 +0800

浅谈 Markdown 编译器

作者不是科班出身，基础比较差。一直在补习一些基础知识，也包括编译原理。最近和朋友交流的时候有提到 AST(抽象语法树)，虽然以前也零散的看了一些文章，实际上还是比较模糊的。

在这一篇文章中，我会尝试谈一下编译器。虽然参考了诸多资料，不过文中观点难免掺入主观想法，我也希望文中的错误与不足之处能被各位指出。

基础知识

编译原理是计算机专业的一门重要专业课，旨在介绍编译程序构造的一般原理和基本方法。内容包括语言和文法、词法分析、语法分析、语法制导翻译、中间代码生成、存储管理、代码优化和目标代码生成。

解释器与编译器

解释器

解释器根据程序中的算法执行运算。简单来讲，它是一种用于执行程序的软件。如果执行的程序由虚拟机器语言或类似于机器语言的程序设计语言写成，这种软件也能称为虚拟机。

编译器

编译器能将某种语言写成的程序转换为另一种语言的程序。通常它会将原程序转换为机器语言。编译器转换程序的行为称为编译，转换前的程序称为源代码或源程序。如果编译器没有把源代码直接转换为机器语言，一般称为源代码转换器或源码转换器（source code translator）。

过去人们提到编译器时，首先会联想到费时的编译过程。不过由于编译后实际执行的是机器语言，因此执行速度很快。而对于解释器，人们通常认为它会在程序输入的同时立即执行，执行速度较慢。这就是两者的基本区别。现代的解释器内部常采用各种类型的编译器，已经越来越没有必要将解释器和编译器区分看待。

语言处理器的结构

无论是解释器还是编译器，语言处理器前半部分的程序结构都大同小异。如下图所示

分割单词

语言处理器的第一个组成部分是词法分析器（lexical analyzer、lexer 或 scanner）。程序的源代码最初只是一长串字符串。从内部来看，源代码中的换行也能用专门的（不可见）换行符表示，因此整个源代码是一种相连的长字符串。这样的长字符串很难处理，语言处理器通常会首先将字符串中的字符以单词为单位分组，切割成多个字符串。这就是词法分析。

词法分析器将把程序源代码视作字符串，并把它分割为若干单词（token）。分割后得到的单词并不是简单地用 String 对象表示，而是使用 Token 对象。这种对象除了记录该单词对应的字符串，还会保存单词的类型、单词所处位置的行号等信息。

用于表示程序的对象

语言处理器在词法分析阶段将程序分割为单词后，将开始构造抽象语法树（AST，Abstract Syntax Tree）。抽象语法树是一种用于表示程序结构的树形结构。

构造抽象语法树的过程称为语法分析，依然属于语言处理器的前半阶段。经过词法分析后，程序已经被分解为一个个单词。语法分析的主要任务是分析单词之间的关系，如判断哪些单词属于同一个表达式或语句，以及处理左右括号（单词）的配对等问题。语法分析的结果能够通过抽象语法树来表示。这一阶段还会检查程序中是否含有语法错误。

以 13 + x * 2 为例

单词序列

抽象语法树

抽象语法树仅用于表示语法分析的结果，因此通过语法分析得到的单词并不一定要与抽象语法树的节点一一对应。抽象语法树是一种去除了多余信息的抽象树形结构。例如

(13 + x) * 2

这样一个表达式来说，它与之前的例子不同，包含了括号。乘法运算的左值不再是 x 而是 13 + x。那么它的抽象语法树是

程序中的括号等信息不必出现在抽象语法树中。除了括号，句尾的分号等无关紧要的单词通常也不会出现在抽象语法树中。

抽象化原本指的就是去除多余的内容，抽取出事物的本质。

实战

分割单词

使用正则表达式来分割单词，支持

# ## ### ```

以下面为例

# 标题
\```
x = 1
y = x + 2
\`\`\`

单词序列

部分代码

@regex = /(^###)|(^##)|(^#)|(^```)|(.+)/

def read
  File.readlines(@filename).each_with_index do |line, i|
    # i 从 0 开始 需要先 + 1
    @line_number = i + 1

    readline(line)
  end
end

def readline(line)
  array = line.scan(@regex)

  if array.length != 0
    array.each do |item|
      add_token(item)
    end
  end
end

def add_token(item)
  if item[0] != nil
    token = Token.new('H3', @line_number)
  elsif item[1] != nil
    token = Token.new('H2', @line_number)
  elsif item[2] != nil
    token = Token.new('H1', @line_number)
  elsif item[3] != nil
    token = Token.new('Code', @line_number)
  elsif item[4] != nil
    token = Token.new('Text', @line_number, item[4])
  else
    raise "bad token at line #{@line_number}"
  end

  @queue << token
end

构造抽象语法树

抽象语法树使用栈转树的方式实现

抽象语法树

部分代码

def ast_runner
  index = 0
  ast = []

  # 遍历队列
  while @queue.length > index do
    token = @queue[index]

    case token.type
    when 'H1', 'H2', 'H3'
      # H1 H2 H3 规则
      node = ASTList.new(token)

      # index 向后移动 1 位 指向下个节点 
      index += 1
      next_node = @queue[index]
      # 去除左边的空格
      next_node.text.lstrip!
      # 将节点附加到 children 末尾
      node.children << ASTLeaf.new(next_node)
    when 'Text'
      # Text 规则 
      # 直接生成叶子节点
      node = ASTLeaf.new(token)
    when 'Code'
      # Code 规则 

      node = ASTList.new(token)

      # Code 未闭合前一直循环
      while true do
        # index 向后移动 1 位 指向下个节点 
        index += 1
        next_node = @queue[index]

        if next_node.type == 'Code'
          # 当前节点为闭合节点 退出循环
          break
        else
          # 将节点附加到 children 末尾
          node.children << ASTLeaf.new(next_node)
        end
      end
    else
      raise "bad token type at line #{token.line_number}"
    end

    # 将节点附加到 ast 末尾
    ast << node

    # index 向后移动 1 位 进行下个迭代
    index += 1
  end

  ast
end

运行

$ ruby lexer.rb
H1
 └── Ruby Markdown

一个使用 Ruby 实现的 Markdown 编译器

H2
 └── 解释器与编译器

H3
 └── 解释器

解释器根据程序中的算法执行运算。简单来讲，它是一种用于执行程序的软件。如果执行的程序由虚拟机器语言或类似于机器语言的程序设计语言写成，这种软件也能称为虚拟机。

H3
 └── 编译器

编译器能将某种语言写成的程序转换为另一种语言的程序。通常它会将原程序转换为机器语言。编译器转换程序的行为称为编译，转换前的程序称为源代码或源程序。如果编译器没有把源代码直接转换为机器语言，一般称为源代码转换器或源码转换器（source code translator）。

过去人们提到编译器时，首先会联想到费时的编译过程。不过由于编译后实际执行的是机器语言，因此执行速度很快。而对于解释器，人们通常认为它会在程序输入的同时立即执行，执行速度较慢。这就是两者的基本区别。现代的解释器内部常采用各种类型的编译器，已经越来越没有必要将解释器和编译器区分看待。

H2
 └── 运行

Code
 └── ruby lexer.rb

Code
 ├── lexer = Lexer.new("README.md")
 ├── parser = lexer.parser
 ├── parser.show
 └── puts parser.to_html

<h1>Ruby Markdown</h1><p>一个使用 Ruby 实现的 Markdown 编译器</p><h2>解释器与编译器</h2><h3>解释器</h3><p>解释器根据程序中的算法执行运算。简单来讲，它是一种用于执行程序的软件。如果执行的程序由虚拟机器语言或类似于机器语言的程序设计语言写成，这种软件也能称为虚拟机。</p><h3>编译器</h3><p>编译器能将某种语言写成的程序转换为另一种语言的程序。通常它会将原程序转换为机器语言。编译器转换程序的行为称为编译，转换前的程序称为源代码或源程序。如果编译器没有把源代码直接转换为机器语言，一般称为源代码转换器或源码转换器（source code translator）。</p><p>过去人们提到编译器时，首先会联想到费时的编译过程。不过由于编译后实际执行的是机器语言，因此执行速度很快。而对于解释器，人们通常认为它会在程序输入的同时立即执行，执行速度较慢。这就是两者的基本区别。现代的解释器内部常采用各种类型的编译器，已经越来越没有必要将解释器和编译器区分看待。</p><h2>运行</h2><pre><code><p>ruby lexer.rb</p></code><pre><pre><code><p>lexer = Lexer.new("README.md")</p><p>parser = lexer.parser</p><p>parser.show</p><p>puts parser.to_html</p></code><pre>

总结

从 分割单词 获得单词序列到 构造抽象语法树，再到生成代码，基本上实现了一个最简单的编译器。

在做的过程中你会发现编译原理的确是大作业，细做的话每一步，有太多东西，另外解释器也不简单。

参考

.bashrc、.bash_profile 和.zshrc

tuliang — Tue, 08 Jul 2014 21:00:33 +0800

在 Mac 系统中，我们通过编辑.bashrc和.bash_profile来设置用户的工作环境，很多文章对它们进行修改。

最近使用的时候发现编辑文件后，并不起效，查资料后发现因为如果是 sh 或者其他 shell 显然不会运行 bashrc 的.

突然记起来我用了oh-my-zsh，检查根目录，果然有一个文件叫.zshrc，赶紧将设置纷纷移到里面，整个世界仿佛瞬间变得美好了。

参考资料：https://wido.me/sunteya/understand-bashrc-and-profile

Web 文件下载和查看

tuliang — Wed, 11 Jun 2014 15:12:37 +0800

博文原文地址：Web 文件下载和查看

在浏览器中点击一个文件链接，会被浏览器直接打开或者下载。其实浏览器的行为是可以人为控制的，最简单的方法是使用 HTML5 download Attribute。

<!-- will download as "expenses.pdf" -->
<a href="/files/expenses.pdf" download="expenses.pdf">Download Your Expense Report</a>

这种方式虽然简单，但是兼容性不太好。查看http://caniuse.com/download，我们可以发现 IE 和 Safari 全版本都不支持这个属性。

根本原因在 HTTP Head 中，文件类型由Content-Type控制。如果 pdf 文件是正确的application/pdf，浏览器会打开 pdf，而不是去下载，jpg、png 这些文件类型同理。

而下载是由Content-Disposition来控制的，例如：Content-Disposition: attachment; filename="fname.txt"。它的意思是将该文件作为附件，并且下载的文件名是 fname.txt.

如果使用 S3，访问文件的 url，可以直接打开。如果需要下载，使用 AWS 的 api 可以生成相应的 url：

url = object.url_for(:read, response_content_disposition: "attachment; filename=\"#{filename}\"")

scss 文件名不写中间的 css 有什么好处吗？

tuliang — Thu, 20 Feb 2014 11:44:54 +0800

刚刚在看 ruby-china 的代码https://github.com/ruby-china/ruby-china 发现 CSS 都是front.scss这种文件名，不是传统的front.css.scss 这样写有什么好处？

可以不写 action？

tuliang — Thu, 16 Jan 2014 18:47:48 +0800

routes

get 'terms' => 'product_pages#terms'

在 views 里面有相应的模板

在 ProductPagesController 中并没有写 terms action，就可以访问这个页面了。

Ruby 2.1: RGenGC

tuliang — Sat, 04 Jan 2014 13:01:02 +0800

http://tmm1.net/ruby21-rgengc/?utm_source=rubyweekly&utm_medium=email

有哪些将图片组合为 CSS 贴图定位的 gem?

tuliang — Thu, 12 Dec 2013 16:24:43 +0800

如题，Asset Pipeline 合并了 js 和 css，有什么 gem 可以合并图片？

Heroku 改版了

tuliang — Fri, 26 Jul 2013 12:11:12 +0800

https://www.heroku.com/

collection_select 如何给下面的 option 自定义属性

tuliang — Tue, 14 May 2013 00:04:12 +0800

只能给 select 加属性，后来查文档发现在 model 写方法可以控制 option 的 text 和 value，一直没找到方法能给 option 加自定义属性。例如我要生成这样的 HTML

<select name="post[author_id]">
  <option value="1" age="20">D. Heinemeier Hansson</option>
  <option value="2" age="40">D. Thomas</option>
  <option value="3" age="30">M. Clark</option>
</select>

该怎么做呢？

关于 Git 的一些问题

tuliang — Thu, 21 Mar 2013 14:49:15 +0800

开发环境和生产环境的配置文件不同，这个问题是很常见的。以前的解决方案是将它们设到.gitignore 中忽略。最近遇到一个项目，不仅是配置文件，项目中有许多文件都是有区别的，并且需要部署到多个生产环境，这个时候设忽略文件就不好控制了。这个时候 Git 有没有什么方法能够将文件纳入版本控制，并且不会互相覆盖。现在能想到的方法是开多个分支或者做各种补丁。

另外一个问题，有一个 JS 的小项目 A，以这个为基础给多个不同的项目 X/Y/Z 之类，做模块或者是插件。如果项目 A 更新，项目 X/Y/Z 能够同步更新，最好能够带参数，比如说只更新 X 之类的。这个感觉很类似 rails 的 gem，但是这些项目不都是 rails 的可能是 PHP、JAVA。所以需要 git 来控制。这个问题现在能想到的方法也是开多个分支或者做各种补丁。

这两个问题其实也可以说是同一个问题，区别就在于，一个允许覆盖，一个不允许覆盖。Git 有能不能设置一个权限列表，在某些项目中允许覆盖 a,b,c 这些文件，在另外一个项目就只允许覆盖 a,b 这些文件。

大家遇到类似的问题是怎么解决的呢？