manageyp (Henry)

阿里云 Rails 项目调整 RDS MySQL 编码为 utf8mb4 的详细步骤

manageyp — Tue, 17 Mar 2015 18:22:04 +0800

最近，将一个部署在阿里云上的 Rails 项目，连接的 MySQL 数据库的编码，由 utf8 调整为 utf8mb4。实施过程不是非常顺利，目前，已经部署完成，观察了一段时间，比较稳定。写了本篇总结，希望可以帮到有需要的朋友。

环境说明

服务器系统 Centos，版本为 6.5；
数据库使用的是阿里云 RDS MySQL，版本为 5.5.18；
Rails 版本为 4.1.2；
mysql2 Gem, 版本为 0.3.16。

为什么要使用 utf8mb4 编码

根本的原因在于，采用 utf8 编码的 MySQL 无法保存占位是 4 个字节的 Emoji 表情。为了使后端的项目，全面支持客户端输入的 Emoji 表情，升级编码为 utf8mb4 是最佳解决方案。之前一篇博文有讲到，不调整 MySQL 编码，使用 rumoji 替换 Emoji 表情为字母编号。博客原文链接：Ruby on Rails Use MySQL DB Support iPhone emoji http://manageyp.github.com/ruby-on-rails/2014/12/10/ruby-on-rails-use-mysql-db-support-iphone-emoji.html

但是，这样处理至少有两个问题：

Emoji 表情会持续的更新，rumoji 库如果没有及时更新，输入新的表情，则会报错。
使用 rumoji 对用户输入的字符，做正则匹配解析，增加了系统的开销，降低了性能。

另外，看到很多网友建议，迁移 MySQL 至 PostgreSQL、MongoDB 等，迁移成本不小，暂时不考虑。

备注：MySQL 5.5.3 版本之后，引入了 utf8mb4 字符集。 在 mysql client 端，输入以下命令，确认 mysql server 是否支持 utf8mb4 编码。

mysql> SHOW CHAR SET WHERE Charset LIKE "%utf8%";
+---------+---------------+--------------------+--------+
| Charset | Description   | Default collation  | Maxlen |
+---------+---------------+--------------------+--------+
| utf8    | UTF-8 Unicode | utf8_general_ci    |      3 |
| utf8mb4 | UTF-8 Unicode | utf8mb4_general_ci |      4 |
+---------+---------------+--------------------+--------+

至于排序规则（collation）选择默认的 utf8mb4_general_ci，还是 utf8mb4_unicode_ci。请参考下面文章的介绍，Character Set & Collation In MySQL： http://infopotato.com/blog/index/mysql_character_set_and_collation 作者从排序的准确性，以及性能方面，告诉我们应该选用 utf8mb4_unicode_ci 。

实施的步骤

（1）在阿里云 RDS 控制台，新建一个数据库

名称为：production_new
字符集选择：utf8mb4

（2）修改 database.yml 编码

# config/database.yml
encoding: utf8mb4

（3）Ruby 程序接收和返回 JSON 数据时，强制使用 UTF-8 编码

"string".force_encoding("UTF-8")

（4）停止 Ruby 进程，停止队列等服务
（5）部署项目报错正式版部署之前，有在本地和 Staging 做过测试。信心满满的在正式版部署，执行的过程中，遇到下面的错误：

Character set 'utf8mb4' is not a compiled character set and is not specified in the '/path/mysql/charsets/Index.xml' file
rake aborted!
Mysql2::Error: Can't initialize character set utf8mb4 (path: /path/mysql/charsets/)
/path/.rvm/gems/ruby-2.0.0-p598/gems/mysql2-0.3.16/lib/mysql2/client.rb:70:in `connect'
/path/.rvm/gems/ruby-2.0.0-p598/gems/mysql2-0.3.16/lib/mysql2/client.rb:70:in `initialize'

经过一番检查后发现，错误是由于当前系统上的 MySQL 客户端版本过低导致。

# 列出所有被安装的 mysql 包
rpm -qa | grep mysql
mysql-devel-5.1.73-3.el6_5.x86_64
mysql-5.1.73-3.el6_5.x86_64
mysql-libs-5.1.73-3.el6_5.x86_64

（6）移除现有的旧版本，重新安装 5.5 版本的客户端

# 清理现有 mysql
yum list installed | grep -i mysql
yum remove mysql mysql-*

# 修改安装源，不修改源，重新安装的仍然是 5.1 的版本
rpm -Uvh http://repo.webtatic.com/yum/el6/latest.rpm

# 安装 5.5 版本的 mysql client
yum install libmysqlclient16 --enablerepo=webtatic
yum install mysql55w mysql55w-libs mysql55w-devel --enablerepo=webtatic

# 如果你需要安装 mysql server，请执行
yum install  mysql55w-server --enablerepo=webtatic

（7）重新安装 mysql2 Gem

MySQL 5.5 客户端安装完毕之后，再次运行项目，同样出现上面的报错信息。于是，决定重新安装一遍 mysql2 Gem。安装完成之后，项目运行正常。

# 重新安装 mysql2 Gem
gem uninstall mysql2
gem install mysql2 -v '0.3.16'

（8）备份和还原数据库

# 备份现有数据库
mysqldump -h host -u user -p production_old > production_old.sql

# 还原至新数据库
mysql -h host -u user -p production_new < production_old.sql

（9）执行调整单个表 (table) 编码的 SQL 文件

mysql -h host -u user -p production_new < db/sql/utf8mb4_charset.sql

SQL 文件内容，举例说明如下: 通常只需要修改 table 的编码，若该 table 内有字段 (column) 是 VARCHAR，或者 TEXT， MySQL 将自动调整该字段的编码，与 table 的默认编码保持一致

ALTER TABLE `versions` CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;

MySQL 索引长度的限制错误

在执行 SQL 文件时，发现有些 table 更改编码时报错，信息如下：

ERROR 1071 (42000): Specified key was too long; max key length is 767 bytes

报错原因在于：MySQL Innodb 的索引长度限制为 767 字节，UTF8mb4 字符集是 4 个字节， 767 字节 / 4 字节每字符 = 191 字符（即默认的索引最大长度） 因此在 varchar(255) 类型字段上，创建索引会失败，提示最大索引长度为 767 字节。

实践中发现，MySQL 5.5.x 的版本，只有 Unique 的索引，或者联合索引，才会报错。普通索引，Rails 的 Migration 会自动对索引 Index 的长度增加一个 191 的限制。而 MySQL 5.6.x 的版本，即使普通索引也会报错。

处理思路：先移除索引，然后修改表的编码，修改成功之后。调整索引对应字段的长度为 191，最后再次创建索引。

ALTER TABLE `users` DROP INDEX index_users_on_email;
ALTER TABLE `users` CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
ALTER TABLE `users` MODIFY `email` VARCHAR(191) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
ALTER TABLE  `users` ADD UNIQUE index_users_on_email (email);

# 查看一下最新的表结构

SHOW CREATE TABLE `users`;

（10）再次启动服务

使用 Migration 迁移 Table 编码

如果没有索引的问题，可以使用下面的代码，修改表的编码，简洁许多。也可以使用下面的代码，打印 SQL 语句到 .sql 文件。然后，对引起索引 Index 错误的 Table 单独增加处理的 SQL 语句。

def up
  char_set = 'utf8mb4'
  collation = 'utf8mb4_unicode_ci'
  table_names = ActiveRecord::Base.connection.tables
  table_names.each do |table_name|
    execute "ALTER TABLE `#{table_name}` CONVERT TO CHARACTER SET #{char_set} COLLATE #{collation};"
  end
end

原文链接 Aliyun RDS Change MySQL Charset From utf8 To utf8mb4: http://manageyp.github.com/ruby-on-rails/2015/03/05/aliyun-rds-change-mysql-charset-from-utf8-to-utf8mb4.html

参考链接 （推荐阅读）： Support Emoji in Rails 3.2.14 http://mumaren.me/blog/2013/11/27/support-emoji-in-rails-3-dot-2-14/

active_record, MySQL, and emoji http://tech.taskrabbit.com/blog/2014/04/24/active-record-mysql-and-emoji/

update MySQL version from 5.1 to 5.5 in CentOS 6.2 http://stackoverflow.com/questions/9361720/update-mysql-version-from-5-1-to-5-5-in-centos-6-2

Character Set & Collation In MySQL http://infopotato.com/blog/index/mysql_character_set_and_collation

ElasticSearch 初次使用小结，一起学习进步哈~

manageyp — Wed, 06 Nov 2013 12:07:02 +0800

选用原因

主要原因有：实时性能优越；安装配置简单；RESTful API 和 JSON 格式的文档型数据，降低开发调试的难度。另外，Tire 这个 Gem 可以简单方便的与 ActiveRecord 整合。测试中发现：ES 自带了中文分词，支持中文搜索，但是，可以换用更高效精确的分词插件。
业界资讯：GitHub searches 20TB of data using Elasticsearch, including 1.3 billion files and 130 billion lines of code.

简单介绍

ElasticSearch 是开源搜索平台领域的一个新成员。 ElasticSearch（简称 ES）是一个基于 Lucene 构建的开源，分布式，RESTful 搜索引擎。设计用于云计算中，能够达到搜索实时、稳定、可靠和快速，并且安装使用方便。支持通过 HTTP 请求，使用 JSON 进行数据索引。

特点优势

（1）Open Source（开源）
（2）Apache Lucene（基于 Lucene）
（3）Schema Free(模式自由)
（4）Document Oriented(面向文档型的设计)
（5）Real Time Data & Analytics（实时索引数据）
（6）Distributed（分布式）
（7）High Availability（高可靠性）
（8）其他特性：RESTful API；JSON format；multi-tenancy；full text search；conflict management；per-operation persistence

安装配置

在 Mac OS X 上安装配置步骤（linux 上应该也适用），请参考: http://manageyp.github.io/elasticsearch/2013/10/09/elasticsearch-installation.html

结合 Tire

Tire Github 地址：https://github.com/karmi/retire
Tire 是一个丰富的 Ruby API 工具包，封装了一系列与 ES 进行接口请求，JSON 数据处理的功能。而且，针对 ActiveRecord 写了很多处理索引，搜索的实现，非常简单方便的与 Model 进行集成。
英文原话介绍：Tire is a rich Ruby API and DSL for the Elasticsearch search engine. It exposes easy-to-use domain specific language for fluent communication with Elasticsearch. It easily blends with your ActiveModel/ActiveRecord classes for convenient usage in Rails applications.

实例代码

贴出一部分代码，实现了基本的搜索，地理位置排序，实时更新索引。命名为学校（School）只是为了用来交流，实际应用在商户模型上。
接下来，仍然需要研究 ES 的架构和实现原理；配置测试更高效的中文分词插件：ik，mmseg，smartcn 等；同样还有部分酷的功能没有使用，如：facet 等。

class School < ActiveRecord::Base
  include Tire::Model::Search

  attr_accessor :location
  attr_accessible :name, :address, :latitude, :longitude

  state_machine :status, initial: :active do
    state :active
    state :deleted
    event :set_active do
      transition all => :active
    end
    event :set_deleted do
      transition all => :deleted
    end
  end

  after_save do
    if self.active?
      tire.update_index
    else
      self.index.remove self
    end
  end

  def self.search(params)
    longitude = params[:lng].to_f
    latitude = params[:lat].to_f
    params[:page] ||= 1
    params[:per_page] ||= 20
    tire.search(page: params[:page], per_page: params[:per_page], load: true) do
      query do
        boolean do
          must { string params[:keyword], default_operator: "AND" } if params[:keyword].present?
        end
      end
      if latitude != 0 && longitude != 0
        sort do
          by :_geo_distance, { location: [longitude, latitude], order: "asc", unit: 'km' }
        end
      end
    end
  end

  def location
    { longitude: longitude.to_f, latitude: latitude.to_f }
  end

  self.include_root_in_json = false
  def to_indexed_json
    { id: id,
      name: name,
      address: address,
      location: location
    }.to_json
  end

  mapping do
    indexes :id, :type => 'integer', :index => 'not_analyzed'
    indexes :name, :boost =>  100, analyzer: "snowball"
    indexes :address, :boost  => 5, analyzer: "snowball"
    indexes :location, :type  => 'geo_point'
  end
end

博客上有进一步的讲解： http://manageyp.github.io/elasticsearch/ruby-on-rails/2013/10/10/rails-integration-with-elasticsearch-using-tire.html
Github 源代码 https://github.com/manageyp/grape_demo/blob/master/app/models/school.rb

[上海][浦东][扩招] 一名 Ruby 工程师 (附靓照)[已结束]

manageyp — Wed, 10 Jul 2013 11:50:40 +0800

原帖标题：诚招 Ruby 工程师和 Web 前端工程师

公司：银联智惠信息服务（上海）有限公司

公司介绍

银联智惠信息服务（上海）有限公司（UnionPay Smart）组建于 2012 年，是中国银联旗下子公司，旨在建立全新的营销模式和广告营销服务平台，为千万商户开拓 27 亿张银联卡的消费用户市场，服务对象包括海量银联卡持有人及数以千万计商户。公司主营优惠券营销运营业务，致力于打通线上线下（O2O）交易闭环。我们通过对海量用户消费数据的挖掘分析，实现精准实时优惠推送，从而打造一站式广告营销平台，为千万商户开拓数亿张银行卡的消费用户市场。
公司核心管理团队由来自美国硅谷的精英团队组成，成员包括从 Oracle（甲骨文），Morgan Stanley（摩根斯坦利银行），eBay，BEA，LinkedIn 等国内外公司的资深员工，亦拥有多项技术专利。一句话概括：一群硅谷回来的精英组建的团队。
公司目前规模：50~100 人
公司地址：上海市浦东新区龙东大道 3000 号 8 号楼
官方网站：http://www.unionpaysmart.com/

产品介绍

公司目前主营以下两个产品。
（1）银联微点是一款全新的 APP 返利应用，涵盖全国上千家著名连锁品牌与本地生活服务类商户，目前已开通上海，未来会开通 20 个城市，银行卡即是您的会员卡，只要在银联微点上绑定您的银行卡，并使用绑定的银行卡到商户消费我们就会将您消费金额的一部分返到您的银联微点账户中。只要您动动手指，我们就送你大大惊喜，在您享受淘优惠的乐趣时我们还给您独享的返利，有了银联微点您的生活会更精彩！
银联微点后端服务基于 Rails 打造。
想了解该产品的更多信息，可以关注微信：upvdian. 扫描二维码
（2）商户营销管理平台，是一个将老会员管理、优惠券推送、新客户营销、大数据分析整合于一体的商户管理平台。它可以帮助您及时掌握新老顾客消费动态，完美评估优惠券精准营销推送效果，自动生成月报周报统计数据，为每一个商户打造独一无二的创新营销整合方案，抓住商机，赢得客户。
商户营销管理平台系统同样是基于 Rails 打造。

团队介绍

我们团队主要推进银联微点 APP 的开发和维护。纯技术氛围，不存在你争我夺的竞争，而是相互分享，互相帮助团队。热衷于技术分享，每天 Code Review，每一位同事都成长飞快。
如果你是技术怪才；如果你和我们一样有激情、有梦想；如果你对新兴行业有着近乎偏执的热情；我们会以自由宽松的工作环境、快速成长的业务和未来的无限前景作为交换。期待你的加入，一起努力，迎接挑战，共同成长！
BTW：产品团队美女如云（参见下图），不轻易改需求，每次改良都认真讨论。重视技术的建议，尊重工程师的劳动成果。与工程师同心协力，用心做产品，把“做不到”变成“能做到”！

附靓照，所有图片均未 PS（^_^）

办公环境

园区食堂

园区环境

公共交通

近地铁 2 号线广兰路，地铁口有园区班车接送。

招聘职位

Ruby 工程师（扩招一人）

职位要求

学历不限；
熟练掌握 Ruby，Rails；
熟悉数据库，如 MySQL，Redis，MongoDB；
熟悉 Rspec 等测试工具；
熟悉代码管理工具，如 Git；
熟悉 Web API 设计。

加分项

追求简洁的代码，清晰的架构设计；
重视测试，有良好的测试习惯；
关注并实践最新的技术；
参与大型 Web 项目开发；
社区活跃分子（褒义词）；
开源项目 Contributor

Web 前端（五人）（已结束）

岗位职责：

Web 端功能设计、开发和实现
负责各产品线易用性改进和 Web 界面技术优化
参与 Web 前沿技术研究和新技术调研

任职要求：

3 年以上工作经验
精通 Web 前端前沿技术，包括 HTML5/CSS3/Javascript/ActionScript 等
深刻理解 Web 标准，对可用性、易用性等相关知识有深入了解和实践经验
至少精通一门服务器端语言（包括但不限于 Java/PHP/Python 等），并有项目经验
有参与设计复杂平台架构的经验，能承担前端新的技术，标准的积累

福利待遇

待遇丰厚，超业界水平，比照国企。参照个人能力，上不封顶。

联系方式

HR 邮箱：hr@unionpaysmart.com
HR 电话：61639031