wfwdex (wfwdex)

服务器负载过高怎样优化？

wfwdex — Wed, 07 Mar 2018 08:22:51 +0800

目前应用的情况如下：

API 接口每天要接受大约 1.4 亿次请求
目前 web 服务器由三台 8 核 16GB 的服务器做负载均衡
mysql 数据库放在 8 核 16GB 的单台服务器上

目前 web 服务器的负载一直维持 1 以上，如目前：Load average: 1.46 1.07 1.06

puma 配置：

workers 8
threads 16,32

Linux 4.4.0-109-generic (ruby1)     03/07/2018  _x86_64_    (8 CPU)

08:08:00 AM     CPU     %user     %nice   %system   %iowait    %steal     %idle
08:08:01 AM     all     26.99      0.00      5.67      0.00      0.00     67.34
08:08:02 AM     all     22.92      0.00      4.41      0.00      0.00     72.67
08:08:03 AM     all     15.17      0.00      2.40      0.00      0.00     82.43
08:08:04 AM     all     20.65      0.00      3.78      0.00      0.00     75.57
08:08:05 AM     all      9.34      0.00      2.02      0.13      0.00     88.51
08:08:06 AM     all     10.37      0.00      1.77      0.00      0.00     87.86
08:08:07 AM     all     10.81      0.00      1.65      0.00      0.00     87.53
08:08:08 AM     all      7.38      0.00      2.75      0.00      0.00     89.88
08:08:09 AM     all      8.35      0.00      1.87      0.00      0.00     89.78
08:08:10 AM     all      9.80      0.00      1.63      0.00      0.00     88.57
08:08:11 AM     all      9.42      0.00      1.63      0.00      0.00     88.94
08:08:12 AM     all      8.59      0.00      1.26      0.00      0.00     90.15
08:08:13 AM     all     12.61      0.00      2.52      0.00      0.00     84.87
08:08:14 AM     all     18.72      0.00      3.14      0.00      0.00     78.14
08:08:15 AM     all      9.71      0.00      1.26      0.00      0.00     89.03
08:08:16 AM     all      8.79      0.00      1.88      0.00      0.00     89.32
08:08:17 AM     all     10.43      0.00      1.13      0.00      0.00     88.44

API 已经做过缓存优化，请问这种情况除了继续加服务器，还有没有其他优化思路和方向？

利用位运算在一个字段存多个属性值有什么弊端？

wfwdex — Fri, 17 Nov 2017 21:25:17 +0800

晚上看到一个 gem, bit_settings, 文件

核心代码：

def add_settings(settings:, column: :settings, prefix: nil)
  prefix = prefix ? "#{prefix}_" : ''
  if settings.size > 32
    raise 'You can NOT have more than 32 settings (max unsigned int with 4 bytes is 2^32-1)'
  else
    settings.each_with_index do |setting, i|
      define_method "#{prefix}#{setting}" do
        self.send(column) & (1 << i) > 0
      end
      alias_method "#{prefix}#{setting}?", "#{prefix}#{setting}"
      define_method "#{prefix}#{setting}=" do |value|
        if ActiveModel::Type::Boolean.new.cast(value)
          self.send("#{column}=", self.send(column) | (1 << i))
        else
          self.send("#{column}=", self.send(column) & ~(1 << i))
        end
      end
    end
  end
end

这个 gem 主要实现在一个字段存多个（最大 32 个）bool 型的属性。

这样做看起来很酷，想知道如果在现实的项目中这样用，有没有什么弊端？或者不方便的地方？

我能想到有一个场景不方便，比如按指定的多个属性做 group by 操作。

关于将 ActiveRecord 结果集缓存到 Redis 的 HASH 中

wfwdex — Wed, 25 Oct 2017 19:33:51 +0800

在优化项目响应时，想将 ActiveRecord 的结果集存在 Redis 的 HASH 中，主要是为了好管理。

比如用关联的 user_id 当做 HASH 的 key:

books = Book.where(user_id: user_id)
$redis.hset("books", user_id, books.to_json)

取出：

books = JSON.parse($redis.hset("books", user_id))

这样做的问题是取出时并不会还原成 ActiveRecord 结果集对象，而且数据量大的时候不知道会不会有性能问题。

但是使用Rails.cache.write又不支持存进 Redis 的 HASH 中，请教一下有没有更好的方法解决这个问题？

一台独立的 ELK日志服务器，如果通过 Beats 收集另一台 Rails Web 服务器上的日志？

wfwdex — Wed, 18 Oct 2017 09:06:14 +0800

ELK 指的是 elasticsearch/logstash/kibana

目前是用 socat 配合 tail，通过 udp 往日志服务器直接发送给 logstash，请问最好的方式是什么？

关于如何避免客户端同一时间提交重复请求的问题

wfwdex — Mon, 31 Jul 2017 14:03:55 +0800

我遇到的问题如下：

iOS 客户端因为第一次打开应用需要用户允许网络访问权限，导致第一次发送请求（用于分配帐号）总是在同一时间（1 秒钟内）重复发送多次（2-3 次）。

这样就导致服务端会为这个 uuid 的设备创建多个分配帐号，虽然产品逻辑上是允许一个 uuid 通过另一个注册接口去注册多个帐号，但是并不允许在第一次打开 app 的时候分配多个帐号，所以就导致我无法通过为 uuid 创建数据库约束来避免这种情况。

请问如果不从客户端下手，API 后端如何避免让一个 uuid 在 1 秒钟内同时创建多个帐号？

在写完这个帖子后，我想到一个办法，就是为uuid和created_at创建联合唯一约束，本着深入研究的精神，想请求除了这个还有别的更好办法吗？

怎样让 Rails 的 params 根据请求来获取对应类型的参数？

wfwdex — Fri, 28 Jul 2017 11:43:07 +0800

比如我的接口是POST类型，我只想让客户端发起请求传参时使用Form Data，不接受从 URL 传来的参数。

现在很多客户端同事不知道这个问题，把POST请求的参数全部通过 URL 传到后端，而 Rails 里使用 params 又能正常获取 URL 传来的参数。

问题是：Rails 如何优雅地只允许获取 Form Data 或 URL 传来的参数？

今天发现用 json 发到后端的请求都会被正常解析到 params 里，本来参数值应该是字符型，但由于 json 支持 integer，导致前端使用了 integer，引发了 bug。

Phoenix vs Rails: quick performance comparison 被最后的 ab 压测震惊了

wfwdex — Sat, 01 Jul 2017 00:56:01 +0800

这几天在想办法优化自己参与的项目，无意中看到这个视频。

最后的压测差距好多，不知道在完整的项目中差距是不是这么大。

怎样实现整数定时任务？

wfwdex — Fri, 30 Jun 2017 16:05:28 +0800

比如我需要实现一天里每 10 分钟整数时执行的定时任务

00:10, 00:20, 00:30, 00: 40, 00:50, 01:00 ...

类似上面这样，每整数 10 分钟时执行一次。

请救一下大家有没有可行的方案？

怎样提高一个写入数据非常频繁的 API 接口的并发处理性能?

wfwdex — Fri, 30 Jun 2017 09:18:29 +0800

目前项目里有一个日志接口写入非常频繁，目前自己做过 AB 压力测试，在请求数为 10000，并发数为 100 的情况下，Requests per second 只能达到 36/s，期望能达到 100/s 以上。

这种情况下如果把这个接口的请求送入队列，比如 sidekiq，然后用队列的多线程去写入是不是一个可行的方案？有没有什么弊端？

或者有没有更好的方法去优化？

使用 Kaminari 分页时，遇到使用 distinct 的语句，分页会不准确

wfwdex — Wed, 31 May 2017 20:33:57 +0800

使用 kaminari 对去重的语句进行分页时，生成的分页语句有问题：

logs = OperationLog.select(:user_id).where(interface_id: params[:interface_id]).page(param_page).per(param_limit).distinct.includes(:user)

生成的语句

-- 分页语句
SELECT  DISTINCT `operation_logs`.`user_id` FROM `operation_logs` WHERE `operation_logs`.`interface_id` = 1 LIMIT 25 OFFSET 0
-- 查询关联用户
SELECT `users`.* FROM `users` WHERE `users`.`id` IN (150, 123, 175, 126, 133, 124)
-- 获取总记录数
SELECT DISTINCT COUNT(DISTINCT `operation_logs`.`id`) FROM `operation_logs` WHERE `operation_logs`.`interface_id` = 1

事实上总记录数并没有按 DISTINCT 指定的字段去重，导致总记录数是未去重的数量，

查了 kaminari 项目 README.md 和 google，都没找到解决方法，目前使用的是 Kaminari.paginate_array，对总结果分页，这样显然是不对的，记录数多了之后，性能有很大问题。

请问这个问题怎么解决？

怎样让 Vim 在 visual 模式选中一段文字粘贴时，不将选中的文字替换到剪贴板？

wfwdex — Wed, 24 May 2017 08:35:19 +0800

在 visual 模式下，我首先复制或剪切了一段文字，我想粘贴的方式替换文件中两处文字。

当我选中要替换的文字，按下 p 键粘贴时，选中的文字就会替换我在剪贴板里复制的文字。

搞得我又要重新回去复制那段文字。

请问怎样在我选中文字并按下 p 键时，避免选中的文字替换我的剪贴板内容？

最好是能直接修改设置，而不是让我抛弃使用现有的默认快捷键。

[求助] 关于 Rails 中奇怪的时区问题

wfwdex — Thu, 11 May 2017 08:15:40 +0800

前提是我在application.rb中已经加入了：

config.time_zone = 'Beijing'
config.active_record.default_timezone = :local

我在 rails console 中查询用户的登录日志，返回的创建时间是： 2017-05-10 15:13:10

irb(main):001:0> User.find(2).user_signin_logs.order(created_at: :desc).first
  User Load (0.4ms)  SELECT  `users`.* FROM `users` WHERE `users`.`id` = 2 LIMIT 1
  UserSigninLog Load (0.6ms)  SELECT  `user_signin_logs`.* FROM `user_signin_logs` WHERE `user_signin_logs`.`user_id` = 2 ORDER BY `user_signin_logs`.`created_at` DESC LIMIT 1
=> #<UserSigninLog id: "2e20a942-3593-11e7-8338-00163e01107f", user_id: 2, ip: "27.17.98.36", ip_country: "中国", ip_province: "湖北", ip_city: "武汉", created_at: "2017-05-10 15:13:10", updated_at: "2017-05-10 15:13:10">

我用同样的 sql 语句直接去查数据库，得到的结果却是：2017-05-10 23:13:10

mysql> SELECT  `user_signin_logs`.* FROM `user_signin_logs` WHERE `user_signin_logs`.`user_id` = 2 ORDER BY `user_signin_logs`.`created_at` DESC LIMIT 1;

+--------------------------------------+---------+------------+-------------+-----------+--------------+---------------------+---------------------+
| id                                   | user_id |  ip           | ip_country | ip_province | ip_city | created_at          | updated_at          |
+--------------------------------------+---------+------------+-------------+-----------+--------------+---------------------+---------------------+
| 2e20a942-3593-11e7-8338-00163e01107f |       2  | 中国       | 湖北        | 武汉    |  2017-05-10 23:13:10 | 2017-05-10 23:13:10 |
+--------------------------------------+---------+------------+-------------+-----------+--------------+---------------------+---------------------+
1 row in set (0.02 sec)

看了 @boyishwei 的贴子 Rails 中的时区及时间问题了解到created_at字段不管有没有设置 config.active_record.default_timezone = :local 都会记录 UTC 时间。

所以我的问题是，如何让created_at在 console 里默认就显示 localtime？而不是每次都要加.localtime 或 .getlocal('+08:00')。

多谢回复。

有没有办法让 Rails 不使用 schema_migrations 表来记录迁移？

wfwdex — Wed, 10 May 2017 18:23:20 +0800

事情是这样的：

公司一个产品的数据需要进行远程同步，使用的是阿里的 otter。

在配置同步的时候需要排除 schema_migrations 这个表来防止另一边的应用部署时产生问题。

但 otter 配置正则表达式排除时会有问题，导致数据不同步。

所以想问一下有没有别的方式来记录迁移，而不使用数据表？

两个模型分别使用指定字段进行关联怎么实现？

wfwdex — Tue, 25 Apr 2017 10:11:18 +0800

class User < ApplicationRecord
  # fields: id, username, last_visit_domain
end

class Domain < ApplicationRecord
  # field: id, domain, description
end

users 表：

id	username	last_visit_domain
1	david	twitter.com
2	jacky	facebook.com

domains 表：

id	domain	description
1	twitter.com	推特
2	facebook.com	非死不可

我分别有两个模型，想通过User的last_visit_domain字段关联到Domain的domain，然后得到每个last_visit_domain对应的description。

在不使用 join 的前提下，请问同学们有没有办法利用 eager load 的方法，实现类似下面的效果？

User.all.each do |user|
  puts user.username
  puts user.last_visit_domain
  puts user.domain.description
end

david
twitter.com
推特
jacky
facebook.com
非死不可

(2017.05.15) 找到一个手动 eager load 的方法：

# 首先在取用户列表时，将当前页所有用户的 last_visit_domain 存入一个数组，去重去空
users = User.page(params[:page])
last_visit_domains = users.map(&:last_visit_domain).compact!.uniq!
# 然后根据 last_visit_domains 找到相关的域名记录
# 重点是使用index_by将结果集转成以domain字段为key的hash
domains = Domain.where(domain: last_visit_domains).index_by(&:domain)
# 显示每个用户时
users.each do |user|
  # 找到 last_visit_domain 对应的域名的 description
  puts domains[user.last_visit_domain].description
end

使用 Ruby 的大伙，你们常用的其他程序语言是什么？

wfwdex — Sun, 26 Mar 2017 19:25:38 +0800

除了正在使用或正在学习的 Ruby，大伙正在使用的主力或者非主力程序语言是什么？

截至到 27 楼，做了个统计排序：

JavaScript 9
Golang 6
Java 4
C/C++ 3
Elixir 3
Python 3
Crystal 2
Swift 2
C# 1
Objective-C 1

为什么在 select 里用 sum 查询，而 sum 消失了？

wfwdex — Fri, 17 Mar 2017 12:09:15 +0800

我有一个表 Device：

id	model	platform	quantity
1	iphone7	ios	3
2	iphone5	ios	2
3	xiaomi4	android	2
4	huawei	android	1

我在 model 里加了个 scope 用来做 group 查询：

class Device
   scope :stat, -> { select("model, platform, SUM(quantity) AS total").group("model, platform").order("total DESC") }
end

我在 controller 里调用：

class DevicesController < ApplicationController
  def stat
    @devices = Device.stat
  end
end

但会出现错误：

Mysql2::Error: Unknown column 'total' in 'order clause': SELECT COUNT(*) AS count_all, model, platform AS model_platform FROM devices GROUP BY model, platform ORDER BY total DESC

就是说我的 scope 里的SUM(quantity) AS total消失了。

尝试

在 console 里测试

我用rails console打开，重新调用Device.stat，发现又是正常的。

去掉 order

我把 scope 里的 order 去掉，log 中会输出如下两个信息：

(0.5ms)  SELECT COUNT(*) AS count_all, device_model, platform AS model_platform FROM `device` GROUP BY model, platform

Device Load (0.3ms)  SELECT model, platform, SUM(quantity) AS total FROM `devices` GROUP BY model, platform

感觉问题出在第一条语句上，为什么在 console 里会没有第一条语句，为什么第一条语句里会丢失 sum？

在 Rails 中生成全局唯一 ID 的最佳实践是什么？

wfwdex — Thu, 16 Mar 2017 12:31:15 +0800

目前在做一个系统，数据库是 MySQL，数据是跨机房单向同步的，由节点服务器向主服务器同步数据，需要节点服务器能生成全局唯一 ID。

目前在用的是 uuidtools 这个 gem 生成 uuid。

但生成的 uuid 有点长，而且数据大部分是日志，而且看了这个回复，觉得用 uuid 不妥，这几天想优化一下，找到另外一个方案：

使用 hashids 这个 gem，每个节点服务器不同的 salt，然后再根据生成的 uuid 来生成 id。

但 hashids 依然是生成字符型的，想请教一下有没有生成 bigint 的方法或者更好的方案？

ps: 由于 twitter 的 snowflake 需要另外搭建专用的 id 生成服务器，而节点服务器之间也是跨机房的，所以这个方案对我不适用。

ps: 关闭讨论按钮总是被误点到。

Rails API Only 模式下，怎么为 jbuilder 写 helper 方法？

wfwdex — Thu, 29 Sep 2016 16:58:20 +0800

在完整的 Rails 下，可以为 views 写 helper 方法，在 API Only 模式下，除了在 lib 里写，还有别的更好的方法吗？

关于前后端分离项目的 Token 存储问题

wfwdex — Thu, 22 Sep 2016 09:19:27 +0800

目前在做一个前后端分离的项目，后端是 Rails5 API only，前端是用 vue.js，这是我第一次做，而且 vue.js 也是边学边做。

在做认证的时候，我通过用户名 + 密码登录并获取服务端的 token，这时候我面临两个选择来存储这个 token。

将 token 存在 cookie 里，为了防止 xss 攻击，最好要给 cookie 加上 httponly，而 Rails5 我用的是 API only 模式，不支持服务器下发 SET-COOKIE header
将 token 存在 localStorage 中，但这样没办法防止 xss 攻击

请问大家一般是怎么解决这个问题的？有没有最佳实践？

有没有可能两个 Rails 之间通过 RESTful 的 API 进行通信？

wfwdex — Tue, 20 Sep 2016 20:34:09 +0800

一个 rails app 只用来提供 API 另一个 rails 用来呈现和操作数据

使用 vue 或 react 有一些学习成本，有没有相关的解决方案或者 Gems？

2016-11-24
发现个阿里的开源实现 https://github.com/alibaba/otter 目前正在研究这个

2016-12-14
又发现个商业软件，是用来远程同步数据库的 http://www.pervasync.com/ ，支持子集同步，差异冲突处理，断线重连等。