SpiderEvgn (Aaron)

如何给 ActiveStorage 文件加 header？

SpiderEvgn — Sun, 23 Aug 2020 22:00:05 +0800

如题，我用 ActiveStorage 上传了一张图片，然后用 rails_blob_path 方法获取 url，请教如何设置该图片的 header？比如缓存？

has_many :through 居然不能识别变形复数

SpiderEvgn — Sat, 16 May 2020 18:38:45 +0800

发现一个很 2b 的问题。

Rails 官网给 has_many :through 举的例子如下：

class Physician < ApplicationRecord
  has_many :appointments
  has_many :patients, through: :appointments
end

class Appointment < ApplicationRecord
  belongs_to :physician
  belongs_to :patient
end

class Patient < ApplicationRecord
  has_many :appointments
  has_many :physicians, through: :appointments
end

如果把 model 名字改成单复数需要变形的单词就报错了，必须加上 source 指明 model 原单数名称，比如：

class Person < ApplicationRecord
  has_many :bars
  has_many :foos, through: :bars
end

class Bar < ApplicationRecord
  belongs_to :person
  belongs_to :foo
end

class Foo < ApplicationRecord
  has_many :bars
  has_many :people, through: :bars, source: 'person'
end

如果不加这个 source: 'person'，在查询 @foo.people 时就会报 ActiveRecord::HasManyThroughSourceAssociationNotFoundError 的错误

不踩 N+1 获取多对多中间表字段

SpiderEvgn — Tue, 03 Mar 2020 18:21:54 +0800

0. 引言

分享一个关于获取多对多中间表字段的方法，关键是如何避免 N+1，接受大家指正，欢迎哪位大神有更好的办法赐教。

1. 模型关联

class User < ApplicationRecord
  has_many :topic_users
  has_many :topics, through: :topic_users
end

class TopicUser < ApplicationRecord
  belongs_to :user
  belongs_to :topic
end

class Topic < ApplicationRecord
  has_many :topic_users
  has_many :users, through: :topic_users
end

2. 查询

目的是在页面上输出 user 拥有的所有 topic 名称和分配的时间，即中间表 topic_users 的 created_at

我一开始的思路是，因为要输出的是 topic 名称列表，所以就得获取到 @topics：

# controller:
@topics = @user.topics

# view:
<% @topics.each do |topic| %>
  <%= topic.name %>
  <%= topic.... %>      #  想办法再获取到中间表对应的 created_at
<% end %>

然后是如何获取到中间表的字段？那无非就再通过关联查出来嘛，于是我在中间表写了个 scope 简化一下过程：

class TopicUser < ApplicationRecord
  belongs_to :user
  belongs_to :topic

  # 这里不管用 with_user 还反过来 with_topic 效果是一样的
  scope :with_user, ->(user_id) { where(user_id: user_id) }
end

# view:
<% @topics.each do |topic| %>
  <%= topic.name %>
  <%= topic.topic_users.with_user(@user.id).first.created_at %>      # 关联关系是唯一的，就直接用 first 了
<% end %>

页面输出没有问题，到此看似一切 OK。

3. N + 1 问题出现了

回过头一看控制台日志：

Topic Load (0.5ms)  SELECT "topics".* FROM "topics" INNER JOIN "topic_users" ON "topics"."id" = "topic_users"."topic_id" WHERE "topic_users"."user_id" = $1  [["user_id", 1]]

TopicUser Load (0.5ms)  SELECT "topic_users".* FROM "topic_users" WHERE "topic_users"."user_id" = $1 AND "topic_users"."topic_id" = $2 ORDER BY "topic_users"."id" ASC LIMIT $3  [["user_id", 1], ["topic_id", 1], ["LIMIT", 1]]

TopicUser Load (0.5ms)  SELECT "topic_users".* FROM "topic_users" WHERE "topic_users"."user_id" = $1 AND "topic_users"."topic_id" = $2 ORDER BY "topic_users"."id" ASC LIMIT $3  [["user_id", 1], ["topic_id", 2], ["LIMIT", 1]]

TopicUser Load (0.6ms)  SELECT "topic_users".* FROM "topic_users" WHERE "topic_users"."user_id" = $1 AND "topic_users"."topic_id" = $2 ORDER BY "topic_users"."id" ASC LIMIT $3  [["user_id", 1], ["topic_id", 3], ["LIMIT", 1]]

于是我本能地去加 includes：

# controller
@topics = @user.topics.includes(:topic_users)

# console
Topic Load (0.5ms)  SELECT "topics".* FROM "topics" INNER JOIN "topic_users" ON "topics"."id" = "topic_users"."topic_id" WHERE "topic_users"."user_id" = $1  [["user_id", 1]]

TopicUser Load (0.7ms)  SELECT "topic_users".* FROM "topic_users" WHERE "topic_users"."topic_id" IN ($1, $2, $3)  [["topic_id", 1], ["topic_id", 2], ["topic_id", 3]]

TopicUser Load (0.5ms)  SELECT "topic_users".* FROM "topic_users" WHERE "topic_users"."topic_id" = $1 AND "topic_users"."user_id" = $2 ORDER BY "topic_users"."id" ASC LIMIT $3  [["topic_id", 1], ["user_id", 1], ["LIMIT", 1]]

TopicUser Load (0.6ms)  SELECT "topic_users".* FROM "topic_users" WHERE "topic_users"."topic_id" = $1 AND "topic_users"."user_id" = $2 ORDER BY "topic_users"."id" ASC LIMIT $3  [["topic_id", 2], ["user_id", 1], ["LIMIT", 1]]

TopicUser Load (0.5ms)  SELECT "topic_users".* FROM "topic_users" WHERE "topic_users"."topic_id" = $1 AND "topic_users"."user_id" = $2 ORDER BY "topic_users"."id" ASC LIMIT $3  [["topic_id", 3], ["user_id", 1], ["LIMIT", 1]]

结果却很可笑地白白增加了一条查询，颠来倒去尝试了各种查询联结方式都不行。因为中间表的字段获取是在 @topics 循环中执行的，所以无论如何都会出现这个问题。

4. 换个角度，循环中间表实例

观察 sql，因为 user 不变，我想要的无非就是一个 user_id = $1 AND topic_id IN [...] 而已，既然 @topics 无论如何都做不到，而且它的循环还是导致问题的原因，那何不直接从中间表出发试试？

于是更改如下：

# controller
@topic_users = @user.topic_users.includes(:topic)

# view:
<% @topic_users.each do |topic_user| %>
  <%= topic_user.topic.name %>
  <%= topic_user.created_at %>
<% end %>

终于，console 给出了满意的结果：

TopicUser Load (0.6ms)  SELECT "topic_users".* FROM "topic_users" WHERE "topic_users"."user_id" = $1 [["user_id", 1]]

Topic Load (0.6ms)  SELECT "topics".* FROM "topics" WHERE "topics"."id" IN ($1, $2, $3)  [["id", 1], ["id", 2], ["id", 3]]

[已解决] custom validator 在 model 保存后报错

SpiderEvgn — Mon, 24 Feb 2020 13:26:17 +0800

Rails 版本 6.0.1

user.rb

class DateValidator < ActiveModel::EachValidator
  def validate_each(record, attribute, value)
    rawValue = record.send(attribute.to_s + '_before_type_cast')

    if (Date.parse(rawValue) rescue ArgumentError) == ArgumentError
      record.errors.add attribute, :data_error
    end

  end
end

class User < ApplicationRecord
  validates :date_of_birth, date: true
end

rails console:

irb(main):001:0> user = User.new date_of_birth: '2020-02-02'
irb(main):002:0> user.valid?
=> true
irb(main):003:0> user.save
   (0.2ms)  BEGIN
  User Create (0.3ms)  INSERT INTO "users" ("date_of_birth") VALUES ($1, $2, $3) RETURNING "id"  [["date_of_birth", "2020-02-02"], ["created_at", "2020-02-24 05:12:27.657736"], ["updated_at", "2020-02-24 05:12:27.657736"]]
   (0.9ms)  COMMIT
=> true
irb(main):004:0> user.valid?
=> false
irb(main):005:0> user.errors
=> #<ActiveModel::Errors:0x00005606b0872eb0 @base=#<User id: 1, date_of_birth: "2020-02-02", created_at: "2020-02-24 05:12:27", updated_at: "2020-02-24 05:12:27">, @messages={:date_of_birth=>["日期有误"]}, @details={:date_of_birth=>[{:error=>:data_error}]}>

谁知道到底哪里出了问题？

ActionCable 编译报错

SpiderEvgn — Fri, 10 Jan 2020 16:04:30 +0800

ActionCable 在本地开发环境跑没有任何问题，但是在生产上编译好发布后就出现如下报错：

生产用的是 Nginx + Docker 只做了最简单的代理用来测试，前端用 Rails 自带的 webpacker 打包，编译命令是：

docker-compose run --rm web rails assets:precompile

有人知道这是怎么回事吗？

如何往 yaml 文件写引号？

SpiderEvgn — Wed, 06 Nov 2019 22:40:04 +0800

0. 背景

用 python 的 pyyaml 包写一个 yaml 文件的自动化生成脚本，文件的创建命令是 yaml.dump

1. 问题一

默认的生成方式是不带引号的：

root:
  object1: name1
  object2:
  - list1
  - list2

但我需要字段加上引号：

root:
  'object1': 'name1'
  'object2':
  - 'list1'
  - 'list2'

求教如何实现？

2. 问题二

默认的数组是没有缩进的：

root:
  object1: name1
  object2:
  - list1
  - list2

但我需要对数组'-'缩进：

root:
  object1: name1
  object2:
    - list1
    - list2

求教如何实现？

RSpec 在 Rails 6 上有坑

SpiderEvgn — Tue, 27 Aug 2019 11:44:06 +0800

我在 Rails6 上用 rspec 测试一个基础的 controller action 遇到如下错误：

Failures:

  1) HomeController GET index render index
     Failure/Error: get :index

     ActionView::Template::Error:
       wrong number of arguments (given 2, expected 1)
     # ./spec/controllers/home_controller_spec.rb:8:in `block (3 levels) in <top (required)>'
     # ------------------
     # --- Caused by: ---
     # ArgumentError:
     #   wrong number of arguments (given 2, expected 1)
     #   ./spec/controllers/home_controller_spec.rb:8:in `block (3 levels) in <top (required)>'

Finished in 0.04047 seconds (files took 7.62 seconds to load)
1 example, 1 failure

代码如下：

# app/controllers/home_controller.rb
class HomeController < ApplicationController

  def index
  end

end

# config/routes.rb
root to: 'home#index'

# spec/controllers/home_controller_spec.rb
require 'rails_helper'

RSpec.describe HomeController, type: :controller do
  describe "GET index" do
    it "response successfully" do
      get :index
      expect(response.status).to eq(200)
    end
  end
end

废了半天劲最后找到这篇文章：https://cloud.tencent.com/developer/ask/211674 然后把 Gemfile 改成 gem 'rspec-rails', github: 'rspec/rspec-rails', branch: '4-0-dev' 解决了问题。

坑！

在 Mac 上快速启用 docker-sync 优化文件同步速度 [附简要原理介绍]

SpiderEvgn — Mon, 05 Aug 2019 12:09:49 +0800

引言

相信所有在 Mac 上使用 Docker 的人都有过这个感受，就是速度总比直接部署到 OS 上要慢很多。一个很重要的因素就是 Docker container 对共享文件的读写太慢，前几天研究了一下 docker-sync，它可以大大加快这个 volume I/O 过程，在此总结一下用法和心得，希望能帮到那些想快速无脑启用 docker-sync 的开发者。（docker-sync 同样试用于 Windows，但我并未测试，用 Windows 的同学有兴趣可以留言，谢谢）

效果

先通过一个粗略、直观的测试来看看部署 docker-sync 后的效果。

选取两个页面，分别在使用 docker-sync 之前和之后各执行一次。

页面一

之前：

之后：

页面二

之前：

之后：

可以看到，速度的提升效果还是很明显的，能减少大约 3-5 倍的时间。

用法

docker-sync 的用法其实很简单，只需要三步：安装 gem、配置 yml、启动。

1. 安装 gem

gem install docker-sync

2. 配置 yml

在项目根目录下，创建 docker-sync.yml，内容如下：

version: '2'

syncs:
  [volume-name]:    # 自定义，将作为同步数据的 volume
    src: './'

然后更改 docker-compose.yml，用新的 volume 替代原来的同步方式。原本你的 volume 可能类似如下：

volumes:  
  - .:/app       # 将项目根目录所有文件同步到 container 中的 /app 文件夹

修改后如下：

services:
  web:
    ...
    volumes:
      - [volume-name]:/app:nocopy      


volumes:
  [volume-name]:          # docker-sync.yml 中自定义的名字
    external: true

3. 启动

在项目根目录下，先启动 docker-sync:

docker-sync start

第一次启动会自动下载一个 eugenmayer/unison 的 docker image，以后便会直接启动一个 unison 的 container。

如果想深入配置 docker-sync.yml，可以看docker-sync 官网。实用主义者看到这就可以了。如果想进一步了解 docker-sync 的原理，它到底做了什么，请继续往下读。

原理

在 Sierra 及以下版本的 macOS 默认用的文件系统是 HFS+，High Sierra 用的是 APFS。Docker Desktop for Mac 用一个叫 osxfs 的共享文件系统来实现 macOS 到 Docker containers 的文件系统绑定挂载。影响一个共享文件系统性能的因素有很多方面，比如 osxfs 集成了 macOS 的 FSEvents API 到 Linux 的 inotify API 之间的映射，还有一些诸如缓存的更加复杂的维度。

简而言之，由于操作系统之间不同文件系统的差异，共享文件系统的数据同步性能有着很大的不确定性。所以，docker-sync 的主要目的就是如何最大限度地弥补这个差异，优化共享文件系统的数据同步过程。先来看下图，来自 docker-sync 官方文档：

可以看到，docker-sync 主要做了以下几步：

用 osxfs 挂载本地目录到 sync-container 的 /host_sync
用 Unison（文件同步工具）建立一个双向同步机制，同步 /host_sync 和 /app_sync
通过 Docker Volume 的方式，将 /app_sync 挂载到 app-container 的 /app

经过这样一层转换（新建一个 sync-container 优化数据同步），docker-sync 完成了如下几个目的：

因为采用 Unison，所以 /host_sync 到 /app_sync 的同步是 native-speed 的，没有了原本的因为不同文件系统带来的性能影响
通过 Docker Volume 来挂载 /app_sync 到 app-container，这一步是 hyperkit 层的，用的是 Docker LINUX-based 的原生挂载方式，所以也大大减小了对性能的影响（同样是 native-speed）。

其实，最关键的一步就是在 sync-container 中的 /host_sync 到 /app_sync 的同步过程，通过 Unison，osxfs 对性能的影响被从文件系统的读/写中剥离了，Unison 用远比 osxfs 快得多的技术完成了 macOS 到 Docker container 的数据同步。至于 Unison 究竟是如果做到高效跨平台文件同步的，就留给更专业的大佬解读了。

结语

如果你用 Mac，如果你又依赖 Docker 管理环境依赖，那 docker-sync 真是一个必不可少的绝佳工具。尽管需要在主机上安装一个 gem（当然还有其它几个依赖 gem），但也只需要安装一个 gem，没有任何其它系统层的依赖，也不需要跑任何多余进程，通过一个 Unison 的 Docker container，docker-sync 就完美地帮你实现了 3-5 倍的性能提升。