a-wing

一篇超水的 Rails ActiveStorage 源码解读 (后端部分)

a-wing — Wed, 26 Sep 2018 17:53:14 +0800

源地址：https://a-wing.top/ruby/2018/09/26/rails_activestorage_backend.html

ActiveStorage 是 Rails 5.2 的一个新特性，建议你先去读完官方的文档再回看来这个

https://guides.rubyonrails.org/active_storage_overview.html

▾ activestorage-5.2.1/
  ▾ app/
    ▸ assets/javascripts/
    ▾ controllers/
      ▸ active_storage/
      ▸ concerns/active_storage/
    ▸ javascript/activestorage/
    ▾ jobs/active_storage/
        analyze_job.rb
        base_job.rb
        purge_job.rb
    ▾ models/active_storage/
      ▾ blob/
          analyzable.rb
          identifiable.rb
          representable.rb
      ▸ filename/
        attachment.rb
        blob.rb
        current.rb
        filename.rb
        preview.rb
        variant.rb
        variation.rb
  ▾ config/
      routes.rb
  ▾ db/migrate/
      20170806125915_create_active_storage_tables.rb
  ▾ lib/
    ▾ active_storage/
      ▾ analyzer/
          image_analyzer.rb
          null_analyzer.rb
          video_analyzer.rb
      ▾ attached/
          macros.rb
          many.rb
          one.rb
      ▾ previewer/
          mupdf_previewer.rb
          poppler_pdf_previewer.rb
          video_previewer.rb
      ▾ service/
          azure_storage_service.rb
          configurator.rb
          disk_service.rb
          gcs_service.rb
          mirror_service.rb
          s3_service.rb
        analyzer.rb
        attached.rb
        downloading.rb
        engine.rb
        errors.rb
        gem_version.rb
        log_subscriber.rb
        previewer.rb
        service.rb
        version.rb
    ▾ tasks/
        activestorage.rake
      active_storage.rb
    CHANGELOG.md
    MIT-LICENSE
    README.md

数据结构

先看 db/migrate/20170806125915_create_active_storage_tables.rb

我们能看到两张表，其中一张表储存的是文件信息。。en，en 文件的基本信息

另一张表是储存文件的对象信息

active_storage_blobs

这个表储存了所有文件的基本信息，我们可以看到这个表只有 created_at ，因为这张表被设计成只能添加和删除。

key 是文件唯一的索引。 Disk service 默认把文件放在 storage 目录下，然后建立了以key值开头两位命名的两个目录。。。。有点绕）

就像这样，来解决大量文件的查找问题：storage/qS/gY/qSgYgMNvwQNzpvBsx91QHQwW

rsd_development=# SELECT * FROM active_storage_blobs;                                                                                                                                                                                         
 id |           key            |  filename  |       content_type       |              metadata               | byte_size |         checksum         |         created_at                                                                      
----+--------------------------+------------+--------------------------+-------------------------------------+-----------+--------------------------+----------------------------                                                             
  4 | mjqZCsJTxwiaiPGzNUraGJ1o | a2         | application/octet-stream | {"identified":true,"analyzed":true} |         5 | vM3NT8ob8+i6vRUFujxB1g== | 2018-09-18 06:27:57.738182                                                           
 10 | gx855a8F8TqQgk53tPGAdyN1 | 1536642794 | application/octet-stream | {"identified":true,"analyzed":true} |      1412 | 7JRyTuP0rvD28H0ydVwfWg== | 2018-09-20 07:08:49.485237                                                              
 11 | qSgYgMNvwQNzpvBsx91QHQwW | a2         | application/octet-stream | {"identified":true,"analyzed":true} |         5 | vM3NT8ob8+i6vRUFujxB1g== | 2018-09-20 10:08:36.673785                                                              
 13 | gEVVuvBmrYE6CKCYePMATUv9 | version    | application/octet-stream | {"identified":true,"analyzed":true} |         6 | 7nv1yrmgG0DBXNusnpSfWA== | 2018-09-25 07:52:44.81699

active_storage_attachments

rsd_development=# SELECT * FROM active_storage_attachments;
 id | name | record_type | record_id | blob_id |         created_at
----+------+-------------+-----------+---------+----------------------------
  4 | file | Plan        |         3 |       4 | 2018-09-18 06:27:57.742653
 11 | file | Plan        |         2 |      10 | 2018-09-20 07:08:49.489101
 12 | file | Plan        |         1 |      11 | 2018-09-20 10:08:36.677669
 14 | map  | MissionLog  |         1 |      13 | 2018-09-25 07:52:44.820024

这张表是通过对象名和属性名和对象id来绑定文件的。。。如果你改了。类名。。那就呵呵了

不同的attachments是可以指定同一个blobs的，但是更新blobs只有一个会更新（应该是删了重建）。。。

这里应该算个坑 blobs在删除时并不会检测attachments里是否有包含这个blobs(我不知道他为什么这么实现啊。喵) 咱觉得这应该算 bug。。。或者每次检查开销太大？留给开发者自己解决？

云存储 `lib/active_storage/service/`

这里面除了 local 和 mirrors 默认还集成了 Amazon S3 Service，Microsoft Azure Storage Service，Google Cloud Storage Service 服务，当然还要引入对应的 SDK

active_storage 和 active_job 一样，只是提供一个中间层。具体还要引入对应云服务的 sdk

大概是这样： active_storage -> active_storage_云服务 -> 云服务 SDK

国内的可以用 upyun，qiniu, aliyun 都有 gem 可以直接用

attached 附件

这里面有三个文件，有个叫macros 值得一看，在注释里说了关于 has_one_attached 和 has_many_attached 的 N+1 查询问题的解决办法

我来抄段源码：

class User < ActiveRecord::Base
  has_one_attached :avatar
end

# There is no column defined on the model side, Active Storage takes # care of the mapping between your records and the attachment. # # To avoid N+1 queries, you can include the attached blobs in your query like so:

User.with_attached_avatar

class Gallery < ActiveRecord::Base
  has_many_attached :photos
end

# There are no columns defined on the model side, Active Storage takes # care of the mapping between your records and the attachments. # # To avoid N+1 queries, you can include the attached blobs in your query like so:

Gallery.where(user: Current.user).with_attached_photos

其他

然后就是一些分析啊，预览啊之类的功能。。。没啥说的。。。

activestorage 文件存储的理解

activestorage 把 Disk service 也当作云盘来处理，因此不会有 .path之类的获取路径的方法。所有的获取文件都是通过.download方法来实现的，如果要传路径，就先存在一个 tmp 的目录中

还有我觉得官方的文档 .download 的那个方法的用法太有误导性。只要在 rails 获取文件对象就要用.download来获取（我当时以为是用户给 url, 然后后台下载。。。。）

后端部分可以拿出来单独用。。。前端部分我还没仔细研究。。不清楚。。。但是他的开发者发了 npm 的包。前后端分离项目用 activestorage 好像也不是什么难事。。enen。大概不是很难

[折腾向] 使用 systemd 来管理你的 Rails 应用

a-wing — Tue, 11 Sep 2018 11:25:24 +0800

原文地址： https://a-wing.top/ruby/2018/09/10/systemd_rails.html

这篇文章属于没什么卵用系列

我并不喜欢 capistrano

众所周知 rails 的项目启动用 RAILS_ENV=production bundle exec rails server -p 3000 -d

如果服务器经常重启。。最简单的办法：那我们就要把这条命令放在 /etc/rc.local 里 (目前 deb 系的发行版是保留的。本质上是用 systemd 来执行这里的命令)。。。

不过目前。大部分 Linux Distribution 都是 systemd 来启动的（gentoo 除外。gentoo 默认是 openrc，可以换成 systemd）

在改之前。我们先把 rails 监听的端口换成 unix sock

sed -i 's#port        ENV.fetch("PORT") { 3000 }#bind        "unix://\#{Rails.root}/tmp/sockets/puma.sock"#g' config/puma.rb

例如我的项目叫 kiss2u 大概是这样：

$ cat ~/.config/systemd/user/kiss2u.service

[Unit]
Description=KISS2U Puma application server
After=network.target

[Service]
WorkingDirectory=/home/a-wing/.srv/KISS2U
PIDFile=/home/a-wing/.srv/KISS2U/tmp/pids/puma.pid
ExecStart=/usr/bin/sh /home/a-wing/.srv/KISS2U/run.sh

[Install]
WantedBy=default.target

没错。这个是用户级 systemd

但由于 systemd 要写绝对路径。。但我可不想手动改 QAQ

然后我们定义一个 template，就像这样。定义几个标签

$ cat config/kiss2u.service.template
[Unit]
Description=KISS2U Puma application server
After=network.target

[Service]
WorkingDirectory=<DIR>
Environment=RAILS_ENV=production
PIDFile=<DIR>/tmp/pids/puma.pid
ExecStart=<BUNDLE> exec rails server

[Install]
WantedBy=default.target

在 bin 目录下创建生成真正的 systemd 的配置文件 bin/generate_service.sh

当然我们是要新建一个用户来跑的。不然 generate_service.sh 就没意义了

#!/bin/bash

SYSTEMD=kiss2u.service

cp config/${SYSTEMD}.template ${SYSTEMD}
sed -i s#\<DIR\>#`pwd`#g ${SYSTEMD}
sed -i s#\<BUNDLE\>#`which bundle`#g ${SYSTEMD}


echo "Install ~/.config/systemd/user/${SYSTEMD}"
echo "Please Run: systemctl --user start ${SYSTEMD}"

install ${SYSTEMD} -D ~/.config/systemd/user/${SYSTEMD}
rm ${SYSTEMD}

然后来使用 systemctl --user start kiss2u 就可以启动了

要开机启动的话 systemctl --user enable kiss2u 就可以

不过。这么做仍然有问题

我在 rbenv 下测试是好使的。。。在有些环境下就会出现启动不了的情况。我也不知道是为什么啊 QAQ

如果你启动出问题请更改 ExecStart=

解决办法：兼容性最好ExecStart= 来启动一段 shell 脚本。在 shell 脚本里加载必要的变量

source ./config.sh

echo RAILS_ENV=${RAILS_ENV}
ruby -v

if test -e tmp/pids/server.pid
then
  echo 'Restarting'
  kill `cat tmp/pids/server.pid`
else
  echo 'Starting'
fi

bundle install --path vendor/bundle
bundle exec rake db:migrate
bundle exec rails server -p ${PORT} -d

类似这样。。。好吧。我承认这很不优雅。。。不过兼容性最好。。

对了 kiss2u 是开源项目，你可以直接去看源代码 <-----自买自夸

https://github.com/a-wing/KISS2U

参考文章：

[闲聊] [吹水] 如果让你去面试 Ruby 的应聘者，你会问什么问题？

a-wing — Sat, 25 Aug 2018 10:19:30 +0800

我可能会问动态指派，幽灵方法之类的

或者 Rails 各模块

《《----我就是个渣渣。

有人会问算法吗？

rails 关于 send_file 方法

a-wing — Fri, 25 May 2018 13:33:35 +0800

开发环境下正常

Sent file public/plans/1523708711 (1.3ms)

到产品环境下就报错

ActionController::MissingFile (Cannot read file public/plans/1524803824):

可能和这个地方有关。。还是必须用 NGINX 之类的设置服务目录。。。（下载文件这个功能用的少。我不需要优化啊？）


# Disable serving static files from the `/public` folder by default since
  # Apache or NGINX already handles this.
  config.public_file_server.enabled = ENV['RAILS_SERVE_STATIC_FILES'].present?

  # Specifies the header that your server uses for sending files.
  # config.action_dispatch.x_sendfile_header = 'X-Sendfile' # for Apache
  # config.action_dispatch.x_sendfile_header = 'X-Accel-Redirect' # for NGINX

关于 ruby 程序 Ctrl-C

a-wing — Thu, 17 May 2018 16:39:34 +0800

在进程结束之前要执行一个函数

有没有结束之前的钩子函数之类的东西？

还是只能捕获 Ctrl-C 信号，来运行函数之后退出？

ruby 如果要捕获 Ctrl-C 信号，要用哪个模块？

如何优雅的在 rails 动态的添加表单项目

a-wing — Sat, 28 Apr 2018 16:46:43 +0800

比如我有个表单

name
item
- 1
- 2

点一下按钮添加在 item 里添加（减少）一项。

第一反应是用 JavaScript 不过感觉里面写一坨 JavaScript 感觉好不优雅。。。。

目前在按钮里添加一个路由连接传递一个参数，重新渲染这个页面来实现的

有没有什么优雅的写法？

关于在 rails 库里使用 ruby gem 该怎么配置

a-wing — Mon, 26 Mar 2018 21:36:57 +0800

我说的是这个库原本是 ruby 的。我想在 rails 里使用

我用的是 net-ssh

应该在 rails 初始化时 require 'net/scp'。在 rails 框架中应该写在那？

我尝试写在 boot.rb 里。然后处理 rails server 之外的都不好使了。。。。

分享__水。。从开发到上线 Rails 项目自动部署

a-wing — Tue, 13 Mar 2018 21:27:49 +0800

一个项目从开发到上线。该记录点什么。

大概在几个月前开始开发一个管理系统，中间为了练手又写了个开源程序 RailsGun

我觉得值得记录的就是从 push 之后的自动化流程了

私有项目也在 github

1.push 提交代码触发 github webhook
2.jenkins 跑持续集成，跑测试单元（公司项目用 jenkins。练手项目用 travis-ci.org。开源项目用 org 结尾的域名。闭源项目用 com 结尾的域名）
3.自动升级部署脚本

github 触发没啥说的。github 有 jenkins 应用插件

jenkins

jenkins 要装 github 插件。接收 github 的触发 hook

当然检测发布分支

为 jenkins 服务器单独添加 deploy keys. 把公钥传给 github 以确保可以 clone 代码

jenkins 有 rvm 插件。ruby 环境就变得很容易了。（刚开始不知道 rvm，手动配环境。终于明白 rvm 有多复杂了。手动配建议用 rbenv）

rails test 我知道我测试单元写的很烂。。对集成测试单元测试的理解还不够

自动部署。（这里是重头戏）

先上代码：

#!/bin/bash
export RAILS_ENV=production
export POSTGRESQL_DATABASE_PASSWORD=97b841a29f151ed58e64c
export SECRET_KEY_BASE=97b841a29f151ed58e64cc2d7aa6c666360a8a470fde108fec2aff7ed103db38ecbaa85a533bd39890b3f83adcb0000274a7e6b3fc36b9b0830dc30b97a2818d


export PATH="$HOME/.rbenv/bin:$PATH:$HOME/.rbenv/shims"

echo $RAILS_ENV
pwd
ruby -v

cd 程序路径/
pwd

if test -e tmp/pids/server.pid
then
    echo 'Restarting'
    kill `cat tmp/pids/server.pid`
else
    echo 'Starting'
fi

bundle install
rake db:migrate
rails assets:precompile
rails server -d

每次覆盖代码运行这个脚本

原理：

程序执行之后会创建./tmp/pids/server.pid 文件。并把 pid 写入里面

我在测试的时候加了这段代码，不然会找不到编译后的 js 和 css

sed -i 's/config.assets.compile = false/config.assets.compile = true/g' config/environments/production.rb

我不太理解 rails 这个默认参数。以后有待补充

摘自个人博客 https://a-wing.top/ruby/2018/03/13/rails_production_deployment.html

求各位大佬轻点喷

如果觉得我的思路有问题请一定要指出，感谢

type 好像是保留字段，但前端用了 type 字段该怎么办

a-wing — Fri, 09 Feb 2018 11:46:21 +0800

要在控制器里做一层转换？？

前后分离，前端提交的 json 里有 type 字段

返回的数据也要有 type 字段。。。。。

怎么把这么常用的字段保留。。。。。。

萌新问题，关于 ActiveRecord

a-wing — Wed, 31 Jan 2018 21:15:17 +0800

@nodes = Node.select(......................

render json: @nodes

然后我想在@nodes里加一个字段比如：

@nodes.video = "aaa"

该怎么写？？？

反正就是这个意思，不知道有没有表达清楚

我知道在 ruby 里 @nodes 是作为 ActiveRecord 的对象的

还是应该先把对象转换成散列，再赋值那？

Rails 命令自动补全

a-wing — Sat, 03 Jun 2017 18:57:19 +0800

大神勿喷。rails 自动补全我找了好久的资料，最后折腾找出来了一套办法

先介绍我的系统 archlinux 还是要说 arch 大法好

bash 下有补全脚本，但很久不更新了

所以采用 zsh 和 oh-my-zsh 的插件

还是以通用的发型版 debian 为例吧

apt-get update && apt-get install zsh
chsh
sh -c "$(wget https://raw.githubusercontent.com/robbyrussell/oh-my-zsh/master/tools/install.sh -O -)"

然后编辑~/.zshrc 来启用插件

vim ~/.zshrc

修改这句来启用插件

plugins=(git bower gem bundler ruby rake rails)

然后就可以自动补全命令了