chriszou (Chris)

BitBar 使用 Ruby 脚本，解决无法使用 Gem 的问题，以及读写文件路径存在空格的问题

chriszou — Mon, 03 May 2021 17:45:38 +0800

BitBar(现改名为 xbar) 是一个开源的 Mac 小工具，它可以把任何东西放到 MacOS 的状态栏上面，我现在一般用它来做 TODO list。如下图所示

不过，刚开始使用的时候，遇到这个一个问题，就是无法使用 gem，因为 BitBar 默认使用的 ruby 版本是系统版本，而我通常使用 rvm。翻了 BitBar 的 github issues 之后，找到这样一个解决办法：

#!/usr/bin/env ruby

unless ENV['USING_RVM']
  # Re-run this script with RVM's default Ruby, after setting up the RVM path,
  # and setting USING_RVM to true, so that this sentry code won't run the second
  # time through.
  system(
    <<-EOF
      export USING_RVM=true
      export PATH="~/.rvm/bin:$PATH"
      rvm-auto-ruby #{File.expand_path(__FILE__)}
    EOF
  )
  # Return the exit code from running the script with RVM:
  exit $?.exitstatus.to_i
end

require 'faraday' # 可以正常使用Gem了
# 以下正常写你的脚本代码

不过，由于我的这个 script 文件是放在 iCloud 目录下的，具体路径是 /Users/myusername/Library/Mobile Documents/com~apple~CloudDocs/apps/BitBarPlugins，可以看到，中间有一个空格，于是，在代码运行到

rvm-auto-ruby #{File.expand_path(__FILE__)}

这一行的时候，遇到这样的错误提示：

Traceback (most recent call last):
ruby: No such file or directory -- /Users/myusername/Library/Mobile (LoadError)

解决办法是： require 'shellwords' 然后

rvm-auto-ruby #{File.expand_path(__FILE__)}

改成

rvm-auto-ruby #{File.expand_path(__FILE__.shellescape)} # __FILE__后面加了 .shellescape

这样，就解决了这个问题。

原文链接：https://chriszou.com/2021/05/03/bitbar-ruby-script-gem-shellwords/

Rails 6.1 升级记录

chriszou — Tue, 15 Dec 2020 13:37:26 +0800

时隔一年半，期待已久的 Rails 6.1 终于发布了。趁着双休，给 GeekWeibo 从 Rails6.0 升级到了 6.1。升级主要有三步。

一、升级 Gemfile 里面各个 gem 的版本

为了避免一些 gem 版本的不兼容，我先本地gem install rails把系统的 rails 版本升级到 6.1。然后使用 rails new demo61 创建了一个新 app 叫 demo61。接着对比 demo61/Gemfile 和 geekweibo/Gemfile 里面各个 gem 的版本号，相应的升级一下版本号。主要 diff 如下：

然后执行 bundle update。

二、执行 rails app:update

前几天才知道原来还有 rails app:update这个命令，用于 app 升级。执行一下，按照提示，相应的覆盖或忽略一些文件更新。执行完了之后，很多 bin 文件和 config 文件都更新了。同时会生成两个新的 active_storage 的 migration file。一个是给 active_storage_blobs table 新增了一个 service_name column：

# This migration comes from active_storage (originally 20190112182829)
class AddServiceNameToActiveStorageBlobs < ActiveRecord::Migration[6.0]
  def up
    unless column_exists?(:active_storage_blobs, :service_name)
      add_column :active_storage_blobs, :service_name, :string

      if configured_service = ActiveStorage::Blob.service.name
        ActiveStorage::Blob.unscoped.update_all(service_name: configured_service)
      end

      change_column :active_storage_blobs, :service_name, :string, null: false
    end
  end

  def down
    remove_column :active_storage_blobs, :service_name
  end
end

另外一个是新增了一个active_storage_variant_records table

# This migration comes from active_storage (originally 20191206030411)
class CreateActiveStorageVariantRecords < ActiveRecord::Migration[6.0]
  def change
    create_table :active_storage_variant_records do |t|
      t.belongs_to :blob, null: false, index: false, type: :uuid
      t.string :variation_digest, null: false

      t.index %i[ blob_id variation_digest ], name: "index_active_storage_variant_records_uniqueness", unique: true
      t.foreign_key :active_storage_blobs, column: :blob_id
    end
  end
end

接着执行 rails db:migrate，一切正常。

三、使用 systemd 管理 puma 进程

我的项目是使用 capistrano 来部署的。执行完前面的两个步骤，本地试运行，解决掉一个 gem 的兼容性问题（后面会提到）之后。执行cap production deploy之后，提示没有 cap production puma:restart这个 task。一番 google 之后，发现原来是 puma 5 把 daemon 启动模式去掉了。相应的 capistrano3-puma 5.0 之后的版本，默认的 task 里面也自然没有这个启动模式了。解决办法是使用systemd、monit、pm2这些第三方的 process monitor/manager。我因为不想折腾，所以采用linux（或者说ubuntu）自带的systemd。

在 Capfile 里面新增一行

# 在install_plugin Capistrano::Puma 之后
install_plugin Capistrano::Puma::Systemd

然后执行

cap puma:systemd:config    # 会生成一个systemd unit文件，并上传到服务器的/etc/systemd/system/文件夹下面。
cap puma:systemd:enable    # Enable上一步上传的service

然后再执行 cap production puma:restart，这个命令会在服务器上面会执行sudo systemctl restart puma这时候提示报错了，说 systemd 的 service unit 里面，ExecStart 的命令格式有问题。我查看了一下，发现生成的 unit 文件里面，ExecStart 这一行的内容是

ExecStart=~/.rvm/bin/rvm default do bundle exec puma -C /your/deploy/path/geekweibo/shared/puma.rb

我猜测是~/这个地方出错了。改成绝对路径

ExecStart=/home/username/.rvm/bin/rvm default do bundle exec puma -C /your/deploy/path/geekweibo/shared/puma.rb

然后在服务器上面执行 sudo systemctl daemon-reload，因为我们修改了 unit 文件，需要 reload 一下 systemd daemon 生效。

回到开发机，再次执行cap production puma:restart，果然就可以了。我猜测之所以 ~/这种写法会有问题，是因为我没有指定 puma 的 user。

遇到的问题

不少朋友说升级 6.1 之后，遇到很多 gem 不兼容的情况。可能是因为我这个项目比较小，我这次升级，只遇到一个 gem 不兼容。那就是skylight-ruby gem（一个 APM 服务）。报了一个

NoMethodError (undefined method `instrument' for #<ActionView::TemplateRenderer:0x00007f9d9cc61ee8>)

这样的错。这个 gem 的Github issues里面也有不少人反映这个问题。据作者说，gem 新版 beta 里面已经解决了，不过我不想采坑，所以没上 beta，只是按照他们的说明，用了一个 workaround，在 config/application.rb 里面加一行

config.skylight.probes -= %w[action_view]

解决了问题。

升级以后，有了哪些好处呢？

好像没发现。Rails 6.1 很多新增功能是针对 multiple DB 的，对我好像没什么影响。我主要是冲着 strict loading 和 activestorage 的 permanent url 来的。其中 strict loading，在另外的一个小 app 里面开了 strict loading by default，结果带来一些问题，于是又禁用了。而 activestorage 的 permanent url，除了方法名使用 url 代替 service_url，其他好像也没发现什么区别。我原来使用 service_url 获取到的 url，貌似也不会变？不清楚是不是我理解还不到位。

总体来说，因为项目比较小，这次升级还是比较顺利的，但好像也没带来什么特别的优势。所以，对于想升级的朋友，可以参考一下。

使用 Vue 前端、Rails 后端实现图片上传的功能

chriszou — Thu, 19 Nov 2020 22:11:04 +0800

这两周给自己的开源项目极客微博加上了发微博带图片的功能（作为一个“微博”app，怎么能没有发图片微博的功能呢？）。没想到，做这个小功能的折腾程度，超出了我的预期。

其实如果是纯 Rails MVC，那么给微博加上图片功能，简直不要太简单。后端两行核心代码：

# tweet.rb
has_many_attached :images

# tweet_controller.rb
params.require(:tweet).permit(:body, images: [])

然后前端相关的 template 文件里面，相应的加上文件选择控件，和显示图片的相关代码就搞定了，毕竟ActiveStorage什么都帮你做好了。

可是极客微博前端用了 Vue。发微博的时候，是通过前端发 POST Ajax 请求的方式发的，所以事情就变得复杂了。首先，你没有办法像文本字段一样，给 json body 加一个 file 字段，然后 POST 给后端。所以想要在前端用 Ajax 发请求上传图片，就剩下两种办法：

在前端先把图片上传到图片存储服务（我用的是阿里云 OSS），拿到上传后的图片 url，然后把 url 传给后端。
使用 FormData。这是经过一些搜索，以及在微信群里面请教后，得到的方案。

我不是特别想使用第一种方式，原因有多个。其一，这种方式的实现成本不小，这个可以在 Rails ActiveStorage 的官方文档里面了解到。其二，这种方式的用户体验也不是很好，因为上传需要一个过程，如果上传的图片比较大的话，用户等待的时间就会有点长。先压缩再上传？那又增加了一点工作量。最后，如果用户想换一张图片的话，那之前的上传和等待就都浪费了。出于这几点考虑，我决定使用第二种方式。

但是使用 FormData，其实就相当于使用表单提交的方式发请求。出于安全考虑，为了防止 CSRF 攻击，Rails 默认需要验证表单提交的请求的 CSRF token。在使用 form_for, form_with 这些 rails view helper 构造表单的时候，rails 会自动生成 csrf tag field，然后在表单提交的时候，自动带上这个 field。然而现在，我们的表单是自己构造的（记住这里，后面要考），不是使用 Rails 的 view helper 生成的：

<form enctype="multipart/form-data">
  <textarea v-model="new_tweet_body"
  ...
  <input ref="image_picker" type="file" @user1="onFileChange" />
  ...
  <button class="button" @user2="postTweet">发布</button>
</form>

我们不能在这个 form 里面自己随便生成一个 csrf token field，然后带给后端，因为这样生成的 token 是无效的。token 必须由后端生成，然后通过某种方式传给前端发 Ajax 请求的地方。这个怎么办呢？ Google 一下，发现了这篇文章。看了下，解决方法其实非常简单。那就是在 layout 文件（比如 application.html.erb) 的 header 区加一行：

<%= csrf_meta_tags %>

这会生成一个

<meta name="csrf-token" content="the-secret-token-value">

这样的 tag。里面的content 就是我们想要的 token。然后在发 Ajax 请求的地方，直接用 JS 获得这个值，加到 Key 为'X-CSRF-Token'的 header 里面去就好了：

const csrfToken = document.querySelector('meta[name="csrf-token"]').getAttribute('content')
fetch('/tweets', {
      method: 'POST',
      headers: { 'X-CSRF-Token': csrfToken },
      body: formData,
  })...

这样，CSRF Token 的问题就解决了。

上面提到的过程，其实还有一个坑。那就是我们构造了一个 form，然后把发微博相关的输入控件（textarea/file input/button等）都放在这个form里面。这样一来，每次点击发布按钮，页面就会刷新一次，然后网络请求的callback也不会得到调用。这一方面导致用户体验不好（页面刷新），另外一方面也导致我在success callback 里面做的一些清理工作没办法得到执行。刚开始我以为是这个页面刷新是后端的返回导致的，折腾了半天，才发现不是，而是由于前端存在 form 的原因。其实这个 form 完全是没必要的，去掉以后，页面刷新的问题就解决了，callback 也能正确的到回调。

这个功能完整的代码可以在github上面看到，这里把前端主要代码贴一下，供有类似需求的小伙伴参考。后端的代码跟前面提到的一样，只需要两行改动而已。

postTweet() {
  //...

  let formData = new FormData()
  formData.append('tweet[body]', this.new_tweet)
  // this.imageFile是通过 file input上传的那个文件。
  // 注意key后面的"[]"因为images是个数组。
  if (this.imageFile) formData.append('tweet[images][]', this.imageFile) 

  const csrfToken = document.querySelector('meta[name="csrf-token"]').getAttribute('content')
  fetch('/tweets', {
    method: 'POST',
    headers: { 'X-CSRF-Token': csrfToken },
    body: formData,
  })
    .then(res => res.json())
    .then(data => {
       //clear local cache
    })
    .catch(e => {
      console.log(e)
    })
},

个人 Rails + Vue 开源项目：一个 Focus 在技术领域的微博 -- “极客微博”

chriszou — Sat, 17 Oct 2020 21:27:44 +0800

先放上地址~ 项目地址：极客微博欢迎体验、吐槽、反馈 Github 地址：ChrisZou/geekweibo 欢迎 star、fork、pr、issues

用到的技术栈

Ruby on Rails
- Ruby 2.7.1, Rails 6.0.3.2
VueJS, AlphineJS
TailwindCSS
PostgreSQL
ElasticSearch

如题所说，这是一个类似于 Twitter 的项目。目前还是 WIP，有一些最基本的功能：发推文、搜索、评论、点赞、通知等。
之所以做这个项目，主要是出于，想要有个地方能够便捷的存放一些零碎知识片段 + 简单的分享、发现的功能。由于没有找到合适的产品，所以自己做了一个。如果还是好奇的话，可以看看这篇文章

由于我的本职工作是客户端开发（Android），Ruby/Rails 虽然接触时间不短了，也一直处于初学者的阶段，希望大家不吝指教！

Mac 安装 pg gem 失败，提示 “make: /usr/local/Cellar/coreutils/8.30/bin/gmkdir: No such file or directory”。

chriszou — Sun, 12 May 2019 17:54:43 +0800

我本地是安装了 coreutils 8.31 的

$ ls /usr/local/Cellar/coreutils/
8.31

不知道为什么在编译 native extension 的时候，好像代码里面写死了 8.30 版本。完整的错误提示：

$ gem install pg
Building native extensions. This could take a while...
ERROR:  Error installing pg:
    ERROR: Failed to build gem native extension.

    current directory: /Users/chris/.rvm/gems/ruby-2.6.0/gems/pg-1.1.4/ext
/Users/chris/.rvm/rubies/ruby-2.6.0/bin/ruby -I /Users/chris/.rvm/rubies/ruby-2.6.0/lib/ruby/2.6.0 -r ./siteconf20190512-93337-1jm5hew.rb extconf.rb
checking for pg_config... yes
Using config values from /usr/local/bin/pg_config
checking for libpq-fe.h... yes
checking for libpq/libpq-fs.h... yes
checking for pg_config_manual.h... yes
checking for PQconnectdb() in -lpq... yes
checking for PQsetSingleRowMode()... yes
checking for PQconninfo()... yes
checking for PQsslAttribute()... yes
checking for PQencryptPasswordConn()... yes
checking for timegm()... yes
checking for rb_gc_adjust_memory_usage()... yes
checking for PG_DIAG_TABLE_NAME in libpq-fe.h... yes
checking for unistd.h... yes
checking for inttypes.h... yes
checking for C99 variable length arrays... yes
creating extconf.h
creating Makefile

current directory: /Users/chris/.rvm/gems/ruby-2.6.0/gems/pg-1.1.4/ext
make "DESTDIR=" clean

current directory: /Users/chris/.rvm/gems/ruby-2.6.0/gems/pg-1.1.4/ext
make "DESTDIR="
compiling gvl_wrappers.c
compiling pg.c
compiling pg_binary_decoder.c
compiling pg_binary_encoder.c
compiling pg_coder.c
pg_coder.c:206:34: warning: implicit conversion loses integer precision: 'long' to 'int' [-Wshorten-64-to-32]
        res = this->dec_func(this, val, RSTRING_LEN(argv[0]), tuple, field, ENCODING_GET(argv[0]));
              ~~~~                      ^~~~~~~~~~~~~~~~~~~~
/Users/chris/.rvm/rubies/ruby-2.6.0/include/ruby-2.6.0/ruby/ruby.h:1000:6: note: expanded from macro 'RSTRING_LEN'
     RSTRING_EMBED_LEN(str) : \
     ^~~~~~~~~~~~~~~~~~~~~~
/Users/chris/.rvm/rubies/ruby-2.6.0/include/ruby-2.6.0/ruby/ruby.h:996:6: note: expanded from macro 'RSTRING_EMBED_LEN'
     (long)((RBASIC(str)->flags >> RSTRING_EMBED_LEN_SHIFT) & \
     ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
pg_coder.c:206:34: warning: implicit conversion loses integer precision: 'long' to 'int' [-Wshorten-64-to-32]
        res = this->dec_func(this, val, RSTRING_LEN(argv[0]), tuple, field, ENCODING_GET(argv[0]));
              ~~~~                      ^~~~~~~~~~~~~~~~~~~~
/Users/chris/.rvm/rubies/ruby-2.6.0/include/ruby-2.6.0/ruby/ruby.h:1001:28: note: expanded from macro 'RSTRING_LEN'
     RSTRING(str)->as.heap.len)
     ~~~~~~~~~~~~~~~~~~~~~~^~~
2 warnings generated.
compiling pg_connection.c
compiling pg_copy_coder.c
pg_copy_coder.c:225:15: warning: implicit conversion loses integer precision: 'long' to 'int' [-Wshorten-64-to-32]
                                        strlen = RSTRING_LEN(subint);
                                               ~ ^~~~~~~~~~~~~~~~~~~
/Users/chris/.rvm/rubies/ruby-2.6.0/include/ruby-2.6.0/ruby/ruby.h:1000:6: note: expanded from macro 'RSTRING_LEN'
     RSTRING_EMBED_LEN(str) : \
     ^~~~~~~~~~~~~~~~~~~~~~
/Users/chris/.rvm/rubies/ruby-2.6.0/include/ruby-2.6.0/ruby/ruby.h:996:6: note: expanded from macro 'RSTRING_EMBED_LEN'
     (long)((RBASIC(str)->flags >> RSTRING_EMBED_LEN_SHIFT) & \
     ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
pg_copy_coder.c:225:15: warning: implicit conversion loses integer precision: 'long' to 'int' [-Wshorten-64-to-32]
                                        strlen = RSTRING_LEN(subint);
                                               ~ ^~~~~~~~~~~~~~~~~~~
/Users/chris/.rvm/rubies/ruby-2.6.0/include/ruby-2.6.0/ruby/ruby.h:1001:28: note: expanded from macro 'RSTRING_LEN'
     RSTRING(str)->as.heap.len)
     ~~~~~~~~~~~~~~~~~~~~~~^~~
pg_copy_coder.c:531:23: warning: implicit conversion loses integer precision: 'long' to 'int' [-Wshorten-64-to-32]
                input_len = end_ptr - start_ptr;
                          ~ ~~~~~~~~^~~~~~~~~~~
3 warnings generated.
compiling pg_errors.c
compiling pg_result.c
compiling pg_text_decoder.c
compiling pg_text_encoder.c
pg_text_encoder.c:170:14: warning: implicit conversion loses integer precision: 'long' to 'int' [-Wshorten-64-to-32]
                        len = out - start;
                            ~ ~~~~^~~~~~~
pg_text_encoder.c:289:15: warning: implicit conversion loses integer precision: 'long' to 'int' [-Wshorten-64-to-32]
                return optr - out;
                ~~~~~~ ~~~~~^~~~~
pg_text_encoder.c:293:12: warning: implicit conversion loses integer precision: 'long' to 'int' [-Wshorten-64-to-32]
                return 2 + RSTRING_LEN(*intermediate) * 2;
                ~~~~~~ ~~^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
pg_text_encoder.c:500:13: warning: implicit conversion loses integer precision: 'long' to 'int' [-Wshorten-64-to-32]
        nr_elems = RARRAY_LEN(value);
                 ~ ^~~~~~~~~~~~~~~~~
/Users/chris/.rvm/rubies/ruby-2.6.0/include/ruby-2.6.0/ruby/ruby.h:1058:23: note: expanded from macro 'RARRAY_LEN'
#define RARRAY_LEN(a) rb_array_len(a)
                      ^~~~~~~~~~~~~~~
4 warnings generated.
compiling pg_tuple.c
pg_tuple.c:475:15: warning: implicit conversion loses integer precision: 'long' to 'int' [-Wshorten-64-to-32]
        num_fields = RARRAY_LEN(values);
                   ~ ^~~~~~~~~~~~~~~~~~
/Users/chris/.rvm/rubies/ruby-2.6.0/include/ruby-2.6.0/ruby/ruby.h:1058:23: note: expanded from macro 'RARRAY_LEN'
#define RARRAY_LEN(a) rb_array_len(a)
                      ^~~~~~~~~~~~~~~
1 warning generated.
compiling pg_type_map.c
compiling pg_type_map_all_strings.c
compiling pg_type_map_by_class.c
compiling pg_type_map_by_column.c
pg_type_map_by_column.c:161:52: warning: implicit conversion loses integer precision: 'long' to 'int' [-Wshorten-64-to-32]
        return dec_func( p_coder, RSTRING_PTR(field_str), RSTRING_LEN(field_str), 0, fieldno, enc_idx );
               ~~~~~~~~                                   ^~~~~~~~~~~~~~~~~~~~~~
/Users/chris/.rvm/rubies/ruby-2.6.0/include/ruby-2.6.0/ruby/ruby.h:1000:6: note: expanded from macro 'RSTRING_LEN'
     RSTRING_EMBED_LEN(str) : \
     ^~~~~~~~~~~~~~~~~~~~~~
/Users/chris/.rvm/rubies/ruby-2.6.0/include/ruby-2.6.0/ruby/ruby.h:996:6: note: expanded from macro 'RSTRING_EMBED_LEN'
     (long)((RBASIC(str)->flags >> RSTRING_EMBED_LEN_SHIFT) & \
     ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
pg_type_map_by_column.c:161:52: warning: implicit conversion loses integer precision: 'long' to 'int' [-Wshorten-64-to-32]
        return dec_func( p_coder, RSTRING_PTR(field_str), RSTRING_LEN(field_str), 0, fieldno, enc_idx );
               ~~~~~~~~                                   ^~~~~~~~~~~~~~~~~~~~~~
/Users/chris/.rvm/rubies/ruby-2.6.0/include/ruby-2.6.0/ruby/ruby.h:1001:28: note: expanded from macro 'RSTRING_LEN'
     RSTRING(str)->as.heap.len)
     ~~~~~~~~~~~~~~~~~~~~~~^~~
pg_type_map_by_column.c:230:17: warning: implicit conversion loses integer precision: 'long' to 'int' [-Wshorten-64-to-32]
        conv_ary_len = RARRAY_LEN(conv_ary);
                     ~ ^~~~~~~~~~~~~~~~~~~~
/Users/chris/.rvm/rubies/ruby-2.6.0/include/ruby-2.6.0/ruby/ruby.h:1058:23: note: expanded from macro 'RARRAY_LEN'
#define RARRAY_LEN(a) rb_array_len(a)
                      ^~~~~~~~~~~~~~~
3 warnings generated.
compiling pg_type_map_by_mri_type.c
compiling pg_type_map_by_oid.c
compiling pg_type_map_in_ruby.c
compiling util.c
util.c:119:24: warning: implicit conversion loses integer precision: 'long' to 'int' [-Wshorten-64-to-32]
        return (char*)out_ptr - out;
        ~~~~~~ ~~~~~~~~~~~~~~~^~~~~
1 warning generated.
linking shared-object pg_ext.bundle

current directory: /Users/chris/.rvm/gems/ruby-2.6.0/gems/pg-1.1.4/ext
make "DESTDIR=" install
make: /usr/local/Cellar/coreutils/8.30/bin/gmkdir: No such file or directory
make: *** [.sitearchdir.time] Error 1

make install failed, exit code 2

Gem files will remain installed in /Users/chris/.rvm/gems/ruby-2.6.0/gems/pg-1.1.4 for inspection.
Results logged to /Users/chris/.rvm/gems/ruby-2.6.0/extensions/x86_64-darwin-18/2.6.0/pg-1.1.4/gem_make.out