Rails Heroku-style config management with capistrano and dotenv

hooopo for Shopper+ · 2015年12月12日 · 最后由 hooopo 回复于 2015年12月18日 · 6687 次阅读
本帖已被管理员设置为精华贴

12-factor Style

通常,应用的 配置 在不同 部署 (预发布、生产环境、开发环境等等) 间会有很大差异。这其中包括:

  • 数据库,Memcached,以及其他 后端服务 的配置
  • 第三方服务的证书,如 Amazon S3、Twitter 等
  • 每份部署特有的配置,如域名等

有些应用在代码中使用常量保存配置,这与 12-factor 所要求的代码和配置严格分离显然大相径庭。配置文件在各部署间存在大幅差异,代码却完全一致。

判断一个应用是否正确地将配置排除在代码之外,一个简单的方法是看该应用的基准代码是否可以立刻开源,而不用担心会暴露任何敏感的信息。

12-Factor 推荐将应用的配置存储于 环境变量 中( env varsenv )。环境变量可以非常方便地在不同的部署间做修改,却不动一行代码。更多关于12-factor 的内容请访问 12factor.net.

Rails Style 存在的问题

Rails 中大部分实践是遵守了 12-Factor 规则,除了日志和配置。Rails Way 的配置方式是 yml 文件,例如:database.yml、secret.yml 等。简单的应用使用 yml 文件和 12-factor 推荐的环境变量其实区别不大,不过当项目不断膨胀,配置数量也随着增加,yml 方式变得越来越难以维护。yml 存在的问题表现在:

  1. 需要不断的修改.gitignore 文件
  2. 搭建各种环境(dev、production、test、staging)时需要不断 copy example 文件
  3. 配置散落各处
  4. 每增加 yml 文件,需要在应用里增加 load 和 parse 逻辑
  5. 不小心会被签进版本控制里

下面是目前项目的配置文件,每次搭建环境修改这些配置文件是最痛苦的事情...

shared/config$ ls |grep yml
s3.yml
redis.yml
twilio.yml
paypal.yml
sunspot.yml
database.yml
icontact.yml
http_auth.yml
beanstream.yml
commercehub.yml
canada_post.yml
google_content_api.yml

系统环境变量

最直接的方式是使用 shell 环境变量:

$ export TWILIO_ACCOUNT_SID=AC1234...
$ export TWILIO_AUTH_TOKEN=abc12...

在 Ruby 中使用 ENV 读取:

puts ENV['TWILIO_ACCOUNT_SID']
puts ENV['TWILIO_AUTH_TOKEN']

shell 环境变量由于没有持久化,又引出了 .bashrc、.bash_profile、~/.profile、/etc/environment 等方式。都不是很完美,权限问题、login shell 问题的坑都等着你呢。最重要的是,上面提到这些都不方便应付单机部署多个应用的场景。

Envyable、dotenv、Figaro

EnvyabledotenvFigaro等工具,在应用程序中把配置注入到ENV中避免了上面提到的各种问题。Envyable、dotenv、Figaro 无论是实现上还是使用上其实大同小异,下面只拿 dotenv 来说:

In Gemfile:

gem 'dotenv-rails', :require => 'dotenv/rails-now'

config/application.rb

Bundler.require(*Rails.groups)
Dotenv::Railtie.load
HOSTNAME = ENV['HOSTNAME']

.env 文件:

S3_BUCKET=YOURS3BUCKET
SECRET_KEY=YOURSECRETKEYGOESHERE

gitignore 忽略.env,并且 cap 设置软链:

set :linked_files, fetch(:linked_files, []).push('config/database.yml', '.env')

调用的时候仍然是 ENV['SECRET_KEY']。当然,dotenv 还支持多环境模式,比如 .env.production 文件只对 production 环境生效。

Heroku-style

dotenv 已经很完美了,但用过 Heroku 的都知道这还不够,看一下 Heroku 设置环境变量的方式:

heroku config:set GITHUB_USERNAME=joesmith
Adding config vars and restarting myapp... done, v12GITHUB_USERNAME: joesmith

$ heroku config
GITHUB_USERNAME: joesmith 
OTHER_VAR: production

$ heroku config:get 
GITHUB_USERNAMEjoesmith

$ heroku config:unset GITHUB_USERNAME
Unsetting GITHUB_USERNAME and restarting myapp... done, v13

capistrano-twelvefactor + dotenv 可以打造出和 Heroku 一样酷的体验。

详细的步骤 capistrano-twelvefactor 上面都有写,下面只说和 dotenv 配合需要做的:

# config/deploy/production.rb
set :environment_file, deploy_path.join("shared/.env")

after 'config:set',   "deploy:symlink:linked_files"
after 'config:unset', "deploy:symlink:linked_files"

然后就可以使用这几个命令查看和修改环境配置了:

  • bundle exec cap production config:list
  • bundle exec cap production config:set[FOO=bar]
  • bundle exec cap production config:unset[FOO]

注:上面需要 capistrano 3 + dotenv,Envyable 和 Figaro 目前无法使用 Heroku style.

Multi Servers && Apps

对于单台服务器的应用,capistrano-twelvefactor + dotenv 足以应付,同时,由于 capistrano 支持集群部署,单个应用多服务器其实也是可以搞定的。但有时候不同应用之间其实也需要共享配置文件的,比如,S3 配置变化了,依赖这个帐号的所有应用都应该得到同步。另外的一个问题是,对于多服务器场景,配置存储在.env 会出现服务器之间配置不同步现象。如果要解决上述问题,可能引入etcdzookeeper是一个不错的选择。


原文地址:http://www.jianshu.com/p/a80bdfdabce5

🎉 🎉 之前正好花时间折腾过 doenv 方式部署,坑自然是有,比如那时用 capistrano-sidekiq 启动 Sidekiq 就会发现找不到环境配置,然后自己提 PR 解决😆

#2 楼 @hbin :plus1:

发现一个可以做类似 heroku db:pull 的 gem 😄

试了一下爽爆了:

$ cap production db:pull

Rails 4.1 新增的 config/secrets.yml 就是跟 dotenv 相似的方案

#5 楼 @hungyuhei 不不不,secrets.yml 和 database.yml 是一样的... Rails 一直就支持 yml 里内嵌 ERB。区别是 ENV 从哪里来、如何集中化管理,Rails 没给出什么方案。dotenv 解决的是这个问题。

dotenv这种工具是不是不支持层级结构啊,不如:

S3_BUCKET
  A=1
  B=2

使用的话像这样:S3_BUCKET:A => 1

#7 楼 @simlegate 拍扁就可以了,s3_bucket.a=xxx,其实配置也不需要太复杂的结构,一般 key-value 就够了。

hooopo 容器化,你并不需要三个模式 (环境) 提及了此话题。 03月16日 13:13
需要 登录 后方可回复, 如果你还没有账号请 注册新账号