evenluo (罗亦文)

阿里云 OSS 全攻略

evenluo — Wed, 27 Jul 2016 17:22:54 +0800

前言

这是一篇在阿里云 OSS 使用过程中我的一些经验，希望分享给大家

准备

首先你需要一个开通了 OSS 的账户或者是阿里云主账户分配给你的有 OSS 权限的一个子账户。本文的前提条件是假设你拥有足够操作 OSS 的权限。

客户端直传模型

为了不让 app server 成为瓶颈，客户端直传模型应该是最经常使用到的模型，时序图如下图：

这样，app server 只需要向云 oss 的 sts 服务器请求临时凭据，然后再上传完毕之后接受回调，或者根据客户端提供的信息自行确认即可。公开读的 bucket 在使用中几乎没有难度，本文不做介绍，本文介绍的是需要额外授权的文件读取

服务端实现

首先，先引入官方 gem，官方的 readme 里面已经有比较详细的用法了，建议先完整地阅读官方的 readme。

基本上一个项目可能一个 ram 账户就已经足够了，可以把生成 sts client 以单例的方式提取出来，示例代码

## sts_manager.rb

require 'aliyun/sts'
require 'qiniu'

module Oss
  class StsManager
    include Singleton

    attr_reader :sts_client

    def initialize
      @sts_client = Aliyun::STS::Client.new(access_key_id: BourneSetting.aliyun_oss_client_ak_id,
                                        access_key_secret: BourneSetting.aliyun_oss_client_ak_secret)
    end
end

在我的项目里，我把 aliyun 的 ak id 和 secret 都放到了 settinglogic 的设置中，并 ignore 掉

有了 sts client 之后，就可以依据特定的条件办法 sts token 了。阿里云用一套 policy 来表征对某个资源的操作权限，其实这是一个很复杂的列表，当然跟 aws 很像，我也不说为什么了。policy 限定这个要产生的 token 对什么资源有着什么样的操作权限，你甚至还能指定其他一些条件 (condition)，但是这套规则在阿里云的文档里面比较分散，有种很混乱的感觉。大家可以重点参考这里，这里，这里还有图形化的帮助页面

这里我们假设一个示例代码

## sts_manager.rb

    def grant_write_credential(user_id, duration=3600)
      key = "assets/user-#{user_id}/#{Time.now.to_i}.png"
      resource_description = "acs:oss:*:*:#{BourneSetting.aliyun_assets_bucket}/#{key}"

      policy = Aliyun::STS::Policy.new
      policy.allow(['oss:PutObject', 'oss:AbortMultipartUpload'], resource_description)
      session_name = "#{BourneSetting.app_name}-#{user_id}-signature-#{Time.now.to_i}"
      token = @sts_client.assume_role(BourneSetting.aliyun_arm_arn, session_name, policy, duration)
    end

在示例中，我们根据自己的业务逻辑生成了一个 key，这个你可以认为是在 bucket 上的一个路径（本质上只是模拟目录的一个做法），这里我们把上传的权限给定了这个 key，这个 key 不一定要详细到全路径，也可以使用类似于"assets/user-1/*"这样的方式表示以这个为前缀的 key 都有权上传。这个跟业务逻辑相关，但是需要注意的是：如果这个 key 上已经有文件，再次上传到这个 key 会直接覆盖这个文件，如果你的业务不允许这样的事情发生，那么最好有更为严格的 key 控制。

另外 session_name 大部分人也不知道是干什么的，这个我问过他们的支持，说这个 session_name 以后会作为审计的功能，现在暂时还没有用到，大家可以按照自己的逻辑设定。

这样我们就会从 sts 服务器获得一个sts token，里面包含 access_key_id, access_key_secret, security_token, expiration, session_name，这些字段全部都有用，这样你就可以把这个 token 和相关信息（bucket，key）返回给客户端，客户端就能开始使用了。

客户端实现

客户端其实是可以任何形式，这里我们可以用 ruby sdk 作为客户端来测试一下

user_client = Aliyun::OSS::Client.new(endpoint: BourneSetting.aliyun_oss_hangzhou_endpoint,
                                      access_key_id: "access_key_id",
                                      access_key_secret: "access_key_secret",
                                      sts_token: "sts_token")
bucket = user_client.get_bucket "bucket"
bucket.put_object "key", file: "local_path"

以上的 id，secret，sts token，bucket 和 key 都来自于服务端，如果你的 policy 没错的话，那么你现在应该已经上传了

cdn 加速

cdn 加速是一个很好的特性，便宜好用。cdn 默认支持 sts token 的鉴权方式，不需要做任何设置。

坑

这才是本文的主题。以上的东西都很简单，能满足大部分的需求。但是对于 oss 的需求不尽相同，在特殊需求出现的时候，可能就真的没法找文档了，只能工单一遍一遍你来我往，有时候还能刨出来 sdk 的坑。

图片样式

使用 oss 的有一个好处就是能够拥有对多媒体文件比如图片和视频一定的处理能力，比如图片样式：

但是你必须使用图片服务的域名（比如 bucket-name.img-cn-hangzhou.aliyuncs.com）作为 endpoint 来访问才可以得到这个样式。如果你启用了禁止访问原图的设置：那么通过图片服务的域名你是无法访问原图的，但是如果你还是使用 oss 的域名作为 endpoint 来访问图片，却仍然是可以访问到的。。

你可以变通的方式是，在编写 policy 的时候直接将样式写入 key 中，这样的话你生成的 sts token 就只能访问指定的样式了，比如这样的 key：

key = "key/to/test.jpg@!style"  #@!后面接样式的名称

有时候你不想把这一大堆数据给客户端让客户端自己去访问文件，想直接生成一个签名过的链接给客户端就好，那么你可以调用bucket#object_url方法直接生成一个签名链接给客户端，客户端在访问的时候云 oss 会自己做鉴权的。注意：这个方法在 0.4.1 之前版本的 sdk 是不能生成正确的签名请求的，我也是踩过坑跟作者联系过，他很快就发布了 0.4.1 的版本。目前这个版本 policy 还不支持 condition 的操作，大家需要自己拼 json。

自定义域名

现在 oss 可以有自定义域名，图片服务也可以有自定义域名，但是 cname 只能有一个，也就是说如果你想以一个自定义域名访问这两个服务域名是不可以的，还是只能通过不同的 endpoint 来达到访问的需求。

这个解决方案最好是：把图片和文件分 bucket 存储。据说阿里云 oss 也觉得这两个域名会导致开发者傻傻分不清楚，准备进行改变。

极光推送的 gem 在设置时候的问题

evenluo — Thu, 14 Jul 2016 18:09:33 +0800

最近在整合极光推送的时候，总是会遇到这个问题 rspec#215

我还以为是人家 rspec 的问题呢，跑过去问了一下，后来发现是 jpush 的 gem 问题。感觉上应该和他们重写了类有关：helper.rb

而且这个问题会导致其他命令基本也用不了了，大家有没有解决的方法？

[上海] 领孚科技诚聘中高级 Ruby 工程师 1 名 (15k-25k)

evenluo — Wed, 01 Jun 2016 16:02:27 +0800

领孚是谁

领孚科技创立于 2015 年末，是一家致力于企业线上公司治理的创业公司，公司已获得数百万投资。我们合伙人来自于国内知名律所，技术团队来自于 BAT。线下团队有非常丰富的公司治理经验，我们希望在我们产品的协助下，公司管理层、法律部门及其他相关人士能够实现无纸化、移动化、合规化地处理公司运营、管理及法律合规事务等事宜。团队的成员都是 90 后，人都很 nice，目前团队在杨浦区的一个孵化器内办公，交通很方便，工作环境很轻松。有着一群有热情，做事靠谱的同事们~

工作待遇

工作时间：一周五天，基本没加过班
工作地点：上海市杨浦区创智天地
薪资：15k-25k

招聘细则

您的主要职责：

能独立的完成后端的开发工作。
攻克项目的技术难关。
有一定的服务器运维经验，可以成为 DevOps。

我们希望您：

有至少一个独立的中型的项目经验。
熟练使用 ruby 和 rails 框架。
有着良好的代码书写习惯和较强的逻辑思维能力。
有着良好的，循序的驱动测试习惯。
熟练使用 shell 和 git，熟练使用 sublime，Vim，Atom 和 Emacs 中的一种。
了解后台任务和定时任务的处理和优化方式。
良好的英文阅读理解能力

以下可以加分：

有 github 开源贡献
熟悉前端开发
有稳定的无缝科学上网方式
有云服务器，云 redis，云 rds 的使用经验

写在最后

也许这就是能做成一件大事儿的机会。

现在就发送简历！至 hr#linkfirms.com，或者访问领孚科技招聘，期待你的到来~

sidekiq: Cannot define multiple 'included' blocks for a Concern

evenluo — Fri, 22 Apr 2016 11:27:10 +0800

sidekiq 启动的时候报错 :

Cannot define multiple 'included' blocks for a Concern

看起来像是跟 sidekiq 的加载方式有关，找到了看起来最像的解决方案Fix Sidekiq loading problem: Cannot define multiple included blocks for a Concern 然而两个解决方法都未能解决。

大家有没有遇到这个问题？如何解决的呢？

[已解决] 在 has_many, :through 的多对多关系中，如果获得中间表的 model 内容？

evenluo — Tue, 05 Apr 2016 16:35:13 +0800

比如 Doctor 表和 Patient 表，关联表是 Appointment，其中 Appointment 表中有预约的额外信息，那我如果获得 appointment 呢。doctor.appointments 是不行的

—————————————— 分割线 ————————————

是可以的。。是自己的写法有误，抱歉

Ruby 处理 PDF 的开源项目大家有了解么？

evenluo — Tue, 01 Mar 2016 17:26:27 +0800

最近在做一个与 pdf 处理相关的事情，希望能用 ruby 处理 pdf，做到例如拼合，拆分，在 pdf 上添加图片生成新的 pdf 等功能。不知道各位有没有这方面的相关经验？

[已解决] SendCloud 用 SMTP 配置发邮件总是 EOFError

evenluo — Mon, 18 Jan 2016 17:30:12 +0800

development.rb 中：

config.action_mailer.smtp_settings = {
  :address        => "smtpcloud.sohu.com",
  :port           => 25,
  :authentication => :login,
  :domain         => "我的发信域名",
  :user_name      => "我的api user",
  :password       => "我的api key"
}

其他写法是按照 ActionMailer 的 guide 来的。另外域名也已经验证通过了。

返回如下：

UserMailer#welcome: processed outbound mail in 10.7ms

Sent mail to {收件地址} (1095.0ms)
Date: Mon, 18 Jan 2016 17:23:23 +0800
From: {发件地址}
To: {收件地址}
Message-ID: <569caf0b20afc_ba03ffaba3bc58c85776@matabuns-MacBook-Pro.local.mail>
Subject: Welcome
Mime-Version: 1.0
Content-Type: text/html;
 charset=UTF-8
Content-Transfer-Encoding: quoted-printable
...
EOFError (end of file reached):

注意：个人信息已做处理。

不知道哪里做得不对，能否指点一二？

===

后来证明是所有的邮件必须都有对应的模板存在才可以。。我真是给这个错误提示跪了

mina 部署时遇到的问题

evenluo — Thu, 14 Jan 2016 16:15:18 +0800

rails 新手，按照 mina 官方的教程来的，一切都还不错，直到出现了这个

''' -----> Migrating database $ RAILS_ENV="production" bundle exec rake db:migrate rake aborted! ActiveRecord::AdapterNotSpecified: 'production' database is not configured. Available: [] '''

database.yml 的 production 节点如下：

production: adapter: postgresql encoding: unicode database: app_production pool: 5 host: 127.0.0.1 username: deploy password:

Google stackoverflow 查了好多，都没啥用。事实上在服务器上是存在 postgres 的，也是有 deploy 这个用户，同时也有 app_production 这个 database。另外就是在本机上用 RAILS_ENV="production" bundle exec rake db:migrate 是成功了的，不知道我到底遇到了什么，麻烦各位指点一下。