night_7th

网易蜂巢对象存储服务 (NOS) 的 Carrierwave 插件

night_7th — Fri, 21 Jul 2017 14:58:36 +0800

模仿阿里云的 carrierwave 插件，写了一版网易 NOS的 Carrierwave 插件。

https://github.com/yangsr/carrierwave-nos

当前能够满足我自己的使用了，如果有人遇到问题或者有新需求可以反馈给我

Rack BUFSIZE 导致大文件上传很慢

night_7th — Tue, 18 Jul 2017 17:27:26 +0800

问题描述

最近在开发一个文件上传功能，开发环境下，上传一个 100 多 M 的文件到服务端，需要花费接近 1 分钟。

前端代码是自己写的，也没有用第三方文件上传插件，普通的 jquery，大致长这样：

// 开始上传
var form_data = new FormData();
form_data.append('file', document.getElementById(id).files[0]);

$.ajax({
            url: '/apps/upload',
            type: 'POST',
            data: form_data,
            balabala...
});

后端看日志，其实处理得也没那么久，那时间耗在哪里了呢？

Completed 200 OK in 3786ms (Views: 0.2ms | ActiveRecord: 1131.2ms)

尝试解决

花了俩小时放狗搜，最后发现可能是 Rack 的问题：

Rack::Multipart::Parser.parse中有一个循环，每次读取的 BUFSIZE 大小是 16384 个字节。所以文件很大的话，循环得就很多次了。

已经有人给 Rack 提了一个issue

解决方案也很简单，一位叫 darfux 的同学给出来了，写一个中间件把那个 BUFSIZE 变量覆写掉就好

class MultipartBufferSetter

  def initialize(app)
    @app = app
  end

  def call(env)
    env.merge!(Rack::RACK_MULTIPART_BUFFER_SIZE => 100 * 1024 * 1024)
    @app.call(env)
  end

end

但是按照常理去理解，BUFSIZE 设置为 16384 应当是有原因的，现在被改得这么大有没有潜在的问题还需要观察一阵子，之前使用了 jquery-file-upload 这类第三方插件就没有遇到过这个问题。

更新 1

今天早上查了下，jquery-file-upload 这个 js 插件有一个特性：

Chunked uploads: Large files can be uploaded in smaller chunks with browsers supporting the Blob API.

请教重复代码的组织问题

night_7th — Wed, 31 May 2017 11:14:16 +0800

我们组的情况是这样的，我们根据【面向的用户】区分，将项目划分为对内/对外两个项目，这两个项目共用一个数据库。对外项目主要负责外部用户提交需求，对内项目包括内部工程人员处理需求和一些管理员相关的功能。

随着代码的积累和增长，对内/对外项目中出现了许多重复的代码：包括 models/helpers/views 里的诸多文件。比较典型的是一个报告展示页面（对内工程师需要审核报告后发布给外部用户看，因此对内/对外都需要报告展示），报告展示功能涉及到两个工程中许多 model/helper，这些对象中的绝大多数方法都是重复的。

为了解决代码重复的这个困扰，我们引入了git subtree功能，将重复的 model/helper 移动到了对外项目的一个共享文件夹。可是渐渐又出现了一个困惑：可能某个同学只是需要修改对内项目的某个功能，却需要在对外项目中去修改代码，然后上线时同时更新对内/对外两个项目的代码。而且由于git subtree的使用经验不足，经常会出现各种奇怪的报错。也有同学担心改动出错影响到两个项目，不敢轻易去改共享文件夹中的代码。

我自己整理了下目前的几点困惑/思路：

git subtree 的使用姿势是不是有问题
将对内/对外两个项目合并，可以减少重复代码，但是项目体积又会膨胀
服务拆分，或者微服务的思路

这样类似的问题社区中的一些同学也许遇到过、实践过。想请教大家分享/探讨下类似问题的解决思路。

这种多对多的设计是否常见

night_7th — Tue, 02 Aug 2016 11:49:14 +0800

# members表
id BIGINT(20)
user_id BIGINT(20)
app_id BIGINT(20)

我们的登陆使用了第三方的登陆系统，会生成一串 hash 存储在 users 表中的一个字段中。

于是有人建议改成这样的设计：

# members表
id BIGINT(20)
user_hash VARCHAR(255)
app_id BIGINT(20)

想请问一下大家第二种方案 rails 的支持好么？在多对多的关系设计中是否常见？

Redis 使用及源码的一些疑惑

night_7th — Tue, 12 Apr 2016 20:04:13 +0800

最近准备使用 sidekiq 做异步队列，sidekiq 又基于 Redis，我对于 Redis 并不是很熟悉，现在遇到一些问题想请教一下大家：

1.我们现在已经使用了一个 Redis 用于存储 session，以及同系统其他组件打交道，那 sidekiq 的 Redis 是需要一个新的 Redis 呢，还是使用已有的 Redis 呢，我担心会不会有一些冲突。

2.因为公司原因，我们需要使用公司内别的部门提供的 Redis 服务，当前我们申请的是一个分布式的 Redis，结果在本地调试连接这个分布式的 Redis 时 sidekiq 报错了，一处是调用了info方法，另外一处是调用了 Redis 的brpop方法，这两个方法分布式的 Redis 均不支持，而且一旦调用了，Redis 就自动把连接给断开了。

def retrieve_work
  # 这里调用了brpop
  work = Sidekiq.redis { |conn| conn.brpop(*queues_cmd) }
  UnitOfWork.new(*work) if work
end

这个地方我也有困惑，我查了下brpop，是一个阻塞型方法，是不是分布式的系统很难实现阻塞型方法呢？因为我看了下公司分布式 Redis 的文档，不支持的指令列表中好几个指令都是 b 开头的。

关于 Don't rescue Exception 的疑问

night_7th — Tue, 19 Jan 2016 20:39:08 +0800

今天看到了Rails Best Practice中的这么一条建议，Don't rescue Exception：

Don't rescue Exception, rescue StandardError Explicitly rescuing Exception will rescue even not normally recoverable errors such as SyntaxError, LoadError, and Interrupt.

然而我自己在 demo 项目中测试了一下：

def index
  a )= 2 # Syntax error here
  @books = Book.all
rescue Exception => e
  logger.info "#{e}"
end

运行项目时却正常报错了，并没有被 rescue：

SyntaxError (/app/controllers/books_controller.rb:7: syntax error, unexpected ')', expecting keyword_end
    a )= 2
       ^):

我的 rails 版本是 4.2.5，很好奇是否这条规则已经失效了。

请教如何设置 API 项目版本相关的路由

night_7th — Tue, 27 Oct 2015 20:59:08 +0800

最近接手一项工作，是为部门内部使用的 JIRA 补充一些 API，原有 JIRA API 的格式是这样的：

http://jira.mycompany.com/rest/api/latest/search?jql=相关查询语句

我希望我补充的 API 的格式和原有保持一致，于是我在routes.rb中是这么设置的：

Rails.application.routes.draw do
  namespace :rest do
    namespace :api do
      namespace :v1 do
        get '/search', to: 'issues#search'
      end

      # 我希望latest自动指向v1版本下的controller处理
      match 'latest/*path', to: redirect{|params, request| "/rest/api/v1/#{params[:path]}?#{request.query_string}"} , via: :get
    end
  end
end

然而当我去调用 api 的时候，如果调用的地址格式是/rest/api/v1/search?jql=查询语句，那么返回是 200，一切 OK。当我去调用/rest/api/latest/search?jql=查询语句的时候：

res = Net::HTTP.get_response(URI('localhost:4000/rest/api/latest/search?jql=查询语句'))

在 web 端看一切正常，也重定向到了我所希望的地址。可是由于使用了重定向，导致了返回值是 301。

可是我观察原有 JIRA API 的情况，它在调用/rest/api/latest/search?jql=查询语句的时候，http code 返回值依然是 200。

想请教一下大家，API 项目中，这种latest指向某一版本的情况是怎样实现的？

微信开放平台 Omniauth 探索

night_7th — Sun, 03 May 2015 16:13:57 +0800

准备

最近在折腾网站的微信登录功能，最终希望实现的效果是类似一号店这样的微信登录。

为此首先需要在微信开放平台上注册开发者账号，创建网站应用，获得对应的 AppID 和 AppSecret，并申请微信登录接口。在这个过程中，会被要求填写网站信息，包括授权回调域和官网网址。

这里需要注意的是授权回调域的填写，刚开始我是这么填写的：

example.com/auth/wechat/callback

然而这么填写将会在后面的 OAuth 认证时提示 redirect_uri 参数错误。微信开放平台并没有给出授权回调域的官方填写说明，我是在微信公众平台的开发者文档里看到了这么一段话：

关于网页授权回调域名的说明

请注意，这里填写的是域名（是一个字符串），而不是 URL，因此请勿加 http://等协议头；

授权回调域名配置规范为全域名，比如需要网页授权的域名为：www.qq.com，配置以后此域名下面的页面http://www.qq.com/music.html 、 http://www.qq.com/login.html 都可以进行 OAuth2.0 鉴权。

哦，原来改成这样就可以了：

example.com

调试

接下来，我想的是到底该如何调试，因为授权回调域不能填成 localhost，总不至于在线上调试吧。

搜索后发现有人推荐一款叫 ngrok 的软件，只需要注册并下载 ngrok，就可以通过 ngrok 获得一个外网域名，而这个外网域名实际访问的是本地主机。

具体 ngrok 的注册下载流程省略，按照ngrok 官网一步步来就可以了，这里需要自带梯子。

之后本地执行./ngrok http -subdomain=example 3000，出现下面的画面就算成功啦：那么开发阶段，就把刚才提到的授权回调域改成自己设定的 ngrok 地址吧。

OAuth 流程

整个微信登录的流程是如下图所示的：

OAuth 过程可以使用 omniauth，omniauth 是一个利用 Rack 中间件实现的灵活的认证系统。

omniauth 需要结合具体平台的 strategy 使用，比如你需要做 github 账号的登录，那就需要omniauth-github这个 gem。omniauth 官方列出了社区维护的各个平台的strategy list，我在 list 中找到了微信的 omniauth strategy：omniauth-wechat-oauth2。

具体怎么使用应该首先看看 README 的文档，我读到了这么一句话：

You need to get a wechat API key at: http://mp.weixin.qq.com

这不是微信公众平台的地址么，可我需要的是微信开放平台的 OAuth 认证啊，这两个微信平台的 OAuth 流程是否一致，需要确定下。于是我开始打开了微信开放平台和微信公众平台的 OAuth 流程的文档进行对比，发现果然有些细节处不一致，比如第一步请求 code 时，两者请求地址的形式略有不同，微信开放平台的请求 code 地址是：

https://open.weixin.qq.com/connect/qrconnect?appid=APPID&redirect_uri=REDIRECT_URI&response_type=code&scope=SCOPE&state=STATE#wechat_redirect

而微信公众平台的请求 code 地址却是：

https://open.weixin.qq.com/connect/oauth2/authorize?appid=APPID&redirect_uri=REDIRECT_URI&response_type=code&scope=SCOPE&state=STATE#wechat_redirect

我去查看了 omniauth-wechat-oauth2 的 strategy 源码：

# /lib/omniauth/strategies/wechat.rb
option :client_options, {
  site:          "https://api.weixin.qq.com",
  authorize_url: "https://open.weixin.qq.com/connect/oauth2/authorize#wechat_redirect",
  token_url:     "/sns/oauth2/access_token",
  token_method:  :get
}

这个 authorize_url 的地址显然是微信公众平台请求 code 时的格式，这就意味着这个 gem 并不是我需要的。

不过我发现微信公众平台和微信开放平台的基本 OAuth 流程是类似的，于是我参考 omniauth-wechat-oauth2 的源码，自己实现了微信开放平台的 omniauth strategy，并托管在了GitHub 上。这里感谢一下 omniauth-wechat-oauth2 的原作者 skinnyworm，复用了大部分他的代码。

CSRF 错误

剩下的工作就和其他平台的 OAuth 流程差不多了，这里就不再赘述，具体可以看一下文章后的参考链接。

只是这里遇到了一个 CSRF 错误，特别提一下：

Started GET "/auth/wechat/callback?code=xxxxxxxx&state=xxxxxxxx" for 183.157.160.37 at 2015-04-28 22:26:48 +0800
I, [2015-04-28T22:26:48.017297 #18928]  INFO -- omniauth: (wechat) Callback phase initiated.
E, [2015-04-28T22:26:48.017785 #18928] ERROR -- omniauth: (wechat) Authentication failure! csrf_detected: OmniAuth::Strategies::OAuth2::CallbackError, csrf_detected | CSRF detected
E, [2015-04-28T22:26:48.017891 #18928] ERROR -- omniauth: (wechat) Authentication failure! invalid_credentials: OmniAuth::Strategies::OAuth2::CallbackError, csrf_detected | CSRF detected

这是因为我本地调试时习惯性地打开了 localhost:3000，而我又开启了 ngrok，调试时应该直接打开 example.ngrok.io 的。

参考

railscasts-china 的Omniauth 1

happypeter 的login-with-linkedin

感兴趣的同学还可以拓展阅读下微信开放平台和微信公众平台的区别

Ruby 整理 hash

night_7th — Wed, 18 Mar 2015 19:51:55 +0800

Hi 大家好，我有这么一组 hash：

{"2014-11-22" => 1, "2014-11-30" => 1, "2015-01-02" => 0, "2015-01-22" => 1}

希望能够按月整理成以下这样，遇到相同的月将 hash 的值相加：

{"2014-11" => 2, "2015-01" => 1}

该如何实现呢？...

Rails 的 migration 更改

night_7th — Wed, 19 Nov 2014 17:08:03 +0800

Hi All. 我的项目现在还处在开发阶段. 之前已经通过 migration 创建了我的数据库。现在想修改一下我的数据库表结构。具体只想修改一个字段把t.datetime :start_at 变成 t.date :start_at 我可不可以直接修改已有的 migration 文件呢？难道一定要新增一个 migration 文件么？

我现在把已有的 migration 文件改了，然后在数据库里把原表删除，再执行rake db:migrate 或者rake db:migrate VERSION=序列号,发现数据库还是没有创建出那个表。

Rails 中引入 Bootstrap 的问题

night_7th — Mon, 20 Oct 2014 11:36:32 +0800

Hi 刚接触 Rails 我想在 Rails 中使用 Bootstrap,. 搜索了下，有的说直接把 Bootstrap 的 js 和 css 导入 vendor 目录就可以了。比如这篇教程：http://rvg.me/2013/11/using-bootstrap-3-with-rails-4/ 也有的说导入一些 Gem 包：比如这个：https://github.com/twbs/bootstrap-sass 我想问一下这两种方法有什么区别，哪种更好一些呢？

另外，如果我想换一下 Bootstrap 导航栏的颜色，想换成蓝色，该怎么做呢？