046569

使用 ngx_mruby 打造简易 WAF

046569 — Fri, 22 Apr 2016 22:46:47 +0800

mruby 是什么？

简单的说就是符合 ISO 标准的轻量级 ( 嵌入式 ) 版本的 Ruby .没错，可以拿来直接操作树莓派。

ngx_mruby 是什么？

看名字就知道了，将 mruby 作为模块整合进了 Nginx .类似的还有 ngx_lua .

mruby / ngx_mruby 的优势？

高度可定制
运行快速
内存管理高效

WAF 有什么用？

WAF => Web Application Firewall ,可以用来屏蔽常见的网站漏洞攻击。

如何安装？

Debian wheezy 可以使用这个脚本一键安装。

要点：

memory + swap > 2 G .
会同步编译安装 Nginx 1.9，有洁癖者自行更改。
编译前检查 build_config.rb,注释不需要的组件 ( mrbgems ).

来点实际的？

最近客户碰到个蛋疼骇客，盯着他千疮百孔的DedeCMS不放。由于网站已经经过 N 次开发，阿里云默认的网站防火墙无法识别，短期内又无法升级修补，防护迫在眉睫。对手尝试注入，挂马，失败后又来采集。封了他几次 IP ,人家锲而不舍，搞来一堆肉鸡玩起了 CC .不堪其扰，最后通过定制 WAF 解决。

我裤子都脱了，你就给我看这个？

男人太快真心不 xing 福。

首先设定 Nginx 配置文件。

# Nginx.conf
location /m {
    mruby_content_handler '/root/hello.rb';
}

其次写过滤规则吧，推荐的方法是计算阈值。比如某一 IP 尝试扫描后台风险值 + 1 ,三秒内连续访问超过五次风险值 + 3 ,总计 5 分以上拖入黑名单。注意不要忘记设定白名单.数据库推荐使用 Redis .

# 初始化
def initialize
  @db  = Redis.new('127.0.0.1', 6379)
  @req = Nginx::Request.new
  @ip  = Nginx::Connection.new.remote_ip
end
# 加入黑名单
def add_black_list(msg)
  @db.set "#{@ip}_ban", '1'
  @db.expire "#{@ip}_ban", 10
  err_msg "ban #{@ip}! #{msg}"
end
# 重定向
def redirect(time, score, threshold)
  if score > threshold
    add_black_list("#{score} > #{threshold}")
    clear_time time
    FALSE_BACKEND
  else
    TRUE_BACKEND
  end
end
# 过滤流程示意
def filter
  return TRUE_BACKEND if white_list?
  return FALSE_BACKEND if black_list?
  if bad_ua?
    add_black_list('UA banned!')
    return FALSE_BACKEND
  end
  redirect 5, incr_time(5), 4
  redirect 60, incr_time(60), 30
end

再次写测试吧，怎么写你懂的。不懂去学嘛，不想学就手动测吧，累死你丫的。^_^

最后部署上看看效果，随时调整规则。补充下，最好做个网站后台，便于编辑规则和观察效果。

吡的一声穿越了

046569 — Wed, 29 Jan 2014 23:16:08 +0800

再刷新就正常了，似乎有点诡异

为什么是 binding.pry 而不是 pry.binding?

046569 — Thu, 07 Nov 2013 21:59:53 +0800

也包括 binding.pry_remote，经常写反，设计的初衷是什么？

酷站应该清理下了

046569 — Thu, 07 Nov 2013 00:55:22 +0800

很多网站下线很久了，比如: Do8 乐维面包圈暖岛乐彩生活圈水晶之恋网

有关 Array #join 的 encoding

046569 — Sat, 02 Nov 2013 20:35:01 +0800

起因是这样：昨天有用户反应在网站某处输入中文会报错，查看日志发现Encoding::CompatibilityError (incompatible character encodings: UTF-8 and ASCII-8BIT),很显然编码出了问题。出问题的那行只是将一个 Gem 执行的结果进行了 join，当时的解决办法是 force_encoding. 今天详细尝试了下，发现此 Gem 返回的编码确实在变化，有时候是 UTF-8，有时候是 ASCII-8BIT.而我印象中从 1.9 开始 Ruby 是可以很好处理字符编码的。可是测试结果让我大跌眼镜：

a=['hello']
a.push 'kitty'.force_encoding('ASCII-8BIT')
puts a.join
=> hellokitty

a=['问题']
a.push '错误'.force_encoding('ASCII-8BIT')
puts a.join
=> incompatible character encodings: UTF-8 and ASCII-8BIT (Encoding::CompatibilityError)

至此我认为问题出在#join 上，但 nobu 认为是"Third Party's Issue",理由是"Bugs in gems return ASCII-8BIT strings.". 可是脱离了此 Gem，执行结果仍然不同。为什么不同语言的执行结果不同却不认为是 Bug 呢？谁能详细解释下？

Active Record Migrations 中设置默认值的一个坑

046569 — Sun, 29 Sep 2013 12:57:51 +0800

所有的坑都来自于无知 ,这次也不例外，我又掉坑里了...

先来看段代码：

def change
  add_column :servers, :vip_date, :date, :default => Date.today
end

这是一个很常见的迁移任务，新增一栏，设置默认值。执行迁移也毫无警告，看起来一切都那么美好。而真相其实是这样的：

假设今天是 9 月 9 日：

Server.new.vip_date  #=> Sun, 09 Sep 2013

嗯，看起来很完美。可过了一天你再试试？

Server.new.vip_date  #=> Sun, 09 Sep 2013

见鬼，怎么还是相同的日期？难道Date.today秀逗了？

表象可能有很多种，而真相只有一个：

Active Record Migrations 并不支持 动态默认值,你应该在回调中处理，比如after_initialize.

Ruby On Rails 3.2 升级到 4.0

046569 — Fri, 09 Aug 2013 13:37:38 +0800

以下简称 (R3 和 R4),步骤比较多，做下笔记：

升级你的 Gemfile

Gemfile 中的 Rails 版本修改为gem 'rails', '~>4.0.0',删除assets group.

执行bundle update

如果你希望使用旧的 Model 安全机制，那么要记得添加protected_attributes.

升级配置文件

执行`rake rails:update`

以下参数已经取消：

config.whiny_nils = true
config.action_dispatch.best_standards_support = :builtin
config.active_record.mass_assignment_sanitizer = :strict
config.active_record.auto_explain_threshold_in_seconds = 0.5

以下参数为新增：

config.eager_load = false
config.active_record.migration_error = :page_load

上述参数会自动变更，若是有其他问题自己手动处理下。

config/application.rb

R3 中 application.rb 文件中的 filter_parameters 参数升级成独立的程序了，在 R4 中为 config/initializers/filter_parameters.rb 文件。

若你使用了protected_attributes,记得设置config.active_record.whitelist_attributes = true

config/initializers/secret_token.rb

Ymate::Application.config.secret_token = '旧令牌'
Ymate::Application.config.secret_key_base = '新令牌'

你可以通过使用rake secret来快速生成令牌。

爬虫引起的服务器日志泛滥

046569 — Wed, 29 May 2013 13:03:25 +0800

不知道大家遇到过没有: 经常有些爬虫或者扫描器之类的搞的日志很乱 (经常是阿里云的云盾我会乱说么),正常日志被湮没，比如：

Started GET "/register.php" for 110.75.186.226 at 2013-05-23 05:47:32 +0800

ActionController::RoutingError (No route matches [GET] "/register.php"):
  actionpack (3.2.13) lib/action_dispatch/middleware/debug_exceptions.rb:21:in `call'
  actionpack (3.2.13) lib/action_dispatch/middleware/show_exceptions.rb:56:in `call'
  railties (3.2.13) lib/rails/rack/logger.rb:32:in `call_app'
  railties (3.2.13) lib/rails/rack/logger.rb:16:in `block in call'
  activesupport (3.2.13) lib/active_support/tagged_logging.rb:22:in `tagged'
  railties (3.2.13) lib/rails/rack/logger.rb:16:in `call'
  actionpack (3.2.13) lib/action_dispatch/middleware/request_id.rb:22:in `call'
  rack (1.4.5) lib/rack/methodoverride.rb:21:in `call'
  rack (1.4.5) lib/rack/runtime.rb:17:in `call'
  activesupport (3.2.13) lib/active_support/cache/strategy/local_cache.rb:72:in `call'
  rack (1.4.5) lib/rack/lock.rb:15:in `call'
  rack-cache (1.2) lib/rack/cache/context.rb:136:in `forward'
  rack-cache (1.2) lib/rack/cache/context.rb:245:in `fetch'
  rack-cache (1.2) lib/rack/cache/context.rb:185:in `lookup'
  rack-cache (1.2) lib/rack/cache/context.rb:66:in `call!'
  rack-cache (1.2) lib/rack/cache/context.rb:51:in `call'
  railties (3.2.13) lib/rails/engine.rb:479:in `call'
  railties (3.2.13) lib/rails/application.rb:223:in `call'
  railties (3.2.13) lib/rails/railtie/configurable.rb:30:in `method_missing'
  thin (1.5.1) lib/thin/connection.rb:81:in `block in pre_process'
                                                                                     690,3          5%
  railties (3.2.13) lib/rails/railtie/configurable.rb:30:in `method_missing'
  thin (1.5.1) lib/thin/connection.rb:81:in `block in pre_process'
  thin (1.5.1) lib/thin/connection.rb:79:in `catch'
  thin (1.5.1) lib/thin/connection.rb:79:in `pre_process'
  thin (1.5.1) lib/thin/connection.rb:54:in `process'
  thin (1.5.1) lib/thin/connection.rb:39:in `receive_data'
  eventmachine (1.0.3) lib/eventmachine.rb:187:in `run_machine'
  eventmachine (1.0.3) lib/eventmachine.rb:187:in `run'
  thin (1.5.1) lib/thin/backends/base.rb:63:in `start'
  thin (1.5.1) lib/thin/server.rb:159:in `start'
  thin (1.5.1) lib/thin/controllers/controller.rb:86:in `start'
  thin (1.5.1) lib/thin/runner.rb:187:in `run_command'
  thin (1.5.1) lib/thin/runner.rb:152:in `run!'
  thin (1.5.1) bin/thin:6:in `<top (required)>'
  /usr/local/rvm/gems/ruby-2.0.0-p195/bin/thin:23:in `load'
  /usr/local/rvm/gems/ruby-2.0.0-p195/bin/thin:23:in `<main>'
  /usr/local/rvm/gems/ruby-2.0.0-p195/bin/ruby_noexec_wrapper:14:in `eval'
  /usr/local/rvm/gems/ruby-2.0.0-p195/bin/ruby_noexec_wrapper:14:in `<main>'

有没有什么好方法解决呢？设定个规则触发几次 404 就锁 IP???

全新 10.8 系统无法使用 RVM 安装 Ruby on Rails 环境 (已解决)

046569 — Wed, 17 Apr 2013 09:01:35 +0800

背景：向 MM 传道 Mac 下用 Ruby on Rails 多方便，结果 MM 换了 Mac 后掉 RVM 坑里迄今没爬出来（我也掉进去了）。在 RVM 那发了 issue 目测过了 4 天还未解决。详情请移步 https://github.com/wayneeseguin/rvm/issues/1797 经过反复测试发现 10.7 -->10.8 的系统都正常，而全新的 10.8 无法安装。求拉一把，一个坑里两条人命啊

再丑的媳妇也得见公婆 (YMate)

046569 — Tue, 09 Oct 2012 21:56:30 +0800

连着熬夜好几天，搞了个这么个东西出来... YMate 是目前管理服务器最简单的方式 (自封的...,只支持 Debian 6.X/Ubuntu 10.04),具有如下特点: 简单：无需安装额外的软件，全部操作通过 Web 进行. 纯净：所有软件仅使用官方源 (安装 Discuz! 需要四分钟，由于官方限速有三分半都在下载.),不安装任何额外软件. 高效：一台还是一百台，配置统一环境只需一键 (可自定义).

你只需要添加服务器: 勾选要操作的服务器与任务: 来杯咖啡，稍候片刻即可. 内置的优化模块会根据任务智能进行必要的优化。例如:安装 Discuz! X2.5 会启用 XCache 并调整 SQL 配置。

以上是广告. 整站使用 Ruby On Rails + Shell,Bug 很多，大家想笑就笑吧...

QQ 互联的 SDK,需要的拿去.

046569 — Thu, 31 May 2012 20:29:07 +0800

项目在这：https://github.com/046569/qq

Ruby On Rails 的那个使用方法：

1.丢到lib文件夹去,以后会打包的...
2.在你喜欢的地方定义:
APPID='你的ID'
APPKEY='你的key'
REDURL='&redirect_uri=你的跳转地址'
3.其他就随你喜欢了,都是力气活.

目前已完成的 API: http://wiki.opensns.qq.com/wiki/%E3%80%90QQ%E7%99%BB%E5%BD%95%E3%80%91API%E6%96%87%E6%A1%A3 中所有不需要额外申请权限的，共计十几个吧... 不爽的地方直接在论坛喷，喷完记得 fork 下，我造的轮子都是方的...