lithium4010 (屎丸)

KMP next 数组构建的理解

lithium4010 — Mon, 23 Mar 2020 22:30:05 +0800

研究这个的动机是因为 https://leetcode.com/problems/longest-happy-prefix/ 这个周赛题不会

然后看了很多网上讲解 KMP 的博客，发现还是不理解。因为很多到了求“最长相等前后缀”这一步就略过了或者讲的不好理解。

这里 next[i] 等于 s[0..i] 这个子串的最长相等前后缀。目的是希望根据 next[0..i] 和 s[0..i+1] 求 next[i+1]

因为 s[0...next[i]] == s[(i-next[i]+1)..i]，所以当 s[next[i]] == s[i+1] 的时候，我们找到了匹配，有 next[i+1] = next[i] + 1 。

比如 "ccbccc" 这个字符串有 next = [0, 1, 0, 1, 2, 2]，考察 i = 3 时，next[3] == 1, s[1] == 'c' == s[4]，所以 next[4] = next[3] + 1 = 2。

难点是如果 s[next[i]] != s[i+1]，应该如何计算 next[i+1]。首先显然 next[i+1] 会小于等于 next[i]。即如果有匹配，s[i+1] 会匹配上 s[0...next[i]] 之间的某一个字符，也就是

匹配的位置会向前移动

问题是移到哪个位置 j，可以确保 s[0...j] == s[(i-j+1)..i] 且 j 最大，这样可以再次通过比较 s[j] 和 s[i+1] 来确定 next[i+1] 的值。

s[0...j] 是 s[0..i] 的一个前缀，s[(i-j+1)..i] 是 s[0..i] 的一个后缀，且满足 s[0...j] == s[(i-j+1)..i]，j < next[i]

换句话说，我希望找到s[0..i]的一个第二长的相等前后缀来尝试匹配，如果不匹配，就尝试找第三长的，最后可能和 s 的第一个字符比较。

s[0..i]最长的相等前后缀长度是 next[i]，次长是什么呢？

应该是 s[0...next[i]] 的最长相等前后缀的长度

代换一下变量，s[0...next[i]] == s[0..(next[i] - 1)] => 次长为 next[next[i] - 1] => j = next[next[i] - 1]

第三长的为 s[0...next[next[i] - 1]] 的最长相等前后缀的长度

以此类推

j = next[next[i] - 1] // 第二长
j = next[j - 1]  // 第三长

比如 "ccbccc" 这个字符串有 next = [0, 1, 0, 1, 2, 2]，考察 i = 4 时，next[4] == 2, s[2] == 'b' != s[5]，这时尝试检查 j = next[next[4] - 1] = next[1] = 1 位置 s[j] = s[1] = 'c' = s[i + 1]，匹配成功，next[5] = j + 1 = 1 + 1 = 2

最后贴一段代码

impl Solution {
    pub fn longest_prefix(s: String) -> String {
        let cs: Vec<char> = s.chars().collect();
        let mut next = vec![0; s.len()];
        for i in 1..s.len() {
            // find match
            if cs[next[i-1]] == cs[i] {
                next[i] = next[i-1] + 1;
                continue;
            }

            if next[i-1] == 0 { continue; }

            // not find, decrease j to try match
            let mut j = next[next[i-1] - 1];
            while j >= 0 {
                if cs[j] == cs[i] {
                    next[i] = j + 1;    
                    break;
                }

                if j == 0 { break; }

                j = next[j-1];
            }
        }
        s[0..next[s.len() - 1]].to_string()
    }
}

QA 不写测试用例，大家怎么看？

lithium4010 — Fri, 27 Jul 2018 22:51:58 +0800

小团队十来个人，一个 QA，女。工作认真负责。就是不写测试用例，认为增量测试就可以了，写用例浪费时间，怎么破？

推荐大家使用 ruby:2.5.1-alpine 镜像

lithium4010 — Fri, 18 May 2018 17:59:26 +0800

内存超稳定，内存占用也小，墙裂推荐。

论坛里面杠精很多，有没有人有同感？

lithium4010 — Sun, 29 Apr 2018 08:37:02 +0800

一般大家都是找喷点先喷为敬

使用 docker-api gem 连接管理阿里云 swarm mode 集群

lithium4010 — Fri, 19 Jan 2018 13:45:55 +0800

按照阿里云的文档进行操作。

实测下载好证书，配置好环境变量后，可以很容易成功使用 docker 命令连接到集群。

在使用 docker-api 连接时遇到无法连接的问题。

通过查看源码，调整配置参数 Docker.options[:debug_response] = true，发现 response 如下：

Excon::Error::NotAcceptable: Expected([200, 201, 202, 203, 204, 301, 304]) <=> Actual(406 Not Acceptable)
excon.error.response
  :body          => "Sorry, your version is too low!\nPlease use Docker Client over 1.8, Docker REST API over 1.20.\n\n"
 .....
  :path          => "/v1.16/info"
 .....

可以看到这里把版本锁在了 v1.16 github 上搜索发现作者已经提交了一个 pr https://github.com/swipely/docker-api/pull/510 fork 代码，手动 merge 他的 pr 利用 specific_install 来安装到本地

gem install specific_install
gem specific_install -l https://github.com/xxxxx/docker-api.git

之后就可以正常使用 docker-api 管理集群了

PS：作者应该会在之后把这个 pr 合并到 master

Mongoid 在数据库无法访问时是否会自动重连？

lithium4010 — Tue, 28 Nov 2017 15:24:11 +0800

生产事故

之前生产环境发生了因为阿里云运维数据库导致所有 puma 进程以及 sidekiq 进程无法链接数据库，报错

Mongo::Error::NoServerAvailable: No server is available matching preference

重启应用实例后恢复正常链接。

试图复现问题

起一个rails c 连接生产数据库，执行以下脚本

loop do
  begin 
    puts Document.count
    sleep 3
  rescue Mongo::Error::NoServerAvailable => e; 
    puts e.message
  end
end

控制台正常输出文档数目。

主机添加 iptables 规则 block 掉数据库端口的访问

sudo iptables -A OUTPUT -p tcp --dport xxxxxx -j DROP

等待发现控制台报错

No server is available matching preference ...

恢复数据库访问

sudo iptables -D OUTPUT -p tcp --dport xxxxxx -j DROP

等待后发现控制台恢复正常输出文档数目。

求助

根据上面的测试我认为 mongoid 是会自动处理数据库挂机后的重连的，那么生产事故是如何发生的？当时为何没有自动重连？

公司同事喜欢把生产环境密码提交到 GitHub 里面怎么办？

lithium4010 — Tue, 04 Jul 2017 14:55:24 +0800

说了很多次也不听，求助

[转自微博 @ 网路冷眼] Rooby: a Ruby-like object oriented language written in Go

lithium4010 — Tue, 25 Apr 2017 07:25:03 +0800

【Rooby: a Ruby-like object oriented language written in Go】http://t.cn/RXpMVSt Rooby：用 Go 语言编写的类 Ruby 面向对象语言。

Docker 改名了，大家怎么看？

lithium4010 — Sun, 23 Apr 2017 21:55:39 +0800

https://news.ycombinator.com/item?id=14156954

有没有人用过 composite pattern?

lithium4010 — Thu, 09 Mar 2017 22:47:21 +0800

将对象组合成树形结构以表示“整体—部分”的层次结构。Composite 模式使单个对象和组合对象的使用具有一致性

这个模式在实际开发中有什么常见的应用呢？

[BUG] 安卓客户端选择话题节点无法下拉

lithium4010 — Thu, 16 Feb 2017 22:01:05 +0800

下拉会触发滚动刷新。

Sidekiq 并发控制的一个小 trick

lithium4010 — Thu, 16 Feb 2017 21:57:23 +0800

场景是 n 个耗时任务 A 需要执行，每个任务 A 之间互不影响，希望在 A 全部执行完成后开始执行某任务 B。

利用 sidekiq 来并行执行 A，当并发数 q << n 时，只需要将 n 个任务 A 和一个任务 B 先后插入同一个 sidekiq 队列。若单个任务 A 最多耗时 t，则任务 B 执行前 sleep T，使得 T > t 即可。

这里利用了 sidekiq 队列先进先出的特点来进行并发控制。

后来想了一下，其实就是当并发数远小于任务数的时候，可以近似看做是顺序执行。Trick 在需要知道 sidekiq 实现的细节，同一队列任务确实是先进先出。

Mina 升 1.0 后的差异

lithium4010 — Wed, 18 Jan 2017 15:55:58 +0800

invoke 'bundle:install'

before 0.3.x

echo "-----> Installing gem dependencies using Bundler"
    mkdir -p "/root/server/project/shared/bundle"
    mkdir -p "./vendor"
    ln -s "/root/server/project/shared/bundle" "./vendor/bundle"
    bundle install --without development:test --path "./vendor/bundle" --deployment

after 1.x

echo "-----> Installing gem dependencies using Bundler" &&
  bundle install --without development test --path "vendor/bundle" --deployment

可以看出旧版的 bundle 会复用，而新版每次都重装一遍新的

Sidekiq 定时任务的尝试

lithium4010 — Tue, 17 Jan 2017 16:47:30 +0800

补充一下 crontab 是我之前用的方式，另外有同事正在使用 sidekiq_cron

我觉得这两种方式都有痛点：

crontab

和 docker 的结合不好做
每次起任务都是新的进程，如果结合 rake 的话不注意会需要不少临时内存

sidekiq_cron

相当于 monkey-patch 了 Sidekiq

两者都需要注意任务重复触发的问题。

利用 sidekiq 自带的 perform_in & perform_at 实现 schedule 的问题目前我看来就是实现起来不如前面二者简便，不能直观看出系统中有哪些计划任务

尝试利用 sidekiq 自身的 perform_in 来实现每分钟定时任务

大家是否试过这种做法，有什么样的坑？

首先这个每分钟任务是可以接受初始化的时候多执行几次的，但是应该随时间快速收敛到只有一个。

这个方案的好处是不管部署了多少个实例，跨了多少个服务器，任务计划总是一份。

# initializers/schedule_seeds.rb

SchedulePerMinuteWorker.perform_async

require 'sidekiq/api'

class SchedulePerMinuteWorker
  include Sidekiq::Worker

  def perform
    # 清除重复的任务计划
    Sidekiq::ScheduledSet.new.select {|job| job.klass == self.class.name }.each(&:delete)

    run_schedule_works

    # 结束时将自己推入
    SchedulePerMinuteWorker.perform_in(1.minute)
  end

  # 每分钟执行的任务
  def run_schedule_works
    # TODO 业务逻辑
  end
end

我发现大部分的定时任务都不需要特别精确，能否举例一些业务场景需要用到精确的定时任务？

Docker 的一个问题

lithium4010 — Tue, 17 Jan 2017 10:35:37 +0800

Error response from daemon: Driver devicemapper failed to remove root filesystem bf2c26ae5f4f341734644a2c3a5a357587604802a4ddd03a48db8251e7266d3e: Device is Busy

/lib/systemd/system/docker.service 添加一个 Unit

MountFlags=slave

redis-ruby 3.3.2 不能用

lithium4010 — Mon, 16 Jan 2017 19:05:24 +0800

用了就各种链接超时，退回 3.3.1 就好了

Ruby 升级到 2.4.0 后 mongoid 的问题

lithium4010 — Mon, 16 Jan 2017 17:01:01 +0800

MRI 的 BUG，等 2.4.1

https://bugs.ruby-lang.org/issues/13107

wrong argument type Integer (expected Proc)

/usr/local/lib/ruby/2.4.0/forwardable.rb:228:in `database'
/server/vendor/bundle/ruby/2.4.0/gems/mongo-2.4.1/lib/mongo/cursor/builder/kill_cursors_command.rb:51:in `specification'
/server/vendor/bundle/ruby/2.4.0/gems/mongo-2.4.1/lib/mongo/cursor.rb:217:in `kill_cursors_op_spec'
/server/vendor/bundle/ruby/2.4.0/gems/mongo-2.4.1/lib/mongo/cursor.rb:64:in `initialize'
/server/vendor/bundle/ruby/2.4.0/gems/mongo-2.4.1/lib/mongo/collection/view/iterable.rb:42:in `new'
/server/vendor/bundle/ruby/2.4.0/gems/mongo-2.4.1/lib/mongo/collection/view/iterable.rb:42:in `block in each'
/server/vendor/bundle/ruby/2.4.0/gems/mongo-2.4.1/lib/mongo/retryable.rb:51:in `read_with_retry'
/server/vendor/bundle/ruby/2.4.0/gems/mongo-2.4.1/lib/mongo/collection/view/iterable.rb:39:in `each'
/server/vendor/bundle/ruby/2.4.0/gems/mongoid-6.0.3/lib/mongoid/query_cache.rb:222:in `each'
/server/vendor/bundle/ruby/2.4.0/gems/mongoid-6.0.3/lib/mongoid/contextual/mongo.rb:430:in `reduce'
/server/vendor/bundle/ruby/2.4.0/gems/mongoid-6.0.3/lib/mongoid/contextual/mongo.rb:430:in `pluck'
/server/vendor/bundle/ruby/2.4.0/gems/mongoid-6.0.3/lib/mongoid/contextual.rb:20:in `pluck'
/server/vendor/bundle/ruby/2.4.0/gems/mongoid-6.0.3/lib/mongoid/findable.rb:15:in `pluck'

升级到 2.4.0 后收到的一些 warning

lithium4010 — Mon, 16 Jan 2017 16:12:52 +0800

/server/vendor/bundle/ruby/2.4.0/gems/activesupport-5.0.1/lib/active_support/xml_mini.rb:51: warning: constant ::Fixnum is deprecated
/server/vendor/bundle/ruby/2.4.0/gems/activesupport-5.0.1/lib/active_support/xml_mini.rb:52: warning: constant ::Bignum is deprecated
/server/vendor/bundle/ruby/2.4.0/gems/activesupport-5.0.1/lib/active_support/core_ext/numeric/conversions.rb:138: warning: constant ::Fixnum is deprecated
/server/vendor/bundle/ruby/2.4.0/gems/elasticsearch-transport-5.0.0/lib/elasticsearch/transport/transport/base.rb:52: warning: constant ::Fixnum is deprecated
/server/vendor/bundle/ruby/2.4.0/gems/elasticsearch-transport-5.0.0/lib/elasticsearch/transport/transport/base.rb:54: warning: constant ::Fixnum is deprecated
/server/vendor/bundle/ruby/2.4.0/gems/redis-3.3.2/lib/redis/client.rb:459: warning: constant ::Fixnum is deprecated
/server/vendor/bundle/ruby/2.4.0/gems/activejob-5.0.1/lib/active_job/arguments.rb:38: warning: constant ::Fixnum is deprecated
/server/vendor/bundle/ruby/2.4.0/gems/activejob-5.0.1/lib/active_job/arguments.rb:38: warning: constant ::Bignum is deprecated
/server/vendor/bundle/ruby/2.4.0/gems/redis-3.3.2/lib/redis/client.rb:459: warning: constant ::Fixnum is deprecated
/server/vendor/bundle/ruby/2.4.0/gems/elasticsearch-transport-5.0.0/lib/elasticsearch/transport/transport/base.rb:52: warning: constant ::Fixnum is deprecated
/server/vendor/bundle/ruby/2.4.0/gems/elasticsearch-transport-5.0.0/lib/elasticsearch/transport/transport/base.rb:54: warning: constant ::Fixnum is deprecated
/server/vendor/bundle/ruby/2.4.0/gems/elasticsearch-transport-5.0.0/lib/elasticsearch/transport/transport/base.rb:52: warning: constant ::Fixnum is deprecated
/server/vendor/bundle/ruby/2.4.0/gems/elasticsearch-transport-5.0.0/lib/elasticsearch/transport/transport/base.rb:54: warning: constant ::Fixnum is deprecated
/server/vendor/bundle/ruby/2.4.0/gems/redis-3.3.2/lib/redis/client.rb:459: warning: constant ::Fixnum is deprecated
/server/vendor/bundle/ruby/2.4.0/gems/redis-3.3.2/lib/redis/client.rb:459: warning: constant ::Fixnum is deprecated

Thin 现在好像还不能支持 Ruby 2.4.0，有什么办法吗？还是说暂时只能等一等？

lithium4010 — Mon, 16 Jan 2017 11:27:17 +0800

已解决

https://github.com/flori/json/issues/303

直接升级的话会报错

Gem::Ext::BuildError: ERROR: Failed to build gem native extension.

       current directory:
       /server/vendor/bundle/ruby/2.4.0/gems/json-1.8.3/ext/json/ext/generator
       /usr/local/bin/ruby -r ./siteconf20170116-11-20pdry.rb extconf.rb
       creating Makefile

       current directory:
       /server/vendor/bundle/ruby/2.4.0/gems/json-1.8.3/ext/json/ext/generator
       make "DESTDIR=" clean

       current directory:
       /server/vendor/bundle/ruby/2.4.0/gems/json-1.8.3/ext/json/ext/generator
       make "DESTDIR="
       compiling generator.c
       generator.c: In function 'generate_json':
       generator.c:861:25: error: 'rb_cFixnum' undeclared (first use in this function)
            } else if (klass == rb_cFixnum) {
                                ^
       generator.c:861:25: note: each undeclared identifier is reported only once for
       each function it appears in
       generator.c:863:25: error: 'rb_cBignum' undeclared (first use in this function)
            } else if (klass == rb_cBignum) {
                                ^
       generator.c: At top level:
       cc1: warning: unrecognized command line option "-Wno-self-assign"
       cc1: warning: unrecognized command line option "-Wno-constant-logical-operand"
       cc1: warning: unrecognized command line option "-Wno-parentheses-equality"
       cc1: warning: unrecognized command line option "-Wno-tautological-compare"
       Makefile:241: recipe for target 'generator.o' failed
       make: *** [generator.o] Error 1

       make failed, exit code 2

       Gem files will remain installed in
       /server/vendor/bundle/ruby/2.4.0/gems/json-1.8.3 for inspection.
       Results logged to
       /server/vendor/bundle/ruby/2.4.0/extensions/x86_64-linux/2.4.0/json-1.8.3/gem_make.out

Oj.dump 一个 NaN 会出现 PI

lithium4010 — Thu, 01 Dec 2016 14:21:58 +0800

发现一个有趣的现象


# ruby 2.3.1p112 (2016-04-26 revision 54768) [x86_64-darwin14]
# oj (2.18.0)

2.3.0 :006 > Oj.dump({a: (0 / 0.to_f)})
=> "{\":a\":3.3e14159265358979323846}"