yutian (goruby)

在文章中插入视频，浏览文章的时候如何实现视频播放？

yutian — Wed, 10 Sep 2014 16:43:24 +0800

使用富文本编辑器编写博客使用@macrow 的 rails_kindeditor，目前可正常保存文章样式和图片等内容，遇到的问题是：文章显示页面上传的视频却无法播放。查看源码发现视频用的是 embed 方式植入在 body 中，但是文章展示页面文字部分可正常显示，视频部分变为空白无法播放，查看源码如下：

<embed src="/uploads/flash/201409/3a5085aafb30.flv" type="application/x-shockwave-flash" width="550" height="400" quality="high"/>

找到了一篇解决 kindeditor 上传 flv 不能播放的文章 http://webdev.brunoxu.com/archives/1248.html 经过多次次尝试还不大清楚如何实现播放，请教教社区里面的朋友，希望能够提供一些建议，谢谢！

Git 如何实现两个仓库之间进行同步

yutian — Mon, 01 Sep 2014 13:21:33 +0800

如题：一个项目分别提交到两台不同的服务器上，如何实现两个仓库之间的同步？比如 A 仓库项目克隆地址：git@58.32.19.255/user/a.git B 仓库项目克隆地址：git@110.96.1.2 /user/a.git 怎么设置才能实现项目提交后两个仓库之间能够自动同步

批量数据该怎么处理才能减少耗时 (如何用 EventMachine 发送多 http 请求)

yutian — Fri, 06 Jun 2014 17:44:12 +0800

要处理业务系统一张表里面的数据，需要把每一个记录都遍历一次才能任务 job，大概有 10w 数据，通过前台发送一个请求后台使用 find_in_batches 来处理，因为 job 任务处理有些耗时，处理这些数据的时候服务器不能接受其他请求，想把任务转为后台处理，看到网上有说线程，也有说用进程的，试了试 sidekiq 但是效果好些没有什么改进，就采用下面的方法：但是任务处理的很慢

User.find_in_batches(:batch_size => 2000) do |users|
  sleep(50)
  users.each { |user|
    job(usreport)
  }
end

请教各位改怎么改进才能让任务转为后台处理或者加快处理？thx！后来觉得没有必要采用 sidekiq，现在想只用 rack 来完成。

追问：（附 job 主要完成的任务）（1）判断数据库每个记录对应的两个文件 pdf 和 png 是否存在（2）如果不存在要调用 Http 请求去生成对应的文件，并且必须有 pdf 才能生成 png

为了完成上面的任务，（经过@nickcen @mystery @martin @liwei78 的指导）首先采用 rack 任务，把文件不存在的查找一遍，并且标记文件文件是否存在（大概 500s 完成）。之后再去遍历这个记录表，根据文件查找结果记录去请求 url 生成 pdf 和 png；

目前遇到的问题：每次发送 Http 请求需要等待 500 - 700ms 才能执行完请求生成文件，随着程序执行时间越来越长（1000ms 以上），请求会花费更长时间。但是记录里面还有 4w 个文件没有生成的，如果一次性执行这么多请求会出现两个问题：（1）4G 内存可能爆掉，请求终端；（2）总的执行时间太长，大概 8-10h 完成（服务器用的是 Unicorn，多进程服务器）目前采用同步发送请求的方式断断续续的生成了 2w 多 pdf 文件（内存溢出，程序经常中断，花费好几天）

理想的程序执行结果：采用采用多线程异步异步发送 Http 请求缩短程序总的发送请求时间，发送完成后接收方继续执行即可（缩短总的文件生成时间，数分钟即可执行完成）；如果请求失败再次执行请求，直到生成为止；

于是找到了 EventMachine 和 EM-HTTP-Request 这样的异步请求处理工具：采用如下处理过程：先将 pdf 没有生成的记录获取出来，并构造出请求 url 放在 urls 数组中，然后用 EventMachine 发送请求，每次取出 25 个，发送完成后执行下一组 url 请求

代码如下：


desc 'use slice to perform  http request '
task gpdf: :environment do
  urls = []
  a = Time.now.to_i
  p 'generate     use event machine' << a.to_s
  report_ids = UsLog.find_by_sql("select distinct id  ,xml from  us_logs where  pdf ='false'  ")

  #store  all  url in urls
  report_ids.each_with_index do |rep, index|
    id = rep.id
    xml = rep.xml
    gpdf_url =URI("#{HOSTURI}/create_pdf?uuid=#{xml}")
    urls  << gpdf_url

    #record time
    if (index % 1000 == 0)
      b = Time.now.to_i
      c = b - a
      puts index
      puts c
    end
  end

  EventMachine.run {
    multi = EventMachine::MultiRequest.new
    urls.each_slice(25).with_index  do |bulk_urls ,arr_index|
      EM.next_tick do
        #bulk_urls.each {|url| multi.add(url,EventMachine::HttpRequest.new(url).get(:timeout => 5))}
        bulk_urls.each_with_index  {
            |url,index|

          # abc is the unique key of multi http request
          abc  = arr_index* 25 + index

          # add multiple requests to the multi-handler
          multi.add(abc,EventMachine::HttpRequest.new(url).get(:timeout => 5))

        }
      end
    end

    multi.callback {
      p multi.responses[:succeeded]
      p multi.responses[:failed]
      EventMachine.stop
    }
  }
end

程序执行后出现堆栈调用异常，如下：

f42cb438000-7f42cb45a000 r-xp 00000000 08:01 269491                     /lib/x86_64-linux-gnu/ld-2.15.so
7f42cb53b000-7f42cb641000 rw-p 00000000 00:00 0 
7f42cb64c000-7f42cb64d000 rw-p 00000000 00:00 0 
7f42cb64d000-7f42cb654000 r--s 00000000 08:01 3809707                    /usr/lib/x86_64-linux-gnu/gconv/gconv-modules.cache
7f42cb654000-7f42cb655000 ---p 00000000 00:00 0 
7f42cb655000-7f42cb65a000 rw-p 00000000 00:00 0                          [stack:26307]
7f42cb65a000-7f42cb65b000 r--p 00022000 08:01 269491                     /lib/x86_64-linux-gnu/ld-2.15.so
7f42cb65b000-7f42cb65d000 rw-p 00023000 08:01 269491                     /lib/x86_64-linux-gnu/ld-2.15.so
7ffff0940000-7ffff0962000 rw-p 00000000 00:00 0 
7ffff09b2000-7ffff09b3000 r-xp 00000000 00:00 0                          [vdso]
ffffffffff600000-ffffffffff601000 r-xp 00000000 00:00 0                  [vsyscall]


[NOTE]
You may have encountered a bug in the Ruby interpreter or extension libraries.
Bug reports are welcome.
For details: http://www.ruby-lang.org/bugreport.html

不知为何会出现上面的错误，并且 IDEshell 中和系统的终端执行结果也不一样； Ubuntu 自带系统终端中没有错误输出，最终 callback 中打印的信息为 null IDE（rubymine）的 shell 输出如上，提示段转储错误

最终请求没有发送成功，接收方的 server 没有任何日志输出，请教做过类似多请求并发处理的大大们给些指导建议，再次感谢！ @hooopo @pzgz @skandhas @luikore @zw963

聊聊 Gitlab 的钩子问题

yutian — Fri, 25 Apr 2014 17:32:54 +0800

项目频繁需要提交部署到测试机器上，因此想实现类似 Heroku 平台上的提交代码实现部署，因此接触了 Git 里面的钩子 hook，并对钩子进行了解。项目采用 Gitlab 管理代码，因此到服务器上对项目路径下的 hooks post-receive 脚本做了修改，终于实现了自动部署。但是，新的问题产生了： Gitlab 上每一个项目 push 的时候，我们的项目都会实现部署，太令人 amazing 了！！ 于是又回到 Gitlab 服务器去查看钩子里面的内容。当用 ls -al 查看 hooks 下的内容时候，谜底突然揭开： Gilab 上所有项目库下的 hooks post-receive 都链接到 gitlab-shell/hooks/post-receive 这个脚本上，取消自己项目里钩子到 gitlab-shell 下的链接 link 把部署的脚本单独写到自己项目的 post-receive，问题终于解决。问题原因：shell 到 server 后，终端不支持彩色高亮显示，全部是白色显示，无法分清楚文件、目录和链接，对 bashrc 做下修改即可。具体为啥让所有项目的 hooks 都链接到同一个文件，这个就不去揣测了

附 bashrc 内容：

alias ls='ls --color=auto' alias grep='grep --color=auto'

#export PS1='/h:/w/$ ' umask 022

You may uncomment the following lines if you want `ls' to be colorized:

export LS_OPTIONS='--color=auto' eval "dircolors" alias ls='ls $LS_OPTIONS' alias ll='ls $LS_OPTIONS -l' alias l='ls $LS_OPTIONS -lA'

Mongodb 安装慢到极致

yutian — Thu, 20 Mar 2014 09:51:44 +0800

想换个 mongodb 来和 pg 对比下，在 ubuntu 上进行安装的，脚本参考的是 @huacnlee大大的 https://github.com/huacnlee/init.d/blob/master/install_mongodb 结果安装了 4 个多小时才安装完（10k/s 的速度下载的），不知道大家在安装时候有没遇到此种情况和好的解决办法。

如何请求远程的 pdf 文件，然后把请求的文件 render 到新打开的页面

yutian — Fri, 29 Nov 2013 18:09:53 +0800

背景介绍：本地 server 要访问文件服务器上的一个文件，两者不是同一个服务器，需要在请求到 pdf 文件后，render 到新打开的标签页。尝试采用生成新 pdf 方式，生成新的空白 pdf 文件可以正常在新页面打开 (用 user 作为测试没问题) 遇到问题：请求远程的文件内容后追加到新的空白文档时提示不能包含非 utf8 编码的文件 Arguments to text methods must be UTF-8 encoded 不知道用这种思路解决问题是否合适？请教各位高人指点，谢谢！@Rei @leopku @nightire @ruby_sky

class FileController < ApplicationController
  require 'net/http'
  require 'open-uri'
  def show
    user= User.find(3)
    send_data generate_pdf(user),
              :filename => "#{user.name}.pdf",
              :type => "application/pdf",
              :disposition => "inline"
  end

  private

  def generate_pdf(user)
   # uri ='http://192.168.1.100/pdf/2347bdb5adf1c81775836b.pdf'
    uri = 'www.cninfo.com.cn/finalpage/2013-08-29/63017888.PDF'
    remote_full_url = URI(uri)
    remote_data = open(remote_full_url).read
    puts remote_data
    Prawn::Document.new do
      text user.name, :align => :center
     #如果text后面的是remote_data的时候提示Arguments to text methods must be UTF-8 encoded
    end.render

  end
end

production 环境找不到 Extjs4 样式中的图片路径

yutian — Wed, 07 Aug 2013 09:57:44 +0800

项目背景描述: raisl4 中使用了 Extjs4，把 Extjs4 的库和 css 放在 vendor 目录下， vendor 目录结构如下 javascripts

│   └── extjs4
│       └── ext-all-dev.js
└── stylesheets
    └── extjs4
        └── resources
            ├── css
            │   └── ext-all.css
            ├── ext-theme-access
            │   └── images
            ├── ext-theme-classic
            │   └── images
            ├── ext-theme-neptune
            │   └── images
            │       ├── btn
            │       │   ├── btn-default-large-bg.gif

修改 production.rb 中的配置

config.serve_static_assets = false
config.assets.compile = false
config.assets.digest = true

修改为：

config.serve_static_assets = true  （不设置为true找不到 extjs相关文件）
config.assets.compile = true 
config.assets.digest = false  （这个大概是改变assets文件的url的）

现在加载 ext-all-dev.js 没有问题，但是加载图片的时候就不正常了， application.css 中内容 require extjs4/resources/ext-theme-classic/ext-theme-classic-all ext-theme-classic-all 这个文件中有类似 url(images/slider/slider-v-thumb.gif) 和 corners:url(images/btn/btn-default-small-pressed-corners.gif) 。项目去寻找 slider-v-thumb.gif 的时候提示找不到图片路径，发出的请求类似是： http://localhost:5000/assets/images/sizer/ne-handle.gif 图片路径出现错误，不知道各路神仙有何高见，还请不吝赐教，提前谢谢诸位！

Rails 4 Can't mass-assign protected attributes for XXXcontroller

yutian — Thu, 25 Jul 2013 22:48:25 +0800

使用 rails4 从前台获取参数，在 create 的时候出错，提示信息如下：

WARNING: Can't mass-assign protected attributes for  XXX: name, spell_code, , insurance_number
    app/controllers/XXXX_controller.rb:32:in `create'
   (0.2ms)  BEGIN
  SQL (5.7ms)  INSERT INTO "XXXX" ("created_at", "updated_at") VALUES ($1, $2) RETURNING "id"  [["created_at", Thu, 25 Jul 2013 14:20:45 UTC +00:00], ["updated_at", Thu, 25 Jul 2013 14:20:45 UTC +00:00]]

保存到数据库时候，参数消失，只保存了 create update _at 两个信息，折腾了一天了，崩溃 ing，求教各位大侠赐教@lgn21st @Rei

rails 文档中的 engine 无法创建 comments

yutian — Tue, 04 Jun 2013 21:34:50 +0800

背景：最近想把项目实现模块化，于是看到了 rails 的 engine 这一章节，照着文档（http://guides.ruby-china.org/engines.html）走了一半，出现问题就再也走不下去了问题：走到 3.2 节最后一部分，对 post 添加评论后出现了 route 错误: No route matches {:action=>"show", :controller=>"blorgh/posts"} 路由配置如下：

resources :posts resources :posts do resources :comments end root :to => "posts#index" 项目源码已经推送到 github：git@github.com:rubylab/blorgh.git ，还望各位大哥，大神们不吝指教，@Rei @jasl。在此先谢过诸位！

GitLab 搭建遇到的两个问题克隆和 push pull 需要输入用户名和密码，只能采用 http 方式

yutian — Wed, 08 May 2013 11:09:16 +0800

新搭建了 GITLab5.1，用的是 LDAP 登陆，粘贴了自己的公钥到 gitlab 上，目前可以克隆 pushpull 等操作，但只能用 http 地址 http://192.68.1.10/root/aaa.git 换为 ssh 地址 git@192.68.1.10:root/aaa.git 之后就会提示“fatal: The remote end hung up unexpectedly” ；更令人郁闷的是每次进行 push、pull、clone 时候都需要输入 ldap 的用户名和密码之后才能完成相应操作，求教给如何配置才能避免上面两个问题？ @Saito @lgn21st @gene_wu