wujian_hit (wj)

nohup rvm ruby 不知为何不能运行

wujian_hit — Thu, 13 Nov 2014 01:41:22 +0800

sce.sh:


source /home/admin/.rvm/environments/ruby-2.1.2@rails4

ruby /export/Data/wj/schedule/update_middle_page_mediaid.rb

nohup sh sce.sh &

显示挂起了 job，但是 .rb 中写入 file 并未成功。

iOS 自带邮件客户端正文如何加入锚点？

wujian_hit — Wed, 29 Oct 2014 23:24:53 +0800

rt。类似于 tab0 这种 html 会在邮件正文中被 ios 解析成 url，点击它直接跳到浏览器，这样子无法进行邮件正文导航的页面滚动。

求问各位大神，有没有解决方案。公司副总裁用 iphone 看邮件报表，说有这个问题。难倒了我们一众开发。

JAXB 比起 Nokogiri 真是太难用了。。。

wujian_hit — Tue, 14 Oct 2014 20:29:51 +0800

在 ruby 下被 Nokogiri 惯坏的孩子，换成 JAVA 用 JAXB 解 xml 真是累觉不爱。JAVA 真是太不舒服了。

Ruby 很小众吗？今天被同事说 Ruby 很小众，几乎没未来。

wujian_hit — Mon, 28 Jul 2014 15:11:02 +0800

毕业后，进入了一家公司做大数据统计分析。中午闲聊，同事如此说，让我很不爽。

中文分词 gem－nlpir 已与 ICTCLAS2014 同步，所有 bug 均已修复。

wujian_hit — Thu, 03 Apr 2014 12:00:41 +0800

nlpir 使用 ruby2.0 fiddle 模块封装，最新版本 1.0.0 封装自 ICTCLAS2014 最新版本，完美支持 linux x86 x64，之前反应的用户词典 bug 已经修复。并且，新版的 gem 提供了 ruby 风格的函数，使用更简单。旧贴已更新

nlpir@github nlpir@rubygems

欢迎使用～！

gem push 这次用 goagent 都不管用。。。

wujian_hit — Wed, 02 Apr 2014 20:21:48 +0800

$: export http_proxy=127.0.0.1:8087
$: gem push xxx.gem

ERROR:  While executing gem ... (Gem::RemoteFetcher::FetchError)
    too many connection resets (https://rubygems.org/api/v1/gems)

无语，求助啊！！

写了一个中文词语语义相似度分析的 gem－tyccl (基于同义词词林)

wujian_hit — Fri, 24 Jan 2014 22:41:11 +0800

中文词语语义相似度分析 gem——Tyccl

感谢@billy @luikore 提出的宝贵意见已将实现方式更改为类方法，谢谢！

Tyccl on github and Tyccl on rubygem

词表和分析基础为同义词词林（哈工大扩展版）

功能简介：

获取任意两个词语的语义距离（distance）
获取任意两个词语的相似度（sim 值）
获取任意词语的同义词、近义词（同义扩展）

性能分析：

查找算法使用 Trie 树和 Hash, 时间复杂度为 O(n)，n<=5
Tyccl 在定义类时就已初始化，所有方法均为类方法

使用方法：

$ gem install tyccl
一个简单的例子：


  require 'tyccl'

    result = Tyccl.dist("西红柿","黄瓜") # => #<struct Result_t value=2, x_id="Bh06A32=", y_id="Bh06A34=">
       puts result.value
       puts result.x_id
       puts result.y_id

   result = Tyccl.sim("西红柿","黄瓜") # => #<struct Result_t value=0.42891, x_id="Bh06A32=", y_id="Bh06A34=">
       puts result.value
       puts result.x_id
       puts result.y_id

    m = Tyccl.get_similar("人")  
    puts m
    #[  ["人", "士", "人物", "人士", "人氏", "人选"],
   #   ["成年人", "壮年人", "大人", "人", "丁", "壮丁", "佬", "中年人"],
   #   ["身体", "人"],
   #   ["人格", "人品", "人头", "人", "品质", "质地", "格调", "灵魂", "为人"],
   #   ["人数", "人头", "人口", "人", "口", "丁", "家口", "食指", "总人口"]    ]

gem 提供更多 methods 请参见tyccl api doc

如何让 gem push 快一些啊？慢死，对大墙简直无语。

wujian_hit — Wed, 04 Dec 2013 13:00:23 +0800

如题。

天了噜，heroku 让我升级到 2 x dony。。。

wujian_hit — Fri, 18 Oct 2013 20:53:13 +0800

如题，webapp 在跑了 30 天之后被 halt 了。。。这个 app 只是提供一个 webservice，实验室内部用。。。不想交钱。。。怎么办？

哈工大 LTP-Cloud 提供自然语言处理服务的 ruby 接口

wujian_hit — Wed, 11 Sep 2013 12:18:45 +0800

哈工大 LTP-Cloud

语言云（语言技术平台云 LTP-Cloud）是由哈工大社会计算与信息检索研究中心研发的云端自然语言处理服务平台。后端依托于语言技术平台，语言云为用户提供了包括分词、 词性标注 、 依存句法分析 、 命名实体识别 、 语义角色标注 在内的丰富高效的自然语言处理服务。

语言云已经提供了包括 C++，Java，C#，Python，Ruby在内的客户端，其他编程语言的客户端也在开发之中。

语言技术平台面向国内外大学、中科院各研究所以及个人研究者免费开放源代码，但如上述机构和个人将该平台用于商业目的（如企业合作项目等）则需要付费。

====

语言技术平台（Language Technology Platform，LTP）是哈工大社会计算与信息检索研究中心历时十年研制的一整套开放中文自然语言处理系统。 LTP制定了基于XML的语言处理结果表示，并在此基础上提供了一整套自底向上的丰富、高效、高精度的中文自然语言处理模块 （包括词法、句法、语义等5项中文处理核心技术，在多次国内外技术评测中获得优异成绩， 特别是获得CoNLL 2009国际句法和语义分析联合评测的第一名），应用程序接口，可视化工具，以及能够以网络服务使用的语言技术云。 学术版LTP已共享给500多家研究机构免费使用，百度、腾讯、华为、金山等企业付费使用LTP商业版本。 2010年，LTP荣获行业最高奖--“钱伟长中文信息处理科学技术一等奖”。

通过分析 GitHub 获得你的工作习惯和偏好

wujian_hit — Tue, 10 Sep 2013 14:22:28 +0800

今天在微博上看到有人分享的 http://osrc.dfm.io/ 分析 GitHub 的数据获得你的工作习惯和偏好。

使用 ruby::fiddle 封装动态链接库

wujian_hit — Tue, 30 Jul 2013 22:04:12 +0800

environment require: ruby2.0.0 & libffi

在 ruby2.0.0 中 stdlib 里内置了 fiddle。fiddle 是 ruby 语言用来包装其他语言函数接口的一个扩展。fiddle is based on libffi，libffi 是一个非常流行的 c 库，它允许用一种语言代码包装另一语言的接口，实现跨语言的调用。

1. 环境准备 Linux 下初次使用 fiddle 需要安装 libffi_dev
Windows 下只要在安装 ruby 时勾选安装 DevKit 就可以使用

sudo apt-get install libffi_dev
rvm reinstall 2.0.0

2. 一个简单的例子调用/lib/i386-linux-gnu/libm.so.6中的 floor 函数

函数原型：double floor(double)
ruby 包装：

require 'fiddle'
libm = Fiddle.dlopen('/lib/i386-linux-gnu/libm.so.6')
floor = Fiddle::Function.new(
    libm['floor'],
    [Fiddle::TYPE_DOUBLE],
    Fiddle::TYPE_DOUBLE
    )
#使用
puts floor.call(3.14159)

3. 代码解释

Fiddle.dlopen(#{Path})，与 c 中调用动态链接库方法名相同 dlopen

Fiddle::Function.new(函数名，参数，返回值)

多个参数则：

so = Fiddle.dlopen('×××.so') 
func = Fiddle::Function.new(
    so['funcname'],

    [Fiddle::TYPE_DOUBLE,
     Fiddle::TYPE_INT,
     Fiddle::TYPE_VOIDP,
     Fiddle::TYPE_CHAR],

     Fiddle::TYPE_VOIDP
    )

Fiddle 中定义了 C 对应的数据类型TYPE_CHAR，TYPE_INT，TYPE_FLOAT，TYPE_DOUBLE，TYPE_LONG，布尔型和 int 型相同，指针则一律使用TYPE_VOIDP,结构体、共用体也有对应的类可供使用。详见：ruby-rdoc-Fiddle 文档

4. 写一个相对复杂的例子 (结构体、内存操作)

c 语言中我们经常会动态 malloc 内存，甚至有时会组织返回一块内存，来实现大块数据的返回和传递，现在有一段 c 语言实现：

typedef struct st_term{
    int id;
    int weight;
    float detail[5];
    char used;
} term;

term * get_terms(char* string, int* strlength){
    term *pterm;
    int count;
    count = *strlength;
    term *p = malloc( count * sizeof(term) );
    pterm = p;

    for (int i = 0; i < count; ++i)
    {
        pterm->id = i;
        ......
        pterm++;
    }

    return p;
}

函数get_terms传入一个字符串 string，和一个int* strlength，返回一块内存，这块内存里顺序放着一个个结构体 term，每一个 term 里放着函数处理后的结果。现在我们用 ruby 来封装这个函数。为了便于 ruby 操作，我们将返回的这块内存封装成一个 array，array 中的元素是一个一个的 term 结构体。注意：传入的两个参数都是指针，第一个char*型我们可以直接传入一个 ruby 的 string 类即可，第二个int*则需要我们手工进行包装，将一个 Fixnum 类转变为一个int*，int*其实就是一个内存地址。

1.定义结构体
2.提取链接库接口
3.定义 ruby 函数


require 'fiddle'
require 'fiddle/struct'
require 'fiddle/import'
include Fiddle::CParser
include Fiddle::Importer

###结构体定义
 term = struct[ 'int id' , 
                'int weight' , 
                'float  detail[5]' , 
                'char used' ]

###打开链接库
 lib = Fiddle.dlopen(File.expand_path("./libname.so", __FILE__))

###将链接库中的函数入口封装为Fiddle::Function型
 get_terms_rb = Fiddle::Function.new(                                  
      lib['get_terms'],
      [Fiddle::TYPE_VOIDP,Fiddle::TYPE_VOIDP],
      Fiddle::TYPE_VOIDP
  )

###对应的ruby函数

def get_terms(text)

     #获取传入第二个参数值 （字符串长度 Fixnum型）
    resultCount = text.length
     #将其类变为Pointer型   
    pResultCount = Fiddle::Pointer.to_ptr(resultCount)          

     #传参调用Fiddle::Function 返回值为c指针p（p的值为内存地址）
    p = get_terms_rb.call(text, pResultCount.ref.to_i)
     #将c指针p变为Pointer型            
    pVecResult = Fiddle::Pointer.new(p.to_i)                           
     #初始化一array
    terms_list = [] 
     #将指向第一块term的Pointer压入array         
    terms_list << term.new(pVecResult)#后面详解term.new函数  

     #逐个压入指向剩余term的Pointer
    for i in 1...resultCount  do
          #Pointer向后移动一个term.size 大小
        terms_list << term.new(pVecResult += term.size)  
    end
    return terms_list

end

值得注意的是：term.new 这个函数，传入一个 Pointer 实例，返回一个 term 实例。功能是将这个 Pointer 包装成一个 term 结构体，就像 c 中p=(term*)p将一个char* p强制转化为term*类型一样。这样就可以对这块内存，以 term 结构体的方式进行有关的操作了。比如通过 term.XXX 访问 term 的内的字段，具体使用看下面：

#调用下get_terms
    tempArray=get_terms("我爱你中国")
    tempArray.each do |term|
      puts "word_ID:#{term.id}"
    end

ok, that`all~

中文分词 gem——nlpir for win 已发布

wujian_hit — Tue, 30 Jul 2013 12:37:02 +0800

中文分词 gem——nlpir for windows 已发布

ICTCLAS2013 windows 版库对用户词典功能支持较好，欢迎使用。

该 gem 仍在 rubygems.org 的nlpir下。

使用方法见：nlpir 原帖

nlpir_win@github

写了一个中文分词的 gem——nlpir

wujian_hit — Mon, 29 Jul 2013 16:55:14 +0800

nlpir gem 封装自中科院中文分词 ICTCLAS2014

ICTCLAS 是由中国科学院计算技术研究所研发。功能包括中文分词；词性标注；命名实体识别；新词识别；同时支持用户词典。目前性能最好的中文分词工具。

nlpir 使用 ruby2.0 fiddle 模块封装，最新版本 1.0.0 封装自 ICTCLAS2014 最新版本，完美支持 linux x86 x64，之前反应的用户词典 bug 已经修复。新版的 gem 提供了 ruby 风格的函数。

gem install nlpir

usage:


require 'nlpir'
include Nlpir

s="坚定不移沿着中国特色社会主义道路前进  为全面建成小康社会而奋斗"

#在当前文件夹路径下初始化
nlpir_init(File.expand_path("../", __FILE__),UTF8_CODE)

#处理字符串
text_proc(s) 

#处理文件
file_proc("example.txt","result.txt") 

#导入用户词典
import_userdict("./userdict.txt")
text_proc(s)

nlpir_exit()

欢迎各位继续丰富 ruby 在自然语言处理领域的包

用法和 test 中的用法 nlpir@rubygems.org nlpir@github

有人问性能，官方文档里其实有测试数据，ICTCLAS 测试：

ruby gem 可不可以封装打包一个动态链接库？

wujian_hit — Fri, 05 Jul 2013 23:05:00 +0800

如题，

各位大神，我是 gem 小白，现在我的项目需要封装一个第三方的动态链接库，现在我有 linux 下的编译过的 so，和 windows 的 dll，我想把这个封装成一个gem，请问这样是可行的吗？如果可行，私心想gem是跨平台的，那么是需要把所有平台的库都封装进去吗？

Ruby::Fiddle::Pointer 问题

wujian_hit — Mon, 17 Jun 2013 22:43:05 +0800

各位大神，我在使用 ruby Fiddle 封装一个 C 库时，遇到一个问题。描述如下：

我要封装如下一个函数：

有一个 c source code 定义了结构体 A，还有一函数原型为：struct A* func(char*);
函数中将处理后的多个结果保存在一个一个的结构体中，因此它 malloc 了一块大小为 n*sizeof(A) 的内存，最后它将指向这一大块内存的指针 p 返回 (p 的类型为 A*)。
在 c 中使用时，用类型为 A*的指针遍历这块内存取出每个结构体中的结果数据即可。

我使用了 Fiddle 中的 CStruct 定义了这个结构体 A，用一个变量接收到该函数的返回值，然后将该变量包装为一个 Fiddle::Pointer，现在的问题是，我如何让这个 Fiddle::Pointer 的类型变为 A*？然后读出指针指向内存中的内容。

查了很久，网上关于 Fiddle 的文档和例程很少，Ruby 官方的文档给出的也不详细。希望能有朋友帮忙。

Ruby::Fiddle::CStruct undefined method `[]'

wujian_hit — Tue, 07 May 2013 09:00:55 +0800

我用 ruby2.0.0p0`s fiddle 类去封装一个c的 dll, 当我用 fiddle::CStruct 去封装一个C struct 的时候遇到了一个奇怪的问题。

精简的代码如下：

require "fiddle" require "fiddle/import" require 'fiddle/struct'

types=[Fiddle::TYPE_INT,Fiddle::TYPE_INT] members = ["id","name"]

MyStruct = Fiddle::CStructBuilder.create(Fiddle::CStruct, types, members) obj = MyStruct.allocate

puts obj.methods puts obj.id

我打印了 obj 的 methods, 结果包含了 id 和 id= 这两个方法，可当我调用 id或 id=方法时，它抛出了一个异常 "ruby-2.0.0-p0/lib/ruby/2.0.0/fiddle/struct.rb:59:in block (3 levels) in create': undefined method[]' for nil:NilClass (NoMethodError)" . 我不知道问题出在哪里。

heroku error： You have Rails 2.3-style plugins

wujian_hit — Tue, 26 Mar 2013 12:56:22 +0800

以前在 heroku 部署 rails3.2.12 从没遇到这种问题，昨天在部署应用时，heroku 报错

DEPRECATION WARNING: You have Rails 2.3-style plugins in vendor/plugins! Support for these plugins will be removed in Rails 4.0. Move them out and bundle them in your Gemfile, or fold them in to your app as lib/myplugin/* and config/initializers/myplugin.rb. See the release notes for more on this: http://weblog.rubyonrails.org/2012/1/4/rails-3-2-0-rc2-has-been-released. (called from at /app/config/environment.rb:8)

app/vendor/bundle/ruby/1.9.1/gems/activesupport- 3.2.12/lib/active_support/dependencies.rb:317:in rescue in depend_on': No such file to load -- spec_helper (LoadError)

然后在 stackoverflow 上发现这个解释：

Response from Heroku: Lincoln, Jan 29 08:32 pm (PST): Hi, they are deprecated in 3.2, but will continue to function correctly until Rails 4.0 is released. We are aware of this and working on an updated system for this, no current ETA but I'd imagine definitely before 4.0 ships. Cheers, - Linc

在本地跑没有任何问题。生产环境也使用了 pg。

Nokogiri 编码问题解决

wujian_hit — Wed, 21 Nov 2012 15:53:23 +0800

# encoding : utf-8
require 'nokogiri'
require 'open-uri'

#example：baidu encoding：GB2312

html=open("http://www.baidu.com/").read
charset=Nokogiri::HTML(html).meta_encoding#！有些网页没有定义charset则不适用
puts charset
html.force_encoding(charset)
html.encode!("utf-8", :undef => :replace, :replace => "?", :invalid => :replace)
doc = Nokogiri::HTML.parse html
puts doc

或者（个人推荐第二种，这个函数扫便天下）

require 'rchardet19'
def toUtf8(_string)
    cd = CharDet.detect(_string)      #用于检测编码格式  在gem rchardet9里
    if cd.confidence > 0.6
      _string.force_encoding(cd.encoding)
    end
    _string.encode!("utf-8", :undef => :replace, :replace => "?", :invalid => :replace)
    return _string
end

begin
   doc = Nokogiri::HTML(toUtf8(open("http://www.baidu.com/").read))
   puts doc
end

字符编码问题详解：unicode 编码，ruby1.8，ruby1.9 编码机制区别详解： http://about.ac/2012/06/understanding-m17n.html

GUI——bowline 尝试失败，project dead，等待 bowline-team fixes

wujian_hit — Wed, 21 Nov 2012 12:57:38 +0800

今天尝试了下 ruby 的 GUI 框架 bowline，结果无疾而终。bowline 貌似因为 ruby1.9 的原因出现了版本问题，在 bowline-bundle 时出现了 class type erorr。大家在 github 上报告的 issues——https://github.com/maccman/bowline/issues?state=open