Gem 敏感词过滤

wear · 2012年12月14日 · 最后由 vik 回复于 2016年08月10日 · 12343 次阅读

和谐宝典和谐宝典用于检查输入是否包含中文或英文敏感词，并可替换为特殊字符。生活在天朝，和谐宝典必须人手必备。

特点

速度快，比常规的正则匹配要快 10 倍以上，具体性能可运行 benchmark 查看可以输出检测到的敏感词，请看初始简单，可根据需要方便的调整敏感词字库

https://github.com/wear/harmonious_dictionary

17 个赞

ibachue #1 2012年12月14日

额。。。

wongyouth #2 2012年12月14日

及时雨啊，一直在找分词方面的资料

javy_liu #3 2012年12月14日

github.com 现在现在上不去了

sanvi #4 2012年12月14日

这个给力！

hellpeng #5 2012年12月14日

不错不错！

watgon #6 2012年12月14日

俺用 trie 实现了个，两万敏感词，一秒钟能过滤二三十万文本

suupic #7 2012年12月14日

哎，这个好

chitsaou #8 2012年12月15日

Github Download 就要被砍了，楼主找个别的地方放？官方公告： https://github.com/blog/1302-goodbye-uploads

另外感谢楼主

cgg5207 #9 2012年12月17日

力挺鱼哥。

lidashuang #10 2012年12月17日

#6 楼 @watgon 有 demo 可以参考一下吗？

naitnix #11 2012年12月19日

感谢楼主，刚好有这个需求

watgon #12 2012年12月19日

gem 'fast_trie', :require => "trie"

# encoding: utf-8
class SegTrie

  attr_accessor :trie

  def initialize
    self.trie = ::Trie.new
  end

  def all_words(str, offset = 0, words= [])
    words_a ||= []
    str ||= ''
    str.length.times do |i|
      self.word(str, i, words_a)
    end
    words_a
  end

  def word(str, offset = 0, words_a = [])
    len = 0
    while  offset + len < str.length
      status = self.trie.get(str[offset, (len + 1)])
      if status == 2
        len = len + 1
        words_a.push(str[offset, len])
      elsif status == 1
        len = len + 1
      elsif status == 3
        words_a.push(str[offset, len + 1])
        break
      else
        break
      end
    end
    words_a
  end

  def add_words(words)
    words.each_index do |i|
      self.add_word(words[i])
    end
  end

  def add_word(word)
    return false if word.blank?
    word.length.times do |i|
      next if i == 0
      self.trie.add(word[0, i], 1) if self.trie.get(word[0, i]).to_i < 1
    end
    status =self.trie.get(word).to_i
    if status == 1
      self.trie.add(word, 2)
    elsif !([2, 3].include?(status))
      self.trie.add(word, 3)
    end
  end

  def clear_words
    self.trie = ::Trie.new
  end

end