Ruby 的不清楚。Java 中，有个 IK Analyzer，这是目前我了解的，持续更新的分词器了。（不过，最近一年貌似没有更新了）

中文分词推荐 https://github.com/ansjsun/ansj_seg 不过分析系统拼的是效率和准确性，具体效果还得看词库~

试试“语言云”，它提供了 API，可以实现你的需求 http://www.ltp-cloud.com/document/new/#api_rest_style