数据库 有没有 ETL 相关的案例可以分享一下

nate_yu · 2013年10月22日 · 最后由 xds2000 回复于 2013年10月24日 · 3326 次阅读

想请教下哪位大侠有过 ETL(Extraction-Transformation-Loading) 相关的经验可以分享下。我们有很多非关系型以及结构不同的关系型数据,需要将这些数据很方便的整合到 postgresql 中。看看大家有没有好的建议。

ETL 工具都带这些功能吧

但是具体怎么弄,不知道啊

对不起楼主我真的只是为了头像进来凑个热闹...

自己写调度,类似 crontab 那样的,可以完成定时操作,然后封装 ruby|perl 的 dbi::dbd 变成模板(模板里主要完成日期等参数的预制,比如上一天,上一周,方便 sql 里使用),以后调度就执行此模板里内容

当然大点的,批次这个概念也很终于

@nate_yu 正好,我在公司实施过这个 ETL 开发工作。http://kettle.pentaho.com/ 你直接熟悉这里就可以。

有个 rubyETL 的 gem 你搜搜

@kewin 看了下这个 gem, 因该是我要找的

需要 登录 后方可回复, 如果你还没有账号请 注册新账号