瞎扯淡 为了做大数据量统计分析的开发工作,如何准备本地数据?

mvj3 · 2012年02月02日 · 最后由 blackanger 回复于 2012年04月20日 · 4721 次阅读

要对几十 G 的 MongoDB 数据做统计分析,如需跑对周月的 map/reduce 任务,本地开发的磁盘和 CPU 内存需求都是问题。

最直观的做法是在服务器做一份测试数据,远程连接服务器用 vim/git 做开发。哪位有经验或建议分享?

1 数据放在服务器上。

2 推荐你一款软件 ExpanDrive, 可以把服务器映射为本地磁盘, 在本地使用 vim 开发。

  1. " 10gen 刚刚发布了 MongoDB Hadoop Connector 的 1.0 版本,它是一个中间件产品,用于将 MongoDB 和 Hadoop 连接起来,让 MongoDB 可以方便的使用 Hadoop 的分布式计算能力。 - 连接:http://blog.nosqlfan.com/html/3908.html" , 可以尝试下 hadoop

不知道我的回答你满意不。

#1 楼 @blackanger 哈哈,很有参考意见~ 1,恩,一直是这么做的 2, 一般不用商业闭源的软件,技术选型也不用 Hadoop 等 Java 系列的。目前都是开 screen 直接在测试服务器开发调试,稳定后才正式部署。各个功能还是相对独立,没有太多逻辑层次交互。

@mvj3 用 ExpanDrive 的话, 让公司买个 key 呗。 才多少钱呢。 用起来很方便呢。

需要 登录 后方可回复, 如果你还没有账号请 注册新账号