瞎扯淡 为了做大数据量统计分析的开发工作,如何准备本地数据?

mvj3 · February 02, 2012 · Last by blackanger replied at April 20, 2012 · 4850 hits

要对几十 G 的 MongoDB 数据做统计分析,如需跑对周月的 map/reduce 任务,本地开发的磁盘和 CPU 内存需求都是问题。

最直观的做法是在服务器做一份测试数据,远程连接服务器用 vim/git 做开发。哪位有经验或建议分享?

1 数据放在服务器上。

2 推荐你一款软件 ExpanDrive,可以把服务器映射为本地磁盘,在本地使用 vim 开发。

  1. " 10gen 刚刚发布了 MongoDB Hadoop Connector 的 1.0 版本,它是一个中间件产品,用于将 MongoDB 和 Hadoop 连接起来,让 MongoDB 可以方便的使用 Hadoop 的分布式计算能力。 - 连接:http://blog.nosqlfan.com/html/3908.html" ,可以尝试下 hadoop

不知道我的回答你满意不。

#1 楼 @blackanger 哈哈,很有参考意见~ 1,恩,一直是这么做的 2,一般不用商业闭源的软件,技术选型也不用 Hadoop 等 Java 系列的。目前都是开 screen 直接在测试服务器开发调试,稳定后才正式部署。各个功能还是相对独立,没有太多逻辑层次交互。

@mvj3 用 ExpanDrive 的话,让公司买个 key 呗。才多少钱呢。用起来很方便呢。

You need to Sign in before reply, if you don't have an account, please Sign up first.