云计算日益热门，借此实验一些关键性技术。记录一些实验过程与心得。

1.背景

1.1 硬件

• 二个 linode vps
• 一个阿里云标准 C 套餐
• 两台公司淘汰下来的 2U 服务器，一台 1U 服务器
• 联通光纤 + 独立 ip

1.2 目的

• 实现完全自动化地部署
• R Hadoop 大数据计算实验，跑 Map reduce 任务
• 任意开服

1.3 测试数据

• 微博 2012 年 23G 测试数据
• 大脑结构数据

2. vagrant 与 veewee

2.1 vagrant 基础

• Vagrant Documentation
• ［教學] 使用 Vagrant 練習環境佈署 - 好麻煩部落格](http://gogojimmy.net/2013/05/26/vagrant-tutorial/)

vagrant box 列表：

• A list of base boxes for Vagrant - Vagrantbox.es

国内访问速度不行，我提供的 dropbox 镜像：

• https://www.dropbox.com/s/jgpdtomcgpshd4s/precise-server-cloudimg-amd64-vagrant-disk1.box
• https://www.dropbox.com/s/7h5ynztb4hektut/quantal64-vanilla.box
• https://www.dropbox.com/s/yovpjswe00cdlox/opscode_ubuntu-12.04-i386_chef-11.4.4.box

2.2 vagrant、lindoe vps 与 kvm 等

vagrant 加载 linode vps 镜像

• Copying a Disk Image Over SSH – Linode Library

vagrant 与 Cloud Foundry

Installing Cloud Foundry on Vagrant | Cloud Foundry Blog

2.3 制作包：veewee

• jedi4ever/veewee

3. 配置管理：chef

3.1 chef 基础

• Getting Started with Chef

3.2 chef 的三种配置方式

• chef-solo
• chef-server
• hosted chef

第一种方式的教程：

• ［Rails 佈署實戰教學] 使用 Chef-Solo 一鍵安裝機器 - 好麻煩部落格](http://gogojimmy.net/2013/06/01/Chef-Solo-Basic-with-Vagrant/)

第三种方式的教程：

• Converge the node - QuickStart Guide | Opscode Learn Chef

3.3 最常用的方式：chef-solo

3.4 最佳实践：knife solo+berkshelf+railsbox

最佳流程：

• 第一步：knife solo

knife-solo

• 第二步：berksfile 文件

Berkshelf

• 第三步：整合 Vagrantfile 文件

名词解释：

• RUNIT - UNIX 初始化
• Berkshelf

链接

• #339 Chef Solo Basics (pro) - RailsCasts
• How to include the Windows Cookbook Helper methods in your Chef recipe - Automate All the Things!

常见错误

4. 撰写 box：Railsbox 实例

4.1 基础 box：appbox

4.2 撰写与定制个人的 box

我写的部署 box 项目：

• ouyangzhiping/railsbox
• ouyangzhiping/railsbox-example

一键部署：基础 server 安装+postgresql+rbenv+rails+nginx+unicorn

5. 使用 railsbox 部署阿里云、linode vps 与 openstack

5.1 部署 rails app

5.2 部署 R app

6. openstack 部署

6.1 一键部署

chef 社区提供的：

Search Results for openstack - Opscode Community

常用的一键部署项目：

• DevStack - Deploying OpenStack for Developers
• StackGeek - Installing OpenStack on Ubuntu 12.04 LTS in 10 Minutes

国人写的：

• onestack - A tool to deploy complete and real OpenStack cloud computing service.（一键部署 OpenStack） - Google Project Hosting

6.2 openstack 架构与基础

• Introducing the OpenStack Operations Guide » The OpenStack Blog

Open Cloud

6.3 vagrant 与 openstack

6.4 openstack 配套项目解析

图书：

• 开源云 OpenStack 技术指南 (豆瓣)

7. hadoop

7.1 hadoop 部署

chef 社区提供的部署项目

• Search Results for hadoop - Opscode Community

7.2 hadoop 与 Python、R

python 与 hadoop

• Writing An Hadoop MapReduce Program In Python - Michael G. Noll

7.3 hadoop 实例

8 R in Cloud

8.1 Revolution R

• Real-time Big Data Analytics: From Deployment to Production

8.2 高性能 R 项目

概述：

• CRAN Task View: High-Performance and Parallel Computing with R

图书：

• Parallel R

snow、multicore

• CRAN - Package snow
• CRAN - Package multicore

RHIPE

• RHIPE
• R and Hadoop: Step-by-step tutorials

PHDR

• pbd: programming with big data in R

9 其它