gamefu (gamefu)

[深圳] 腾讯招聘高级后台工程师 2 人 (20-40k)

gamefu — Thu, 22 Aug 2019 10:59:16 +0800

岗位职责：

负责腾讯课堂、企鹅辅导等在线教育产品的后台开发；
负责平台业务的开发和维护；
负责部门相关业务的后台开发及维护。

岗位要求：

本科以上学历，计算机相关专业；
具备 Unix/Linux 下 C/C++ , golang 2 年以上开发经验，熟悉常用的数据结构、算法；
精通 TCP/IP 协议，进程间通讯编程，熟悉 Unix/Linux 下常用架构设计方法；
熟悉 Unix/Linux 操作系统原理、常用工具，熟悉 Mysql/Oracle 等数据库管理、开发，SQL 调优；
全面的软件知识结构 (操作系统、软件工程、设计模式、数据结构、数据库系统、网络安全)；
具备良好的分析解决问题能力，能独立承担任务和有系统进度把控能力；
责任心强，良好的对外沟通和团队协作能力；
有大容量通信系统开发经验者优先。

补充下说明现在团队已经慢慢开始全面转向 golang，但岗位对语言没有硬性要求

工作地点

深圳万利达科技大厦

联系方式

内推简历直达面试官

邮箱：gamefu@tencent.com
微信：

收两张 RubyConf China 2015 门票, 好想去！！！

gamefu — Thu, 24 Sep 2015 20:04:40 +0800

今年错过 rubyconf china 出售门票的时间了 T^T，好想去呀，有没有有事临时去不了的朋友愿意转让两张票，有意者联系我 qq223328084，万分感谢啊

在 CoreOS 上用 Docker 部署 Rails 应用

gamefu — Wed, 05 Aug 2015 21:21:08 +0800

coreos 上的配置

coreos 没有包管理工具，也不鼓励使用包管理工具来解决依赖关系，他提倡使用 docker 等容易来解决管理以来，要想搭建一个 rails 的环境，我们需要创建一个能满足我们需求的镜像。docker 原则上是一个服务就需要一个镜像，不同的服务之间通讯需要使用 docker 自己提供的通讯方式，这个演示实例里，我们只依赖于一个数据库服务。首先我们需要创建我们整个 rails 运行环境所需要的所有服务镜像

postgres 数据库的官方镜像


docker pull postgres

然后我们还需要运行 rails 的 web 服务器镜像，我选择的是 passenger 的官方镜像


docker pull phusion/passenger-ruby22

rails 运行需要 postgres 数据库，因此，我们需要创建一个 postgres 容器，同时给我们创建的容器一个名称


docker run --name gamePostgres -d postgres

这样一来我们在 coreos 上的配置就配置好了

Dockerfile

将这个 Dockerfile 加入我们的 rails 项目下


# 以phusion/passenger-ruby22镜像为基础
FROM phusion/passenger-ruby22

# 设置时区
RUN echo "Asia/Shanghai" > /etc/timezone
RUN dpkg-reconfigure -f noninteractive tzdata

#设置当前环境变量
ENV HOME /root
#设置rails环境为生产环境
ENV RAILS_ENV production

CMD ["/sbin/my_init"]

# 缓存gem，如果Gemfil没有改变将不会从源直接下载
WORKDIR /tmp
ADD ./Gemfile Gemfile
ADD ./Gemfile.lock Gemfile.lock
RUN bundle install

#启动nginx
RUN rm -f /etc/service/nginx/down
#配置nginx
RUN rm /etc/nginx/sites-enabled/default
ADD nginx.conf /etc/nginx/sites-enabled/webapp.conf

#添加环境文件
ADD nginx-env.conf /etc/nginx/main.d/nginx-env.conf

#增加初始化运行脚本
RUN mkdir -p /etc/my_init.d
#Migrate
ADD migrate.sh /etc/my_init.d/migrate.sh
RUN chmod +x /etc/my_init.d/migrate.sh

# 创建项目目录
RUN mkdir /home/app/webapp
# 将项目文件加入项目目录
ADD . /home/app/webapp

WORKDIR /home/app/webapp
# 编译静态文件
RUN rake assets:precompile

# 清楚产生的缓存文件
RUN apt-get clean && rm -rf /var/lib/apt/lists/* /tmp/* /var/tmp/*
# 开放80端口
EXPOSE 80

由于 passenger 镜像是建立在 nginx 的基础上地，所以我们需要配置 nginx.同时在跟目录创建 nginx.conf.


server {
    listen 80;
    #指定项目根目录
    root /home/app/webapp/public;

    # 开启passenger
    passenger_enabled on;
    passenger_user app;
    client_max_body_size 20M;
    passenger_max_request_queue_size 0;
}

在 docker 中服务通讯必须在容器之间暴露端口，因此我们需要添加 env 文件来暴露各容器之间的端口，在项目根目录下创建 nginx-env.conf 文件


# 暴露服务端口 这个示例中只有postgres服务，因此我们只需要暴露这个端口即可
env POSTGRES_PORT_5432_TCP_ADDR;
env POSTGRES_PORT_5432_TCP_PORT;

最后，我们配置一下.gitignore，在.gitignore 文件里加上，因为服务器的数据库配置和本地数据库配置不一样

/config/database.yml

同时 copy 一份 database.yml，将其改名为 database.yml.sample

在 coreos 上部署

coreos 虽然默认没有带包管理工具，但是安装了 git 之类的常用工具，因此，我们可以使用 git 部署我们的项目，将我们的项目上传到 github，然后在 coreos 的某个目录将整个项目拉下来。我选择的是/root/apps 目录

拉取项目后，我们首先需要更改的是数据库配置文件 database.yml


default: &default
  adapter: postgresql
  encoding: unicode
  pool: 5
  timeout: 5000
  username: postgres
  password:
  # 通过暴露出来的地址和端口配置数据库
  host: <%= ENV['POSTGRES_PORT_5432_TCP_ADDR'] %>
  port: <%= ENV['POSTGRES_PORT_5432_TCP_PORT'] %>
development:
  <<: *default
  database: sample_dev

# Warning: The database defined as "test" will be erased and
# re-generated from your development database when you run "rake".
# Do not set this db to the same as development or production.
test:
  <<: *default
  database: sample_test

production:
  <<: *default
  database: sample_production

然后进入项目根目录，通过 Dockfile 构建一个镜像，并且给自己创建的镜像一个名称


docker build -t game/ruby_sample .

以后的每一次更改项目内容都需要重新构建一个新的镜像，如果你是第一次生成容器可以不用运行下面这条命令，如果你之前已经创建过同名的容易就需要将其删除，如我之前这个容器名为 gameRuby_sample，那么我就需要将这个容器删除后重新创建


docker rm -f gameRuby_sample

创建新的容器，并且建立容器之间的通讯，监听服务器的 80 端口


docker run --name gameRuby_sample --link gamePostgres:postgres -d -p 80:80 game/ruby_sample

进行到这里，一个完整的 rails 容器已经基本建立完成了。然而整个容器还缺乏一个很关键的部分没解决，就是运行 rails 程序的 migrate，由于，migrate 必须在整个容器建立完成之后才能运行，因此无法直接将其写在Dockerfile内，只有当运行容器时运行，才能有效果。 passenger 是根据 ubuntu 镜像的基础上搭建的，也就是说，这个系统的启动流程跟 ubuntu 启动的流程是一样的，当 ubuntu 系统完成引导后，操作系统会去检查/etc/my_init.d/目录下的脚本，并且会运行，这样一来，只需把 migrate 的执行脚本放到这个目录下面，那么就会在镜像启动的时候运行 Migrate。

#增加初始化运行脚本
RUN mkdir -p /etc/my_init.d
#Migrate
ADD migrate.sh /etc/my_init.d/migrate.sh
RUN chmod +x /etc/my_init.d/migrate.sh

下面是 migrate 运行脚本


#!/bin/sh
echo "start migrate"
bash -c 'cd /home/app/webapp; bundle exec rake db:migrate';
echo "migrate finshed"

只要运行 docker run 后，运行docker logs -f 镜像名，能看到start migrate和migrate finshed就说明镜像已经成功运行 migrate 了

这样一来基本的 rails 运行环境就搭建完成了

CoreOS 中更改 Docker 镜像地址

gamefu — Tue, 07 Jul 2015 00:28:28 +0800

由于docker的不断成熟，docker 在实际生产环境中的应用已经得到越来越多的印证，因此，公司项目想从原来的 Mina 部署转为docker部署，但是 docker 仓库由于在国内没有 cdn，导致镜像下载速度无比的缓慢，所以决定换成国内镜像，由于操作系统是使用coreos，无论国内外资料都非常少，因此途中爬了很多坑，这篇文章是我爬坑的总结

docker 国内镜像

docker是目前炙手可热的云计算开源项目，随着 docker 不断发展，不久前，国内第一家基于docker技术的一站式容器云平台 daocloud 正式推出了，同时也给国内广大 docker 爱好者带来了 docker 的免费国内镜像。前往 docker 的官网注册一个账号登录后就能得到一个免费的 docker 镜像地址，如http://xxx.m.daocloud.io

关于 coreos

coreos是一个高度精简的 linux 操作系统，将许多原本需要复杂人工操作或者第三方软件支持的功能在操作系统级别进行了实现，同时剔除了其他对于服务器系统非核心的软件，比如 GUI 和包管理器。coreos并不鼓励用户将各种应用软件直接安装在操作系统之上，而是提倡将所有服务运行在单独的应用容器中，由应用容器提供应用所需要的基础功能环境。这种做法将操作系统和应用程序的职责做了更彻底的分离，降低操作系统和应用程序的耦合度，使运行这些服务器的公司可以更快速、更廉价地更新自己的线上业务。正式这种特性，coreos可以说十分适合用来部署docker服务

更改 docker 镜像地址

docker在coreos中是一个服务，在coreos中没一个服务都由一个 unit 文件来定义，docker的 unit 文件在usr/lib/systemd/system/docker.service,我们需要将它拷贝出来将其放在 docker 服务启动时会加载的位置


cp /usr/lib/systemd/system/docker.service /etc/systemd/system

打开这种文件，我们会发现里面有一个更改 docker 镜像地址的关键环境变量$DOCKER_OPTS，而更改镜像地址的本质就是更改$DOCKER_OPTS的值。这个环境变量的值是在/run/flannel_docker_opts.env中设置的，如果你的系统里没有这个文件，就自己添加一个这个文件

往这个文件里添加从 daocloud 上获取的镜像地址


DOCKER_OPTS="--registry-mirror=http://xxxx.m.daocloud.io"

添加完成后，运行


sudo systemctl daemon-reload
sudo systemctl restart docker

运行 ps aux 如果能看到


root      1725  0.6  1.7 221400 18328 ?        Ssl  15:27   0:00 docker --daemon --host=fd:// --registry-mirror=http://xxx.m.daocloud

那么就大功告成了

总结

虽然整个配置流程看起来并不复杂，但是使用比较新的技术难免要爬坑，由于国内外资料都非常的少，导致爬坑异常的艰难，希望大家能节省爬过这个坑的时间。

Ruby on Rails 部署方案 Nginx + Mina + Puma

gamefu — Mon, 22 Jun 2015 21:53:04 +0800

搭建工具介绍

Ruby on Rails作为一款十分优秀的 web 开发框架，在当前 web 领域中慢慢占据了越来越重要，秉承 rails 快速开发的特点，很多快速部署 rails 的方案也越来越多。这篇文章中所选的方案是我个人认为十分优秀的部署方案。这套部署方案的结构是，nginx作为反向代理服务器负责负载均衡，mina作为自动化部署工具，puma作为 rails 的 web 服务器

nginx

nginx是一款优秀的代理服务器，其高效的性能已经得到了业界的广泛认可，相信作为 web 开发人员不会没听说过他的大名

mina

mina是一款由 ruby 开发的自动化部署工具，其目的是为了简化每次 rails 代码提交时的部署，一键完成部署，杜绝了提交到 git 服务器后，又去服务器上 git pull 的情况

puma

puma是一款专门针对 rails 的并发服务器，相对于passenger，puma可配置面更广，而且性能比passenger更高，是 rails web 服务器的不二之选

部署前言

由于这篇文章需要很多铺垫，包括 rails 的安装下载，git 的配置等等，需要读者自己去查阅资料或者查阅之前我写过的一些文章，如果期间有什么问题，请留言。。

mina

首先在你的 rails 项目的Gemfile中加上

gem mina

运行bundle 安装 mina，接着在你的 rails 项目根目录初始化mina

mina init

这是在你项目的 config 目录下会有一个deploy.rb，配置deploy.rb，列出重点部分，每一行的解释会附在代码的注释里


#服务器地址,是使用ssh的方式登录服务器
set :domain, 'root@192.168.0.103'
#服务器中项目部署位置
set :deploy_to, '/var/www/ruby_sample'
#git代码仓库
set :repository, 'https://github.com/gameFu/ruby_sample.git'
#git分支
set :branch, 'master'

# 中括号里的文件 会出现在服务器项目附录的shared文件夹中，这里加入了secrets.yml，环境密钥无需跟开发计算机一样
set :shared_paths, ['config/database.yml', 'log', 'config/secrets.yml']

# 这个块里面的代码表示运行 mina setup时运行的命令
task :setup => :environment do

  # 在服务器项目目录的shared中创建log文件夹
  queue! %[mkdir -p "#{deploy_to}/#{shared_path}/log"]
  queue! %[chmod g+rx,u+rwx "#{deploy_to}/#{shared_path}/log"]

  # 在服务器项目目录的shared中创建config文件夹 下同
  queue! %[mkdir -p "#{deploy_to}/#{shared_path}/config"]
  queue! %[chmod g+rx,u+rwx "#{deploy_to}/#{shared_path}/config"]

  queue! %[touch "#{deploy_to}/#{shared_path}/config/database.yml"]
  queue! %[touch "#{deploy_to}/#{shared_path}/config/secrets.yml"]

  # puma.rb 配置puma必须得文件夹及文件
  queue! %[mkdir -p "#{deploy_to}/shared/tmp/pids"]
  queue! %[chmod g+rx,u+rwx "#{deploy_to}/shared/tmp/pids"]

  queue! %[mkdir -p "#{deploy_to}/shared/tmp/sockets"]
  queue! %[chmod g+rx,u+rwx "#{deploy_to}/shared/tmp/sockets"]

  queue! %[touch "#{deploy_to}/shared/config/puma.rb"]
  queue  %[echo "-----> Be sure to edit 'shared/config/puma.rb'."]

  # tmp/sockets/puma.state
  queue! %[touch "#{deploy_to}/shared/tmp/sockets/puma.state"]
  queue  %[echo "-----> Be sure to edit 'shared/tmp/sockets/puma.state'."]

  # log/puma.stdout.log
  queue! %[touch "#{deploy_to}/shared/log/puma.stdout.log"]
  queue  %[echo "-----> Be sure to edit 'shared/log/puma.stdout.log'."]

  # log/puma.stdout.log
  queue! %[touch "#{deploy_to}/shared/log/puma.stderr.log"]
  queue  %[echo "-----> Be sure to edit 'shared/log/puma.stderr.log'."]

  queue  %[echo "-----> Be sure to edit '#{deploy_to}/#{shared_path}/config/database.yml'."]
end

#这个代码块表示运行 mina deploy时执行的命令
desc "Deploys the current version to the server."
task :deploy => :environment do
  to :before_hook do
  end
  deploy do
    #重新拉git服务器上的最新版本，即使没有改变
    invoke :'git:clone'
    #重新设定shared_path位置
    invoke :'deploy:link_shared_paths'
    invoke :'bundle:install'
    invoke :'rails:db_migrate'
    invoke :'rails:assets_precompile'
    invoke :'deploy:cleanup'

    to :launch do
      queue "mkdir -p #{deploy_to}/#{current_path}/tmp/"
      # queue "chown -R www-data #{deploy_to}"
      queue "touch #{deploy_to}/#{current_path}/tmp/restart.txt"
    end
  end
end

这样一来 mina 的基本配置就完成，接下来只要将你开发环境的项目上传到 git 服务器，然后运行下面的命令就完成了

mina deploy

完成部署后，你就可以在指定的服务器目录下看到你的项目，目录结构如下

current -当前版本目录也就是项目目录
last_version -版本号
releases/ -过去的版本
scm/
shared/ 先前 shared_path 所设定另外拉出来的文件都在这里
tmp/

这里需要注意的几点 1.shared_path 里面的文件不仅仅是表示这些文件会在服务器目录中出现在另外的目录里，也表示这些文件或者目录不会受到 git 版本库的控制，也就是说这些文件的配置必须在你服务器中手动去配置，这两个文件包括 database.yml 和 secrets.yml，在 shared/config 目录下 2.针对 deploy 最好在服务器创建一个使用者，并针对他创建一个 ssh authorized_keys，这里直接使用了 root 身份，参考centos7 服务器部署 ssh 证书授权登录，这样做能避免每次部署的时候都需要输入服务器账号密码

可能会遇到的问题

由于生产环境一般会搭配类似于postgresql等成熟数据库，这里我就举出一个搭建postgresql，首先是启动数据库时（centos 7 下），如果遇到问题请使用下面的命令就能看到详细的错误信息

systemctl status postgresql-9.4.service -l

然后在跑mina deploy时可能会报类似于这样的一个错误

Gem::LoadError: Specified 'postgresql' for database adapter, but the gem is not loaded. Add `gem 'pg'` to your Gemfile (and ensure its version is at the minimum required by ActiveRecord).

从错误信息上能很明显的看出是因为没有安装 pg 这个包导致的，但是有一种情况是明明在项目的Gemfile上写上了 pg 但还是跑不过，造成这个的原因，可能是由于你的服务器环境缺少了 pg 的头文件导致的，如果是在 centos 下，只需要执行下面命令就能解决

yum install postgresql-libs
yum install postgresql-devel

Puma

首先在你的Gemfile里加上


gem puma

然后在 config 目录下手动创建一个puma.rb文件，配置puma.rb文件


#!/usr/bin/env puma

#rails的运行环境
environment 'production'
threads 2, 64
workers 4

#项目名
app_name = "ruby_sample"
#项目路径
application_path = "/var/www/#{app_name}"
#这里一定要配置为项目路径下地current
directory "#{application_path}/current"

#下面都是 puma的配置项
pidfile "#{application_path}/shared/tmp/pids/puma.pid"
state_path "#{application_path}/shared/tmp/sockets/puma.state"
stdout_redirect "#{application_path}/shared/log/puma.stdout.log", "#{application_path}/shared/log/puma.stderr.log"
bind "unix://#{application_path}/shared/tmp/sockets/#{app_name}.sock"
activate_control_app "unix://#{application_path}/shared/tmp/sockets/pumactl.sock"

#后台运行
daemonize true
on_restart do
  puts 'On restart...'
end
preload_app!

这里需要注意的地方

threads - puma的线程数，第一个参数是最小的线程数，第二个参数是最大线程数
bind - 这个指定的是puma运行时产生的socket，后面nginx会用到
这里所有对应的目录是在deploy配置中配置的，如果需要更改配置目录，deploy.rb也需要相应的更改

Nginx

下载安装nginx后，打开nginx的配置文件nginx.conf进行配置

worker_processes  1;

    error_log  /var/log/nginx/error.log warn;
    pid        /var/run/nginx.pid;

    events {
        worker_connections  1024;
    }

    http {
        include       /etc/nginx/mime.types;
        default_type  application/octet-stream;

        log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                          '$status $body_bytes_sent "$http_referer" '
                          '"$http_user_agent" "$http_x_forwarded_for"';

        access_log  /var/log/nginx/access.log  main;

        sendfile        on;
        #tcp_nopush     on;

        keepalive_timeout  65;

        #gzip  on;

        #include /etc/nginx/conf.d/*.conf;
        upstream deploy {
                server unix:///var/www/ruby_sample/shared/tmp/sockets/ruby_sample.sock;
        }

        server {
            listen 80;
            server_name your.server.domain.ip; # change to match your URL
            root /var/www/ruby_sample/current/public; # I assume your app is located at this location

            location / {
                proxy_pass http://deploy; # match the name of upstream directive which is defined above
                proxy_set_header Host $host;
                proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            }

            location ~* ^/assets/ {
                # Per RFC2616 - 1 year maximum expiry
                expires 1y;
                add_header Cache-Control public;
                        # Some browsers still send conditional-GET requests if there's a
                # Last-Modified header or an ETag header even if they haven't
                # reached the expiry date sent in the Expires header.
                add_header Last-Modified "";
                add_header ETag "";
                break;
            }
     }
    }

这里只需要注意的是

upstream 中 server 要配置成你在 puma 中 bind 的 socket 就行了
root 要设置成你服务器项目的根目录，也就是puma.rb中的 directory

接下里只需要重启 nginx 服务器，整个 rails 的环境就搭建完成了


nginx -s reload

如果完成了配置后访问站点是 504，那么可能是两种情况，一是服务器防火墙问题，二是 rails 环境密钥的问题，请在使用 passenger 在 Centos7 部署 nginx+Ruby on Rails中寻找答案