zhangjingqiang

雅虎日本技术大会 2018 部分内容

zhangjingqiang — Sun, 28 Jan 2018 12:47:00 +0800

前言

雅虎日本是日本最大的互联网公司，无论从技术，规模，还是对日本这个国家的影响力，都是顶级水平，和日本乐天并称为日本互联网双雄。

昨日，一年一度的技术大会如期举行，本人去参加并把看到的，得到的信息记录下来，分享给国内同行。虽然他们的水平跟国内相差很远，但根据他们的现状信息，对国内更好地发展有可取之处，也是好事。

官方信息

Yahoo! JAPAN Tech Conference 2018 官方网站

Yahoo Japan Youtube 频道：YahooJAPANTech

Twitter 账号：ydnjp

大会内容

基调演讲
数据中心网络与大规模服务器基础设施的战略
Kotlin 的导入情况与展望
有效利用 Web 资源去应用
放心安全的下一代认证
支撑雅虎日本开发平台的 PaaS
大规模业务工具刷新的实施方法
雅虎日本首页的编程
雅虎日本的动画内容
雅虎日本为 OSS 的开发
用户位置信息分析的最前沿
AnnexML：从最近的地方搜索用的 extreme multi-label 分类的高速化
雅虎日本应用的开发方法：极限编程
建立提高视觉设计师技能的机制
实现应用程序高速部署的技术 - 雅虎日本的 Kubernetes 即服务
保护日本的互联网！雅虎日本的欺诈性使用对策 - 通过 Splunk 检测非法登录
雅虎日本的 Node.js
技术和品牌〜技术吸引人〜
创造一个移动性和互联网融合在一起的自动驾驶时代
kukai：世界第二的节能超级计算机
支撑雅虎日本的广告技术
雅虎日本应用的制作方法
雅虎购物服务数据利用示例

本人参加了如下会场：

基调演讲
数据中心网络与大规模服务器基础设施的战略
支撑雅虎日本开发平台的 PaaS
实现应用程序高速部署的技术 - 雅虎日本的 Kubernetes 即服务
雅虎日本的 Node.js
支撑雅虎日本的广告技术

基调演讲

主题是创造未来。

首席技术官的开场超出对日本一如既往死板的印象，先播放一段 5 分钟的视频介绍 2028 年 1 月 27 日（十年后）的一个日本女孩的一天。

Youtube 网视频已上传： Shape the Future - through the Power of Technology

这一天的所有活动，科技（互联物联）无处不在。

起床，眼前看到科幻电影中的虚拟化屏幕，显示新闻，天气，距离电车发车的时间；
早餐，打开冰箱看到的是各种食物的营养分配，是否过期等，并给出最佳建议；
出发，骑自行车到车站有导航屏实施指示;
坐公交，看车窗就可以看新闻，看美食推荐，用手一划就拿到眼前呈现，人们看新闻都是只需要伸出手而已；
距离会议时间还有几分会及时提示，买咖啡时和老板隔空对话，眼前只需要展开虚拟屏幕，随即关闭；
人们看新闻，看电车时刻表，看股价，到超市购物，虚拟屏幕无处不在，时刻给出最佳方案；
晚上看电视时，即时和父母通视频电话等。

视频播放完毕后，CTO 说，"十年后的样子，有些人说不会达到这样，有些人说达到这样是理所当然的"。然后引出雅虎日本的使命和愿景：

Mission: 解决问题的引擎
Vision: 更新日本

接下来的内容是雅虎日本的数据介绍：

月 PV: 757 亿
最大每秒访问数：200 万
大数据基础设施：RDB：900 DBs；KVS：2000 nodes 等; Hadoop 集群自称是亚洲最大规模，不太信，能有中国大吗？
开发 7 处地点：日本东京，名古屋，大阪，福冈，美国华盛顿，圣弗兰西斯科，越南胡志明
工程师：2400 名以上，美工 400 名以上

然后介绍从 HTTP 到 HTTPS 的转换过程。起初的困难：服务数 100 以上，服务相关的企业很多都需要调整，域名 1000 以上（日本域名最大数的公司）当初公司内的工程师办不到。决定做的时候，从 2016 年 4 月 1 日到 2017 年 3 月 31 日，一年时间处理 1000 域名完成。

后半程介绍以下几方面内容：

雅虎日本使用用户，数据，人工智能的循环链路提供服务。
雅虎日本的技术栈介绍，从数据中心到应用开发，所有的一切都自己做。控制自由。
对开源社区的贡献，如 Docker，Kubernetes，Kafka，Node.js，Presto 等。

最后表示雅虎日本是给用户新体验的技术企业。

Yahoo! JAPAN Tech Conference 基調講演全程

数据中心网络与大规模服务器基础设施的战略

数据中心地点：日本东京，大阪，福冈，东北；美国两处。东京和大阪网络 Swtich，CDN 互通，一处节点断，另一处仍可以工作。

硬件管理使用 Facebook 创办基金会 (后有 Google，微软加入) 的 OpenCompute，简单易用，强烈推荐参会者使用。

支撑雅虎日本开发平台的 PaaS

从 2016 年讨论，2017 年引入 Cloud Foundry，2018 年计划扩大范围，这个速度很慢了，日本乐天在 2014 年时已经使用 Cloud Foundry 作为 PaaS 平台。

Cloud Foundry 的 CTO 的英文演讲让很多人入睡，语调低沉，却讲了未来软件的开发方式。

实现应用程序高速部署的技术 - 雅虎日本的 Kubernetes 即服务

Kubernetes as a Service 在雅虎日本的一家子公司 Z Lab 开发，从 2017 年初开始，现在有部分雅虎日本的服务运行在上面。这在日本已经是不错的有成绩的，相比之下，国内的容器服务如火如荼，遥遥领先。

他们的做法是，在 IaaS 层用 OpenStack 调度 Kubernetes 节点，根据应用规模实现负载均衡，自动扩容。然而还是很初级，他们（全日本）对新技术的谨慎，文化导致创新速度很慢，大多不创新。

雅虎日本的 Node.js

雅虎日本的大部分服务都是用 PHP 开发，使用 Node.js 后，性能提高 3 倍，今后的方向是把服务大量转换为使用 Node.js 开发，把 Java 和 Node.js 作为主要后端语言。

支撑雅虎日本的广告技术

雅虎日本的广告分两类：直接固定广告和嵌入式广告。

在首页显示的为第一类，商家的广告直接定期固定显示。在搜索结果，新闻一览中看到的是根据大数据算法，以 AI 的方式推送的广告，主要根据性别，年龄，区域等用户信息用算法取中心值，向这类人群投送广告。使用语言有 C，C++，Java，Python，Go 等。

近几年平均每年从广告中获得的收入约 300 多亿日元，是主要收入来源。

演讲幻灯片

https://techblog.yahoo.co.jp/event/yjtc18_slide/

如何用 RSpec 测试多个不同项目的数据库？

zhangjingqiang — Wed, 07 Sep 2016 10:18:45 +0800

现在有一个需求，在项目 1 中要用 rspec 测试外部数据库中数据对此项目数据的影响，为便于说明，起名如下：

现项目名：app1
现项目数据库：database1
外部项目名：app2
外部项目数据库：database2

在 config/database.yml 中添加 app2_test 测试数据库：

app2_test:
  <<: *app2_default
  database: app2_test

在 db/schema.rb 中添加创建 app2 中库的表的 schema：

create_table "products", force: :cascade do |t|
  t.string "name"
end

并用 factory_girl 构建测试数据：factory :product, :class => App2::Product do。但当我执行 rspec 测试时，显示这样的消息：

Failure/Error: let(:app2_products) { create(:product) }

ActiveRecord::StatementInvalid:
  Mysql2::Error: Table 'app2_test.products' doesn't exist: SHOW FULL FIELDS FROM `products`
# ./spec/my_spec.rb:4:in `block (2 levels) in <top (required)>'
# ./spec/my_spec.rb:12:in `block (3 levels) in <top (required)>'
# ------------------
# --- Caused by: ---
# Mysql2::Error:
#   Table 'app2_test.products' doesn't exist
#   ./spec/my_spec.rb:4:in `block (2 levels) in <top (required)>'

怎么建立 app2 中数据库中的表呢？

[转] 趣文：通俗解释主要编程语言及其用途

zhangjingqiang — Wed, 24 Apr 2013 11:14:39 +0800

中文： http://blog.jobbole.com/29235/

英文： http://www.quora.com/Programming-Languages/In-laymans-terms-what-are-the-major-programming-languages-and-what-are-they-used-for

再加个图吧

[转] Heroku 的教训：糟糕的负载均衡 + RoR 单线程 = 糟糕的性能

zhangjingqiang — Mon, 18 Feb 2013 11:32:18 +0800

原文在 InfoQ ，转过来给大家分享一下。

Heroku 的教训：糟糕的负载均衡 + RoR 单线程 = 糟糕的性能

值得注意的是 Bamboo 和 Cedar 这一老一新的堆栈。

给 Ruby China 换装 -> Ruby China on Heroku

zhangjingqiang — Thu, 20 Dec 2012 21:49:03 +0800

http://ruby-china.heroku.com

多刷新，多换装。快到圣诞，献此一礼。

开源扑克挺好玩，你订购了吗？

zhangjingqiang — Thu, 13 Sep 2012 09:20:36 +0800

开源中国社区的新商品 -- 开源扑克

技术人关心的是收集汇总各个领域的东西。

Rails 服务启动的判定方法

zhangjingqiang — Tue, 05 Jun 2012 12:23:50 +0800

今天在日本的 QA 网看到这样一条问题：

rails server rails console

启动后的判定方法是什么？

有这样的判定方法吗？

如何获取用户 IP 和地理信息？

zhangjingqiang — Fri, 09 Mar 2012 21:41:49 +0800

更新 facebook 密码时，发一封邮件给用户，提示在哪个 IP 下、哪个国家哪个地区位置改变的密码。

比如： Chaoyang, Beijing, CN (IP:XX.XX.XX.XX)

这几个信息是如何取得的？

关于具体位置，是用经度、纬度取得的？

这是什么信号？

zhangjingqiang — Wed, 07 Mar 2012 09:23:55 +0800

http://www.360.cn/angrybirds/

今早在微博上看到的，机器人打开一扇门，看到了愤怒的小鸟。那个时间会发生什么？

Rails 3.1 二级联动的问题

zhangjingqiang — Thu, 01 Mar 2012 17:16:20 +0800

Rails 具体版本是 3.1.3

要做省市二级联动的效果，省如下：

<%= f.select :name, Prefecture.all.collect{|p|[ p.name, p.id ]}.unshift(blank) %> ※这里用的是 form_for

搜索的结果大都是select的示例，如：

<%= select(:city, :name, @cities, {}, { "onchange" => remote_function(   
                    :with => "'parent_id='+value",   
                    :update => 'next_select',   
                    :url => { :action => :select_with_ajax } ) })%>

按照这种方法去做，在f.select里加上{ "onchange" => remote_function(...，结果提示： undefined method `remote_function' for

怎么做呢？

二级分层的情况下 delete 方法为何失效？

zhangjingqiang — Mon, 13 Feb 2012 14:03:41 +0800

比如程序创建的形式为： admin/notice

控制层（notice_controller.rb）中是基本的 scaffold 写法;

视图中的写法为： <% @notices.each do |notice| %>

something

<%= link_to 'Destroy', admin_notice_path(notice),confirm: 'Are you sure?', :method => :delete %> <% end %>

routes.rb 中的写法为： scope 'admin', :as => 'admin', :module => 'admin' do

something

resources :notice end

在程序执行时，点击“Destroy”链接导向了 show 方法，其中的“:method => :delete”为什么没起作用？

致社区的两点建议

zhangjingqiang — Fri, 10 Feb 2012 17:51:07 +0800

社区现在的形式很好，在此基础上有如下两点建议，可否考虑一下？

1.可否加上新闻功能？像这样: http://www.infoq.com/cn/ruby/

2.能否出电子杂志月刊？不需要像《程序员》、InfoQ 架构师那种规模，在业界动态、技术领域等方面突出也好。

这需要精力与热情，期待 ing...

忘记密码功能有错误

zhangjingqiang — Fri, 10 Feb 2012 17:34:29 +0800

在找回密码页面：

http://ruby-china.org/account/password/new

填入注册邮箱地址，提交后，页面转向到如下 URL:

http://ruby-china.org/account/password

并报错：

We're sorry, but something went wrong.

We've been notified about this issue and we'll take a look at it shortly.

[assets 关联] 这个错误是怎么回事？

zhangjingqiang — Fri, 20 Jan 2012 11:14:27 +0800

■错误信息 Sprockets::Helpers::RailsHelper::AssetPaths::AssetNotPrecompiledError in Index#index

Showing ../app/views/index/index.html.erb where line #2 raised:

index.css isn't precompiled

Extracted source (around line #2):

1: <% content_for(:ex_styles) do %> 2: <%= stylesheet_link_tag "index" %> 3: <% end %> 4: <% content_for :ex_scripts do %> 5: <%= javascript_include_tag "index" %> 6: <% end %>

■RoR 版本 Ruby 1.9.3p0 Rails 3.1.3

■尝试内容在 Google 上搜索，说“config/enviroments/production.rb”中的 config.assets.compress = true 是必要的，我的默认环境是这样的，然而相同目录的“development.rb”中的代码却是： config.assets.compress = false 把它改成 true，执行： bundle exec rake assets:precompile 得到的信息是： .rvm/gems/ruby-1.9.3-p0/bin/rake assets:precompile:all RAILS_ENV=production RAILS_GROUPS=assets .rvm/gems/ruby-1.9.3-p0/bin/rake assets:precompile:nondigest RAILS_ENV=production RAILS_GROUPS=assets 似乎只对 production 生效？刷新页面依然是那个错误信息。

Redmine+Git，在文件中 404 错误怎么回事？

zhangjingqiang — Fri, 13 Jan 2012 11:56:26 +0800

在配置中用 Git 方式管理代码，加上了本地 Git 库路径： /home/git/repositories/project.git (填路径那栏就这么写的)

在 Redmine 路径下执行

$ ruby script/runner "Repository.fetch_changesets" -e production

在文件菜单中却是 404 文件不存在错误。

Google 了半天，说 Redmine 有 Bug，于是修改了其下的 `lib/redmine/scm/adapters/git_adapter.rb 把

GIT_BIN = Redmine::Configuration['scm_git_command'] || "git"

改成

GIT_BIN = "/usr/bin/git"

还是 404，怎么回事呢？

请教一个 Apache+Passenger 搭配的问题

zhangjingqiang — Thu, 12 Jan 2012 12:18:39 +0800

安装 Passenger

$ gem install passenger
$ passenger-install-apache2-module

设定 Passenger

$ vi /etc/httpd/conf.d/passenger.conf
--
LoadModule passenger_module /usr/local/rvm/gems/ruby-1.9.3-p0@set1/gems/passenger-3.0.11/ext/apache2/mod_passenger.so
PassengerRoot /usr/local/rvm/gems/ruby-1.9.3-p0@set1/gems/passenger-3.0.11
PassengerRuby /usr/local/rvm/wrappers/ruby-1.9.3-p0@set1/ruby

RailsEnv development
--

设定 VirtualHost

$ vi /etc/httpd/conf.d/virtualhost.conf
--
<VirtualHost *:80>
ServerName www.example.com
DocumentRoot /var/www/html/
RailsBaseURI /demo
</VirtualHost>
------------

创建链接

$ cd /var/www/html
$ ln -s /var/ruby/demo/public ./demo

重启 Apache

$ /etc/rc.d/init.d/httpd restart

这样在浏览器中访问 demo 时，直接把 Rails 项目的 public 目录一览显示出来了，问题出在哪？Passenger 没启动？

三个月可以做个 EC 网站吗？

zhangjingqiang — Thu, 05 Jan 2012 10:12:51 +0800

像这种规模的： http://www.infotop.jp

顺便问一下，在中国有这样的信息素材网站吗？