分享 雅虎日本技术大会 2018 部分内容

zhangjingqiang · 2018年01月28日 · 最后由 adamshen 回复于 2018年02月06日 · 3073 次阅读

前言

雅虎日本是日本最大的互联网公司,无论从技术,规模,还是对日本这个国家的影响力,都是顶级水平,和日本乐天并称为日本互联网双雄。

昨日,一年一度的技术大会如期举行,本人去参加并把看到的,得到的信息记录下来,分享给国内同行。虽然他们的水平跟国内相差很远,但根据他们的现状信息,对国内更好地发展有可取之处,也是好事。

官方信息

Yahoo! JAPAN Tech Conference 2018 官方网站

Yahoo Japan Youtube 频道:YahooJAPANTech

Twitter 账号:ydnjp

大会内容

  • 基调演讲
  • 数据中心网络与大规模服务器基础设施的战略
  • Kotlin 的导入情况与展望
  • 有效利用 Web 资源去应用
  • 放心安全的下一代认证
  • 支撑雅虎日本开发平台的 PaaS
  • 大规模业务工具刷新的实施方法
  • 雅虎日本首页的编程
  • 雅虎日本的动画内容
  • 雅虎日本为 OSS 的开发
  • 用户位置信息分析的最前沿
  • AnnexML:从最近的地方搜索用的 extreme multi-label 分类的高速化
  • 雅虎日本应用的开发方法:极限编程
  • 建立提高视觉设计师技能的机制
  • 实现应用程序高速部署的技术 - 雅虎日本的 Kubernetes 即服务
  • 保护日本的互联网!雅虎日本的欺诈性使用对策 - 通过 Splunk 检测非法登录
  • 雅虎日本的 Node.js
  • 技术和品牌〜技术吸引人〜
  • 创造一个移动性和互联网融合在一起的自动驾驶时代
  • kukai:世界第二的节能超级计算机
  • 支撑雅虎日本的广告技术
  • 雅虎日本应用的制作方法
  • 雅虎购物服务数据利用示例

本人参加了如下会场:

  • 基调演讲
  • 数据中心网络与大规模服务器基础设施的战略
  • 支撑雅虎日本开发平台的 PaaS
  • 实现应用程序高速部署的技术 - 雅虎日本的 Kubernetes 即服务
  • 雅虎日本的 Node.js
  • 支撑雅虎日本的广告技术

基调演讲

主题是创造未来。

首席技术官的开场超出对日本一如既往死板的印象,先播放一段 5 分钟的视频介绍 2028 年 1 月 27 日(十年后)的一个日本女孩的一天。

Youtube 网视频已上传: Shape the Future - through the Power of Technology

这一天的所有活动,科技(互联物联)无处不在。

  • 起床,眼前看到科幻电影中的虚拟化屏幕,显示新闻,天气,距离电车发车的时间;
  • 早餐,打开冰箱看到的是各种食物的营养分配,是否过期等,并给出最佳建议;
  • 出发,骑自行车到车站有导航屏实施指示;
  • 坐公交,看车窗就可以看新闻,看美食推荐,用手一划就拿到眼前呈现,人们看新闻都是只需要伸出手而已;
  • 距离会议时间还有几分会及时提示,买咖啡时和老板隔空对话,眼前只需要展开虚拟屏幕,随即关闭;
  • 人们看新闻,看电车时刻表,看股价,到超市购物,虚拟屏幕无处不在,时刻给出最佳方案;
  • 晚上看电视时,即时和父母通视频电话等。

视频播放完毕后,CTO 说,"十年后的样子,有些人说不会达到这样,有些人说达到这样是理所当然的"。然后引出雅虎日本的使命和愿景:

  • Mission: 解决问题的引擎
  • Vision: 更新日本

接下来的内容是雅虎日本的数据介绍:

  • 月 PV: 757 亿
  • 最大每秒访问数:200 万
  • 大数据基础设施:RDB:900 DBs;KVS:2000 nodes 等; Hadoop 集群自称是亚洲最大规模,不太信,能有中国大吗?
  • 开发 7 处地点:日本东京,名古屋,大阪,福冈,美国华盛顿,圣弗兰西斯科,越南胡志明
  • 工程师:2400 名以上,美工 400 名以上

然后介绍从 HTTP 到 HTTPS 的转换过程。起初的困难:服务数 100 以上,服务相关的企业很多都需要调整,域名 1000 以上(日本域名最大数的公司)当初公司内的工程师办不到。决定做的时候,从 2016 年 4 月 1 日到 2017 年 3 月 31 日,一年时间处理 1000 域名完成。

后半程介绍以下几方面内容:

  • 雅虎日本使用用户,数据,人工智能的循环链路提供服务。
  • 雅虎日本的技术栈介绍,从数据中心到应用开发,所有的一切都自己做。控制自由。
  • 对开源社区的贡献,如 Docker,Kubernetes,Kafka,Node.js,Presto 等。

最后表示雅虎日本是给用户新体验的技术企业。

Yahoo! JAPAN Tech Conference 基調講演全程

数据中心网络与大规模服务器基础设施的战略

数据中心地点:日本东京,大阪,福冈,东北;美国两处。东京和大阪网络 Swtich,CDN 互通,一处节点断,另一处仍可以工作。

硬件管理使用 Facebook 创办基金会 (后有 Google,微软加入) 的 OpenCompute,简单易用,强烈推荐参会者使用。

支撑雅虎日本开发平台的 PaaS

从 2016 年讨论,2017 年引入 Cloud Foundry,2018 年计划扩大范围,这个速度很慢了,日本乐天在 2014 年时已经使用 Cloud Foundry 作为 PaaS 平台。

Cloud Foundry 的 CTO 的英文演讲让很多人入睡,语调低沉,却讲了未来软件的开发方式。

实现应用程序高速部署的技术 - 雅虎日本的 Kubernetes 即服务

Kubernetes as a Service 在雅虎日本的一家子公司 Z Lab 开发,从 2017 年初开始,现在有部分雅虎日本的服务运行在上面。这在日本已经是不错的有成绩的,相比之下,国内的容器服务如火如荼,遥遥领先。

他们的做法是,在 IaaS 层用 OpenStack 调度 Kubernetes 节点,根据应用规模实现负载均衡,自动扩容。然而还是很初级,他们(全日本)对新技术的谨慎,文化导致创新速度很慢,大多不创新。

雅虎日本的 Node.js

雅虎日本的大部分服务都是用 PHP 开发,使用 Node.js 后,性能提高 3 倍,今后的方向是把服务大量转换为使用 Node.js 开发,把 Java 和 Node.js 作为主要后端语言。

支撑雅虎日本的广告技术

雅虎日本的广告分两类:直接固定广告和嵌入式广告。

在首页显示的为第一类,商家的广告直接定期固定显示。在搜索结果,新闻一览中看到的是根据大数据算法,以 AI 的方式推送的广告,主要根据性别,年龄,区域等用户信息用算法取中心值,向这类人群投送广告。使用语言有 C,C++,Java,Python,Go 等。

近几年平均每年从广告中获得的收入约 300 多亿日元,是主要收入来源。


演讲幻灯片

https://techblog.yahoo.co.jp/event/yjtc18_slide/

他们用 ruby 吗?

感觉未来后端的脚本语言都是 node.js 的

tcstory 回复

没有听过他们用

起床的时候皮肤这么好

small_fish__ 回复

年轻的姑娘无需修饰就很美

需要 登录 后方可回复, 如果你还没有账号请 注册新账号