分享 雅虎日本技术大会 2018 部分内容

zhangjingqiang · 发布于 2018年01月28日 · 最后由 adamshen 回复于 2018年02月06日 · 732 次阅读

前言

雅虎日本是日本最大的互联网公司,无论从技术,规模,还是对日本这个国家的影响力,都是顶级水平,和日本乐天并称为日本互联网双雄。

昨日,一年一度的技术大会如期举行,本人去参加并把看到的,得到的信息记录下来,分享给国内同行。虽然他们的水平跟国内相差很远,但根据他们的现状信息,对国内更好地发展有可取之处,也是好事。

官方信息

Yahoo! JAPAN Tech Conference 2018 官方网站

Yahoo Japan Youtube 频道: YahooJAPANTech

Twitter 账号: ydnjp

大会内容

  • 基调演讲
  • 数据中心网络与大规模服务器基础设施的战略
  • Kotlin的导入情况与展望
  • 有效利用Web资源去应用
  • 放心安全的下一代认证
  • 支撑雅虎日本开发平台的PaaS
  • 大规模业务工具刷新的实施方法
  • 雅虎日本首页的编程
  • 雅虎日本的动画内容
  • 雅虎日本为OSS的开发
  • 用户位置信息分析的最前沿
  • AnnexML:从最近的地方搜索用的extreme multi-label分类的高速化
  • 雅虎日本应用的开发方法:极限编程
  • 建立提高视觉设计师技能的机制
  • 实现应用程序高速部署的技术 - 雅虎日本的Kubernetes即服务
  • 保护日本的互联网! 雅虎日本的欺诈性使用对策 - 通过Splunk检测非法登录
  • 雅虎日本的Node.js
  • 技术和品牌〜技术吸引人〜
  • 创造一个移动性和互联网融合在一起的自动驾驶时代
  • kukai:世界第二的节能超级计算机
  • 支撑雅虎日本的广告技术
  • 雅虎日本应用的制作方法
  • 雅虎购物服务数据利用示例

本人参加了如下会场:

  • 基调演讲
  • 数据中心网络与大规模服务器基础设施的战略
  • 支撑雅虎日本开发平台的PaaS
  • 实现应用程序高速部署的技术 - 雅虎日本的Kubernetes即服务
  • 雅虎日本的Node.js
  • 支撑雅虎日本的广告技术

基调演讲

主题是创造未来。

首席技术官的开场超出对日本一如既往死板的印象,先播放一段5分钟的视频介绍2028年1月27日(十年后)的一个日本女孩的一天。

Youtube网视频已上传: Shape the Future - through the Power of Technology

这一天的所有活动,科技(互联物联)无处不在。

  • 起床,眼前看到科幻电影中的虚拟化屏幕,显示新闻,天气,距离电车发车的时间;
  • 早餐,打开冰箱看到的是各种食物的营养分配,是否过期等,并给出最佳建议;
  • 出发,骑自行车到车站有导航屏实施指示;
  • 坐公交,看车窗就可以看新闻,看美食推荐,用手一划就拿到眼前呈现,人们看新闻都是只需要伸出手而已;
  • 距离会议时间还有几分会及时提示,买咖啡时和老板隔空对话,眼前只需要展开虚拟屏幕,随即关闭;
  • 人们看新闻,看电车时刻表,看股价,到超市购物,虚拟屏幕无处不在,时刻给出最佳方案;
  • 晚上看电视时,即时和父母通视频电话等。

视频播放完毕后,CTO说,"十年后的样子,有些人说不会达到这样,有些人说达到这样是理所当然的"。然后引出雅虎日本的使命和愿景:

  • Mission: 解决问题的引擎
  • Vision: 更新日本

接下来的内容是雅虎日本的数据介绍:

  • 月PV: 757亿
  • 最大每秒访问数: 200万
  • 大数据基础设施:RDB:900 DBs;KVS:2000 nodes等; Hadoop集群自称是亚洲最大规模,不太信,能有中国大吗?
  • 开发7处地点:日本东京,名古屋,大阪,福冈,美国华盛顿,圣弗兰西斯科,越南胡志明
  • 工程师:2400名以上,美工400名以上

然后介绍从HTTP到HTTPS的转换过程。起初的困难:服务数100以上,服务相关的企业很多都需要调整,域名1000以上(日本域名最大数的公司)当初公司内的工程师办不到。决定做的时候,从2016年4月1日到2017年3月31日,一年时间处理1000域名完成。

后半程介绍以下几方面内容:

  • 雅虎日本使用用户,数据,人工智能的循环链路提供服务。
  • 雅虎日本的技术栈介绍,从数据中心到应用开发,所有的一切都自己做。控制自由。
  • 对开源社区的贡献,如Docker,Kubernetes,Kafka,Node.js,Presto等。

最后表示雅虎日本是给用户新体验的技术企业。

Yahoo! JAPAN Tech Conference 基調講演全程

数据中心网络与大规模服务器基础设施的战略

数据中心地点:日本东京,大阪,福冈,东北;美国两处。东京和大阪网络Swtich,CDN互通,一处节点断,另一处仍可以工作。

硬件管理使用Facebook创办基金会(后有Google,微软加入)的OpenCompute,简单易用,强烈推荐参会者使用。

支撑雅虎日本开发平台的PaaS

从2016年讨论,2017年引入Cloud Foundry,2018年计划扩大范围,这个速度很慢了,日本乐天在2014年时已经使用Cloud Foundry作为PaaS平台。

Cloud Foundry的CTO的英文演讲让很多人入睡,语调低沉,却讲了未来软件的开发方式。

实现应用程序高速部署的技术 - 雅虎日本的Kubernetes即服务

Kubernetes as a Service在雅虎日本的一家子公司Z Lab开发,从2017年初开始,现在有部分雅虎日本的服务运行在上面。这在日本已经是不错的有成绩的,相比之下,国内的容器服务如火如荼,遥遥领先。

他们的做法是,在IaaS层用OpenStack调度Kubernetes节点,根据应用规模实现负载均衡,自动扩容。然而还是很初级,他们(全日本)对新技术的谨慎,文化导致创新速度很慢,大多不创新。

雅虎日本的Node.js

雅虎日本的大部分服务都是用PHP开发,使用Node.js后,性能提高3倍,今后的方向是把服务大量转换为使用Node.js开发,把Java和Node.js作为主要后端语言。

支撑雅虎日本的广告技术

雅虎日本的广告分两类:直接固定广告和嵌入式广告。

在首页显示的为第一类,商家的广告直接定期固定显示。在搜索结果,新闻一览中看到的是根据大数据算法,以AI的方式推送的广告,主要根据性别,年龄,区域等用户信息用算法取中心值,向这类人群投送广告。使用语言有C,C++,Java,Python,Go等。

近几年平均每年从广告中获得的收入约300多亿日元,是主要收入来源。


演讲幻灯片

https://techblog.yahoo.co.jp/event/yjtc18_slide/

共收到 5 条回复

他们用ruby吗?

感觉未来后端的脚本语言都是node.js 的

tcstory 回复

没有听过他们用

起床的时候皮肤这么好

small_fish__ 回复

年轻的姑娘无需修饰就很美

需要 登录 后方可回复, 如果你还没有账号请点击这里 注册