---
title: ヤフーのクラウドネイティブへの取り組みとそれを支えるシステム開発 #CNDT2019 #OSDT2019 #RoomE #1E4
tags:  #cndt2019 #osdt2019 #roome #1e4  
author: [Yahoo!デベロッパーネットワーク](https://www.docswell.com/user/ydnjp)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/547M1ZY5EW.jpg?width=480
description: CloudNative Days Tokyo 2019 / OpenStack Days Tokyo 2019 にて、ヤフー吉岡、ゼットラボ河がお話ししたスライドです。
published: July 23, 19
canonical: https://www.docswell.com/s/ydnjp/ZM3NJK-2019-07-23-105937
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/547M1ZY5EW.jpg)

ヤフーのクラウドネイティブへの取り組みと
それを⽀えるシステム開発
2019年 7⽉ 22⽇
ヤフー株式会社 テクノロジーグループ システム統括本部
クラウドプラットフォーム本部 吉岡 圭
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.


# Page. 2

![Page Image](https://bcdn.docswell.com/page/ZP7RL69Z79.jpg)

⾃⼰紹介
吉岡 圭
ヤフー株式会社 テクノロジーグループ
システム統括本部 クラウドプラットフォーム本部 本部⻑
システム統括本部 テクニカルディレクター(兼)
2008年5⽉ ヤフー株式会社 ⼊社
Yahoo!フォト、Yahoo!ブリーフケース、Yahoo!ブックマーク、
Yahoo!トップページ を担当
2016年4⽉ システム統括本部テクニカルディレクター
2019年4⽉ システム統括本部クラウドプラットフォーム本部 本部⻑
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
2


# Page. 3

![Page Image](https://bcdn.docswell.com/page/NPJXWMQ17X.jpg)

アジェンダ
• Yahoo! JAPANの紹介
• Why？モダナイゼーション
• Yahoo! JAPANのモダナイゼーション
• モダナイゼーションの効果
提供：アフロ
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
3


# Page. 4

![Page Image](https://bcdn.docswell.com/page/63JKVG9M7D.jpg)

Yahoo! JAPANの紹介
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.


# Page. 5

![Page Image](https://bcdn.docswell.com/page/4LE3MNW2J5.jpg)

100を超えるサービスの提供
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
5


# Page. 6

![Page Image](https://bcdn.docswell.com/page/V8ED6WK67G.jpg)

⾮常に⾼い利⽤数
⽉間総PV ※１
757
億
※１．2017年度2Q平均
※２．2017年度2Q平均
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
ブラウザ数
（デイリーユニーク） ※２
9302
万
6


# Page. 7

![Page Image](https://bcdn.docswell.com/page/4V7PY93Z78.jpg)

マルチビッグデータカンパニー
PCの時代
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
スマホの時代
データの時代
7


# Page. 8

![Page Image](https://bcdn.docswell.com/page/L2JVGM4MJQ.jpg)

特に強みとなる領域のデータセット
メディア
コマース
⾦融
など
など
など
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
8


# Page. 9

![Page Image](https://bcdn.docswell.com/page/Z5EG8G1XEL.jpg)

様々な業種のグループ企業と連携
様々な業種のグループ企業と連携
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
9


# Page. 10

![Page Image](https://bcdn.docswell.com/page/V4JQ9XD5JP.jpg)

Yahoo! JAPANはマルチビッグデータカンパニーを⽬指します
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
10


# Page. 11

![Page Image](https://bcdn.docswell.com/page/DK74X6ZV71.jpg)

Why？モダナイゼーション
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.


# Page. 12

![Page Image](https://bcdn.docswell.com/page/PLJ1NVR47G.jpg)

Why？モダナイゼーション
データ利活⽤で
競争⼒強化
開発競争⼒の向上
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
レガシーからの
脱却
12


# Page. 13

![Page Image](https://bcdn.docswell.com/page/8GJW4L1ZE2.jpg)

Why？モダナイゼーション
データ利活⽤で
競争⼒強化
開発競争⼒の向上
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
レガシーからの
脱却
13


# Page. 14

![Page Image](https://bcdn.docswell.com/page/W4EZ2MPLJ3.jpg)

データ利活⽤で競争⼒強化
出典：⽇経ビジネス、Forbes、Wikipedia
2010年
2018年
1
1989年
NTT
ペトロチャイナ
アップル
2
住友銀⾏
エクソンモービル
アルファベット
3
⽇本興業銀⾏
マイクロソフト
マイクロソフト
4
第⼀勧業銀⾏
ICBC
アマゾン
5
富⼠銀⾏
ウォルマート
テンセント
6
IBM
チャイナモバイル
フェイスブック
7
三菱銀⾏
BHPビリトン
バークシャー・ハザウェイ
8
エクソンモービル
バークシャー・ハザウェイ
アリババ
9
東京電⼒
ペトロブラス
中国⼯商銀⾏
10
三和銀⾏
アップル
JPモルガン・チェース
8年前と⽐較すると、IT企業は2→７企業に
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
14


# Page. 15

![Page Image](https://bcdn.docswell.com/page/KY76VNMMEV.jpg)

マイク
ロ
ソフト
アップ
ル
アリバ
バ
Yahoo! JAPANが⽬指す先
フェイ
スブッ
ク
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
アル
ファ
ベット
アマゾ
ン
テン
セント
提供：アフロ
15


# Page. 16

![Page Image](https://bcdn.docswell.com/page/5G75D5ZQ74.jpg)

データ利活⽤で競争⼒強化
リリース
データを利活用した
開発・改善
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
このサイクルを
スピーディに
ユーザーからの
Fe e d B a c k
開発競争⼒の
向上
16


# Page. 17

![Page Image](https://bcdn.docswell.com/page/V9J28NRWJR.jpg)

Why？モダナイゼーション
データ利活⽤で
競争⼒強化
開発競争⼒の向上
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
レガシーからの
脱却
17


# Page. 18

![Page Image](https://bcdn.docswell.com/page/5DEY6PD97M.jpg)

レガシーからの脱却
Yahoo! JAPANは設⽴20年…
Legacy
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
18


# Page. 19

![Page Image](https://bcdn.docswell.com/page/2VJNZ56DJ8.jpg)

Yahoo! JAPANのモダナイゼーション
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.


# Page. 20

![Page Image](https://bcdn.docswell.com/page/GYE9ZYL8E3.jpg)

Yahoo! JAPANのモダナイゼーション
約3年前から全社における
最重要案件の⼀つ
として現在も取り組み中
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
20


# Page. 21

![Page Image](https://bcdn.docswell.com/page/5GE816XZJD.jpg)

Yahoo! JAPANのモダナイゼーション
Yahoo! JAPANの
100を超えるサービスを
⽀えるPlatformから
対応
Platform “Modernization”
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
21


# Page. 22

![Page Image](https://bcdn.docswell.com/page/MLELQ981JR.jpg)

Platform “Modernization”
Culture
Process
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
Technology
22


# Page. 23

![Page Image](https://bcdn.docswell.com/page/54JM1Z657W.jpg)

Culture
テクノロジートレンド
の変化は
年々加速している
提供：アフロ
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
23


# Page. 24

![Page Image](https://bcdn.docswell.com/page/ZPJRL6PZJ9.jpg)

Culture
要
件
の
不
明
確
さ
⾼
カオス
Platform
領域
要件の不明確さが⾼く、
技術的難易度も⾼く、
⾮常に複雑な領域
単純
技術的難易度⾼
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
24


# Page. 25

![Page Image](https://bcdn.docswell.com/page/NPEXWM31JX.jpg)

Culture
リリー
ス
• 加速するテクノロジー
の変化
• 複雑なPlatform領域
上記を対応するためには
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
改善
FB
スピーディな
改善サイクルが必須
25


# Page. 26

![Page Image](https://bcdn.docswell.com/page/63EKVGYMJD.jpg)

Scrumの採⽤
アジャイル開発
------Scrum
-------
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
Scrumとは？
反復的かつ漸進的にプロセスを進め、
現状や問題を把握するフレームワーク
Scrumの3本柱
透明性
現状や問題の⾒える化
検査
⾒える化により問題点を
⾒つけること
適応
問題の改善策を考えて
対処すること
26


# Page. 27

![Page Image](https://bcdn.docswell.com/page/4L73MN92E5.jpg)

Platform “Modernization”
Culture
Process
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
Technology
27


# Page. 28

![Page Image](https://bcdn.docswell.com/page/V87D6WG6JG.jpg)

Process
Scrumに即した組織作り
組織としてのバックログ作成
PO,SM,開発Mgrの役割明確化
1プロダクト1チーム体制
組織横断のSM育成
One-Platformとしてのマインド向上
※PO同⼠の横連携強化のための合宿等
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
28


# Page. 29

![Page Image](https://bcdn.docswell.com/page/4VJPY98ZJ8.jpg)

Process
CI/CDの促進
サイクルを
よりスピーディに回す
⾃動テスト
リリース
✅
⾃動デプロイ
改善
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
FB
リードタイム
の短縮
⽣産性向上
29


# Page. 30

![Page Image](https://bcdn.docswell.com/page/L2EVGMNMEQ.jpg)

Platform “Modernization”
Culture
Process
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
Technology
30


# Page. 31

![Page Image](https://bcdn.docswell.com/page/Z57G8GKX7L.jpg)

Technology
コンテナ化
IaaS
Infrastructure as a Service
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
CaaS
Container as a Service
提供：アフロ
31


# Page. 32

![Page Image](https://bcdn.docswell.com/page/V4EQ9XN5EP.jpg)

Technology
コンテナ化
サービスエンジニアは
インフラ環境に依存せず、
サービス開発に集中
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
32


# Page. 33

![Page Image](https://bcdn.docswell.com/page/DKJ4X6GVJ1.jpg)

Technology
コンテナ化
約50のサービスが
kubernetesを利⽤し、
稼働中
※2019/2現在
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
33


# Page. 34

![Page Image](https://bcdn.docswell.com/page/PLE1NVD4JG.jpg)

Technology
Not just CaaS
PaaS
アプリケーション開発に特化した
Platform環境の提供
FaaS
イベントドリブン型のサーバレスな
アプリケーション実⾏環境の提供
Platform as a Service
Function as a Service
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
34


# Page. 35

![Page Image](https://bcdn.docswell.com/page/8GEW4LYZ72.jpg)

Technology
IaaS
CaaS
PaaS
FaaS
Function
Function
Function
Function
Application
Application
Application
Application
Data
Data
Data
Data
Runtime
Runtime
Runtime
Runtime
Middleware
Middleware
Middleware
Middleware
OS
OS
OS
OS
Virtualization
Virtualization
Virtualization
Virtualization
Server
Server
Server
Server
Storage
Storage
Storage
Storage
Networking
Networking
Networking
Networking
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
35


# Page. 36

![Page Image](https://bcdn.docswell.com/page/W47Z2MXLE3.jpg)

Technology
IaaS
CaaS
PaaS
FaaS
OSを⾃由選択・設定可能
ミドルウェア等の
カスタマイズ性が⾼い
開発環境をフルセット⽤意
アプリ開発に集中
サーバレスで
イベントドリブンな
アクション作成可能
サービスの要件に沿った最適な環境を使⽤してもらうため、
各開発環境を構築
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
36


# Page. 37

![Page Image](https://bcdn.docswell.com/page/KYJ6VN4M7V.jpg)

Technology
MakeとUse
Make
Use
未だ世の中に無いもの
世の中に既にあるもの
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
37


# Page. 38

![Page Image](https://bcdn.docswell.com/page/5GJ5D5QQJ4.jpg)

Technology
Make
未だ世に無いモノや、既存の資産を活かしたモノは「Make」
1から構築
OSSをベースにして構築
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
今回は
こちらにフォーカス
38


# Page. 39

![Page Image](https://bcdn.docswell.com/page/4LE3MNVZJ5.jpg)

OSSへの貢献
プロダクトへの貢献
Yahoo! JAPANのサービスの特徴
⾼帯域トラフィック
⼤規模ユーザー
ペタバイトのデータ
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
想定通りの動作×
OSSに適⽤
新たなBug発⾒
39


# Page. 40

![Page Image](https://bcdn.docswell.com/page/V8ED6W847G.jpg)

OSSへの貢献
Yahoo! JAPANが開発協⼒
Apache Software Foundation Top-Level Project昇格
スケーラブルで
低レイテンシーな
Pub/Sub
メッセージキュー
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
安⼼安全な
RBAC（ロールベース
アクセス制御）
システム
中央集中型の
CI/CD
システム
40


# Page. 41

![Page Image](https://bcdn.docswell.com/page/4V7PY98V78.jpg)

OSSへの貢献
スポンサー
Yahoo! JAPANは
Cloud Native Computing Foundationの
スポンサー（SilverMember）
CNCFのカンファレンスである
KubeConや各カンファレンスに
積極的にブース出展
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
2018
•
KubeCon China 出展済
•
KubeCon NA 出展済
2019
•
KubeCon Euro 出展済
•
KubeCon China 出展済
•
KubeCon NA 出展予定
•
Cloud Native Days Tokyo
出展済
41


# Page. 42

![Page Image](https://bcdn.docswell.com/page/L2JVGMNRJQ.jpg)

OSSへの貢献
OSSのリスクも・・・
OSS利⽤
ガイドライン
OSSライセンスの
教育
社内で徹底的に対応
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
42


# Page. 43

![Page Image](https://bcdn.docswell.com/page/Z5EG8GK6EL.jpg)

Technology
MakeとUse
Make
Use
未だ世の中に無いもの
世の中に既にあるもの
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
43


# Page. 44

![Page Image](https://bcdn.docswell.com/page/V4JQ9XN2JP.jpg)

Technology
Use
世の中にあるモノで、いち早く価値を届けられる場合は「Use」
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
44


# Page. 45

![Page Image](https://bcdn.docswell.com/page/DK74X6GP71.jpg)

Technology
MakeとUseのバランス
様々な課題、要件に対して
1から内製すべき？
OSSを利⽤？
ソフトウェアの使⽤？
テクノロジートレンドを⾒て判断
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
45


# Page. 46

![Page Image](https://bcdn.docswell.com/page/PLJ1NVDX7G.jpg)

モダナイゼーションの効果
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.


# Page. 47

![Page Image](https://bcdn.docswell.com/page/8GJW4LYKE2.jpg)

効果
デプロイ頻度
・⽉1,2回
・週１回
・⽉４回
・週２、３回
（１⽇に複数回も）
変更リードタイム
１⽇
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
1時間
※あるサービスで計測
47


# Page. 48

![Page Image](https://bcdn.docswell.com/page/W4EZ2MXNJ3.jpg)

モダナイゼーションの効果
ASIS
TOBE
その他
その他
新機能開発
システム
改善
定常
緊急 保守運⽤
保守運⽤
新機能開発
システム
改善
定常保守運⽤
緊急保守運⽤
サービス開発エンジニアは
より磨かれたサービスをお客様に届ける事が可能に
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
※あるサービスで計測
48


# Page. 49

![Page Image](https://bcdn.docswell.com/page/KY76VN49EV.jpg)

課題点
モダナイゼーションへの理解とスキルチェンジ
社内全体で
・モダナイゼーションが必要である事への理解
・それを⾏うためのスキルチェンジ
が必要になります。
※あるサービスで計測
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
49


# Page. 50

![Page Image](https://bcdn.docswell.com/page/5G75D5QD74.jpg)

課題点
最も効果的だったもの
①
“モダナイゼーション”な
Platform アーキテクチャ図
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
②
①を構成する
サービスカタログ
③
“モダナイゼーション”への
クックブック
提供：アフロ
50


# Page. 51

![Page Image](https://bcdn.docswell.com/page/V9J28NWMJR.jpg)

Doing
Culture
Technology
Lean XP
Microservice
ServiceMesh
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
51


# Page. 52

![Page Image](https://bcdn.docswell.com/page/5DEY6PLP7M.jpg)

まとめ
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.


# Page. 53

![Page Image](https://bcdn.docswell.com/page/2VJNZ54MJ8.jpg)

Why？モダナイゼーション
データ利活⽤で
競争⼒強化
開発競争⼒の向上
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
レガシーからの
脱却
53


# Page. 54

![Page Image](https://bcdn.docswell.com/page/GYE9ZYQWE3.jpg)

Platform “Modernization”
Culture
Scrumに
即した組織
CI/CDの促進
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
Process
Scrum
Technology
コンテナ化
MakeとUse
54


# Page. 55

![Page Image](https://bcdn.docswell.com/page/5GE816GRJD.jpg)

効果 / 苦労点
“モダナイゼーション”への理解とスキルチェンジ
デプロイ頻度
・⽉1,2回
・週１回
・⽉４回
・週２、３回
変更リードタイム
１⽇
1時間
サービスエンジニアは
よりサービスを磨くことが可能に
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
※あるサービスで計測
①
“モダナイゼーション”な
Platform アーキテクチャ図
②
①を構成する
サービスカタログ
③
“モダナイゼーション”への
クックブック
55


# Page. 56

![Page Image](https://bcdn.docswell.com/page/MLELQ9G2JR.jpg)

モダナイゼーションに終わりは無い
Culture・Process・Technology
の観点で、モダナイゼーションを
常に追い続ける
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
提供：アフロ
56


# Page. 57

![Page Image](https://bcdn.docswell.com/page/54JM1ZQ97W.jpg)

Yahoo! JAPANʼs
“Modernization”
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
提供：アフロ
57


# Page. 58

![Page Image](https://bcdn.docswell.com/page/ZPJRL689J9.jpg)

EOP
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.


# Page. 59

![Page Image](https://bcdn.docswell.com/page/NPEXWM83JX.jpg)

ヤフーのKubernetes as a Service(CaaS)の現状紹介と
ゼットラボによる保守開発
ゼットラボ株式会社
河 宜成
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.


# Page. 60

![Page Image](https://bcdn.docswell.com/page/63EKVGKNJD.jpg)

Who am I
河 宜成 (Takanari Ko)
ゼットラボ株式会社 代表取締役
ヤフー100%子会社
昨年 OpenStack Days「Cloud Nativeを企業に促進させるには」で登壇
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.


# Page. 61

![Page Image](https://bcdn.docswell.com/page/4L73MNZZE5.jpg)

ゼットラボとヤフーの関係
ヤフーのインフラ課題に対し、ゼットラボがR&Dでソリューションを提供
現在ゼットラボが Kubernetes as a Service(CaaS) を開発、ヤフーに提供
課題共有
ソリューション提案/提供
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.


# Page. 62

![Page Image](https://bcdn.docswell.com/page/V87D6WR4JG.jpg)

本日お伝えすること
•
ヤフーのKubernetes as a Service
•
Kubernetes as a Serviceの保守開発
•
新しい課題、ゼットラボの取り組み
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.


# Page. 63

![Page Image](https://bcdn.docswell.com/page/4VJPY9WVJ8.jpg)

ヤフーのKubernetes as a Service
ヤフーにおけるMake
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.


# Page. 64

![Page Image](https://bcdn.docswell.com/page/L2EVGM8REQ.jpg)

ヤフーのKubernetes as a Service(CaaS)
•
Kubernetesクラスタの作成・削除・アップグレードを簡単に行える
マネージド・サービス
•
On-premisesのOpenStack環境にKubernetesクラスタを作成可能
CRUD
Kubernetes as a Service
Create/Update
Master
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
etcd
Worker
Delete


# Page. 65

![Page Image](https://bcdn.docswell.com/page/Z57G8G567L.jpg)

ヤフーでのCaaS利用実績
Kubernetesクラスタ
400
VMs
5,500
Pods
37,000
Containers
50,000
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
2019/7時点


# Page. 66

![Page Image](https://bcdn.docswell.com/page/V4EQ9XZ2EP.jpg)

Kubernetesの利用状況の変化
この1年で
Kubernetesの利用が急増
400クラスタ
8倍
5クラスタ
2017/7
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
50クラスタ
2018/7
2019/7


# Page. 67

![Page Image](https://bcdn.docswell.com/page/DKJ4X63PJ1.jpg)

利用者増加=全社的な課題増加
利用者が増え、会社全体で取り組むべき課題が増加
•
全社共通の認証認可/権限管理
•
スケーラブルなモニタリングシステム
•
安定し、スケールするCI/CD
•
全社共通のシークレット管理
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.


# Page. 68

![Page Image](https://bcdn.docswell.com/page/PLE1NV1XJG.jpg)

個別の要望・要件も増加
利用者が増え、稼働させるアプリケーション毎の要望・要件も多様化
•
50万同時接続/100万rpsのWebサービスを稼働させたい
•
運用負荷を減らすために1,000VM規模のクラスタが欲しい
•
CPU Pinning/独自Flavorの独自OpenStackクラスタが欲しい
•
長時間バッチを稼働させたい
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.


# Page. 69

![Page Image](https://bcdn.docswell.com/page/8GEW4L8K72.jpg)

Kubernetes as a Serviceの保守開発
多くの課題・要件に応じながら、最新のKubernetesを提供するために
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.


# Page. 70

![Page Image](https://bcdn.docswell.com/page/W47Z2M8NE3.jpg)

組織間の責任範囲を明確に
• ヤフーのCaaSはヤフーで運用。ヤフーにしかないシステムはヤフーが連携機能を開発
• 個社で担当範囲を決めること=組織内での迅速な意思決定、開発コスト低減に寄与
CaaS開発
認証
CaaS運用・システム間連携開発
CI/CD
認証
認可
モニタリング
CI/CD
Kubernetes as a Service
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
納品
Kubernetes as a Service
シークレット


# Page. 71

![Page Image](https://bcdn.docswell.com/page/KYJ6VNP97V.jpg)

共同で取り組むべき箇所も忘れずに
•
CaaS利用者のサポートはゼットラボ・ヤフー共同で責任を担い、取り組んでいる
•
利用者サポートはKubernetesを使った開発フローに長け、かつ社内事情に詳しくなければならない
Customer Success
技術セミナー
設計相談・レビュー
CRE
Addon開発・提供
負荷試験
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
CaaS利用者
？


# Page. 72

![Page Image](https://bcdn.docswell.com/page/5GJ5D5KDJ4.jpg)

最新の環境を提供しつづける
•
ヤフーの 400 Kubernetesクラスタは 2019/7 時点ですべて v1.13~1.14
•
常に最新のバージョンを提供できるようにゼットラボで対応
EOL
v1.12
v1.13
v1.14
v1.15
2018/9
2018/12
2019/3
2019/6
稼働中
2019/7 ゼットラボ検証完了
2019/8 ヤフー利用者提供予定
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.


# Page. 73

![Page Image](https://bcdn.docswell.com/page/V9E28N6MER.jpg)

保守だけでなくR&Dも継続するために
ゼットラボは保守だけしているわけではない。R&Dも主要業務
開発リソースをどう確保するか？
•
開発時間を増やす≠業務時間を増やす
•
毎日テストする
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.


# Page. 74

![Page Image](https://bcdn.docswell.com/page/5D7Y6P9PJM.jpg)

開発時間を増やす - Toilを減らす
Toilの一例：Kubernetesのバージョンアップ
anonymous commented 25 days ago
•
/prepare-k8s-upgrade 1.15.0
バージョンアップに伴う各作業はbotが実施
Gitコマンド -> 設定変更のPR ->
Gitコマンド -> CIツールでe2eテスト
CaaS-bot referenced this issue 25 days ago
Update k8s support versions #xx
anonymous commented 25 days ago
エンジニアは、テストの実施ではなく、
機能改修・開発・テストの拡充に集中
…
/update-kubectl-version 1.14.3
CaaS-bot referenced this issue 25 days ago
Update kubectl versions 1.14.3
anonymous commented 25 days ago
•
…
…
/run-e2e --new-k8s=1.15.0
CaaS-bot commented 3 days ago
…
e2e Job e2e/e2e-caas-bot-caastasks-1234-1234567890 was deployed to
stg/e2e successfully.
botを活用したKubernetesのバージョンアップ
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.


# Page. 75

![Page Image](https://bcdn.docswell.com/page/2VENZ5LME8.jpg)

開発時間を増やす - Overheadの認識
Overheadの一例：不要なMTG
• MTGは必要だが、MTG中にはプロダクトは産まれない
開発時間を増やし、開発効率をあげるためにMTGに取り組む
• チームメンバーは最小に
小さなチームは意思決定が早い。チームが扱う担当範囲/責任範囲を明確にする
• 大きなOSS コミュニティから学ぶ
MTGをせずとも圧倒的早さで開発が進むOSSコミュニティ。学びは多い
コードを属人化させない、Issueで管理する、スコープを小さく切る、要件が変わればコードを捨てる
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.


# Page. 76

![Page Image](https://bcdn.docswell.com/page/GY79ZY4W73.jpg)

毎日テストする
•
テストの存在はプロダクト品質に直結
テストコードを作る・テストを仕組み化する。Unit Test, Conformance Test, e2e Test
•
毎日e2eテストを実行
CaaS, Kubernetesの破壊・再生成を繰り返す
•
壊して作り直す=最新のコードの対障害性の確認に繋がる
テスト失敗=コード or テストコードが誤っている
•
•
不具合・デグレの早期発見・早期復旧ができ、プロダクトの品質をあげる
コードもテストコードも開発ライフサイクルに組み込み、常に新陳代謝する仕組みを作る
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.


# Page. 77

![Page Image](https://bcdn.docswell.com/page/5G7816QRED.jpg)

ゼットラボが取り組んでいる新しい課題
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.


# Page. 78

![Page Image](https://bcdn.docswell.com/page/ML7LQ9X2ER.jpg)

ゼットラボが取り組んでいる新しい課題
•
Stateful Application on Kubernetes
•
運用・学習コストが小さいアプリケーションPF
•
コンピュートリソースの集約
•
MLでの活用
•
Secureなシークレット引き渡し
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.


# Page. 79

![Page Image](https://bcdn.docswell.com/page/54EM1ZL9JW.jpg)

Stateful Application on Kubernetes
On-premises KubernetesでStateful Applicationを稼働させる
•
ストレージの種類・予算は？Local volume/
Appliance/SDS？
•
デプロイは？StatefulSet/Operator？
•
データのバックアップ・スナップショット・マ
イグレーション？
•
権限管理? 誰が何をどう管理する？
•
利用者サポートはテーラーメイドかも？
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
[KubeCon + CloudNativeCon Europe2019] Debunking the Myth: Kubernetes Storage is Hard
https://speakerdeck.com/the̲saad̲ali/debunking-the-myth-kubernetes-storage-is-hard-kubecon-keynote


# Page. 80

![Page Image](https://bcdn.docswell.com/page/ZPERL6K9E9.jpg)

運用・学習コストが小さいアプリケーションPF
Kubernetesは学習に時間がかかり、運用コストがかかる
• ヤフーのCaaS利用者を対象にアンケートを実施
8割超がより効率よくアプリケーション運用・Kubernetesの学習をしたい
• 小さなアプリケーションをデプロイするだけで、Kubernetesの学習、アプリケーショ
ン運用はコストが大きい。特に業務委託や契約社員に学習を強いることも難しい
• より簡単に使え、サーバレスかつマネージドなアプリケーションPFが求められている
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.


# Page. 81

![Page Image](https://bcdn.docswell.com/page/NP7XWML3EX.jpg)

コンピュートリソースの集約
VMからコンテナにアプリケーションを移行した結果、コンピュートリソースの余剰が目立つ
•
既存環境からの移行時、現サービスのVM数と同数でのクラスタ作成がよく行われている
•
マイクロサービス化・コンテナ化によるプロセスの集約が考慮されないため、コンピュー
トリソースが余る
•
パブリッククラウドと比べ、On-premisesでは利用者がリソースを削減する動機が乏しい
•
適切なタイミングで適切なスケールインができる仕組み作りが必要
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.


# Page. 82

![Page Image](https://bcdn.docswell.com/page/637KVGLNED.jpg)

MLでの活用/Secureなシークレット引き渡し
GPUを用いたML用途でのKubernetes利用
• vGPU/Baremetal上でのGPU利用
• 予算/効率よく活用するにはどうしたらよいか
Secureなシークレット引き渡し
• OpenStackにはインスタンス認証の仕組みがない
VMのIdentityを証明できれば、人を介するオペレーションをより削減できる
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.


# Page. 83

![Page Image](https://bcdn.docswell.com/page/4LJ3MN3Z75.jpg)

さいごに
本セッションでは、ヤフー、ゼットラボによる
サービスを支えるプラットフォームのモダナイゼーションへの取り組みを紹介しました
近い将来、皆様にさらに一歩踏み込んだ結果をお伝えできればと思います
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.


# Page. 84

![Page Image](https://bcdn.docswell.com/page/V8JD6W44EG.jpg)

Thank you!
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
Photo by Hermansyah on Unsplash