---
title: YJTC18 A-1 大規模サーバの戦略
tags: 
author: [Yahoo!デベロッパーネットワーク](https://www.docswell.com/user/ydnjp)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/K746RK6RE1.jpg?width=480
description: Yahoo! JAPAN Tech Conference 2018 A-1 セッションのスライドです。
published: January 29, 18
canonical: https://www.docswell.com/s/ydnjp/ZRJDEK-2018-01-29-145117
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/K746RK6RE1.jpg)

大規模サーバインフラの戦略
サイトオペレーション本部
藤見和英
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.


# Page. 2

![Page Image](https://bcdn.docswell.com/page/LJ1VQXVVEG.jpg)

Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.


# Page. 3

![Page Image](https://bcdn.docswell.com/page/GJWLMNL3E2.jpg)

この発表について
「サーバインフラ」の話しです。アプリケーションレイヤとは違った領域
についてお話させて頂きます。
写真:アフロ
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.


# Page. 4

![Page Image](https://bcdn.docswell.com/page/4EZMQ3MGJ3.jpg)

自己紹介
藤見和英 (ふじみ かずひで)
• サイトオペレーション本部 インフラ技術2部 ハードウェア
• 2010年入社
• 調達～保守までサーバインフラ全般を担当
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.


# Page. 5

![Page Image](https://bcdn.docswell.com/page/Y76N6XNQ7V.jpg)

アジェンダ
• サーバインフラ概要
• OCPサーバ
• 戦略的なパートナーシップ
• 将来の取り組み
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.


# Page. 6

![Page Image](https://bcdn.docswell.com/page/G7556X5274.jpg)

サーバインフラ概要
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.


# Page. 7

![Page Image](https://bcdn.docswell.com/page/9J2NMXN1ER.jpg)

サーバインフラのキーワードは
全体最適化 と OCP
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.


# Page. 8

![Page Image](https://bcdn.docswell.com/page/DEYPX8P4EM.jpg)

サーバインフラ規模
• 担当メンバー
• ≒ 2チーム(約10人) + 業務委託メンバー
• 物理サーバ
• ≒100,000
• 機種
• ≒80
• パーツ点数
• 200,000～
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.


# Page. 9

![Page Image](https://bcdn.docswell.com/page/VJN51Q5678.jpg)

サーバチームタスク
構成検討
検証・比較
物理作業
保守
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
分析


# Page. 10

![Page Image](https://bcdn.docswell.com/page/YE9Y5DYRJ3.jpg)

構成検討について
• ヤフーでは大規模にサーバを導入する
• 1台単位最適化するのではなく、全体で最適化されるように構成を検討する
•例
• SSDの容量を80GB,120GB,…,900GB,1.6TB のようにラインナップ増やさない
• 理由
• 管理コストの観点(在庫、潜在的バグ型番)
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.


# Page. 11

![Page Image](https://bcdn.docswell.com/page/GE86Y36G7D.jpg)

検証～保守
• 検証・比較
• 内製インストーラーのテスト
• 付属ユーティリティのテスト
• 物理作業
• 作業時間に大幅な影響を与える物理機構か確認
• 保守
• 独自フローをカバーできる保守スキームか確認
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.


# Page. 12

![Page Image](https://bcdn.docswell.com/page/LEL94V9XJR.jpg)

分析について
• 将来のサーバ選定、パーツ選定の準備
• メーカーサーバだと委任
• OCPだと全部確認
• 故障率減少、調達価格の適正値
• 保守力高める、価格を知る
• 運用の効率化
• ログツール、CLI、BMC各種の運用性・容易性
=&gt; 分析を用いて将来の全体最適化につなげる
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.


# Page. 13

![Page Image](https://bcdn.docswell.com/page/4JMZKGZ3EW.jpg)

OCPサーバ
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.


# Page. 14

![Page Image](https://bcdn.docswell.com/page/PJR6XZ6R79.jpg)

「http://e.huawei.com/jp/products/cloud-computing-dc/servers/rh-series/rh1288-v3」
Copyright 2018 Yahoo Japan Corporation. All Rights
Reserved.
「http://www.wiwynn.com/english/product/type/details/48?ptype=28」


# Page. 15

![Page Image](https://bcdn.docswell.com/page/PEXM69MY7X.jpg)

サーバ種類 – 19インチサーバ
• 伝統的な形状のサーバ
• 社内 80%以上のサーバが1U/2U Rack Mount Server
「http://e.huawei.com/jp/products/cloud-computing-dc/servers/rh-series/rh1288-v3」
「http://e.huawei.com/jp/products/cloud-computing-dc/servers/rh-series/rh2288-v3」
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.


# Page. 16

![Page Image](https://bcdn.docswell.com/page/3EKG1PG4JD.jpg)

サーバ種類 – OCPサーバ
• TechGiantが主導、新しいコンセプトのサーバ
• 社内 2017年以降
1,000
node以上導入
「http://www.wiwynn.com/english/product/type/details/48?ptype=28」
「http://www.opencompute.org/products/lightning-nvme-jbof/」
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.


# Page. 17

![Page Image](https://bcdn.docswell.com/page/L73NQXND75.jpg)

OCP (Open Compute Project)
• Facebookが主導
• Google, Microsoftなども参加
• オープンソースハードウェア
• HyperScaleの思想
• “Take control of your technology future”
ユーザ(購入側)が主導できる
「http://www.opencompute.org/」
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.


# Page. 18

![Page Image](https://bcdn.docswell.com/page/87DW92W2JG.jpg)

OCPサーバ 様々なメリット
• 物理運用
• フロントオペレーション、背面に移動必要なし
時間がかからない、暑くない
• パーツ選定
• サーバベンダの調達ポリシーに影響を受けない
使いたいデバイスを組み込める
• IPMI/SEL
• 独自フォーマットがない、OCP準拠
システム開発容易
「http://e.huawei.com/jp/products/cloud-computing-dc/servers/pcie-ssd/es3000v3-nvme」
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.


# Page. 19

![Page Image](https://bcdn.docswell.com/page/VJP9Z19LE8.jpg)

とてもよい
「http://www.wiwynn.com/english/product/type/details/48?ptype=28」
「http://www.opencompute.org/products/lightning-nvme-jbof/」
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.


# Page. 20

![Page Image](https://bcdn.docswell.com/page/2EVMWYM6EQ.jpg)

戦略的パートナシップ
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.


# Page. 21

![Page Image](https://bcdn.docswell.com/page/57GGD9G27L.jpg)

サーバインフラを支えるパートナー
サーバインフラ視点では、
ヤフーは「ユーザ」の立場なので各分野の会社と協力をする。
• サーバベンダ
• サーバを提供する会社
• パーツサプライヤー
• サーバ内に組み込む「単位のパーツ」を提供する会社
• ディストリビューター
• 調達、導入、保守などの「Hardware」以外を提供する会社
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.


# Page. 22

![Page Image](https://bcdn.docswell.com/page/4EQX1WX97P.jpg)

パートナー企業規模感
ディストリビューター
約10社
サーバベンダ
パーツサプライヤー
約12社
約15社
ヤフー
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.


# Page. 23

![Page Image](https://bcdn.docswell.com/page/KJ46RK2R71.jpg)

パートナーシップ事例
• ラッキングレールの提案
• ラッキング業務からナレッジ集約して形状を提案
• サーバ搭載パーツの提案
• 故障率やCLI容易性を考慮してパーツを提案
「http://e.huawei.com/jp/products/cloud-computing-dc/servers/pcie-ssd/es3000v3-nvme」
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.


# Page. 24

![Page Image](https://bcdn.docswell.com/page/LE1VQXMV7G.jpg)

将来の取り組み
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.


# Page. 25

![Page Image](https://bcdn.docswell.com/page/GEWLMN3372.jpg)

将来のサーバインフラ
• 自立したサーバインフラへ
• “売る側”のポリシーに影響される
• 現状と今後
• (現状)パーツ選定においてサーバベンダのパーツポリシーに依存
主体的にパーツを選定
• (現状)手厚いサーバサポートとサポートコスト
=&gt;過去事例や故障率の統計を活用して不要なサポート削減
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.


# Page. 26

![Page Image](https://bcdn.docswell.com/page/47ZMQ3VGE3.jpg)

さいごに
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.


# Page. 27

![Page Image](https://bcdn.docswell.com/page/YJ6N6X5QJV.jpg)

まとめ
• ヤフーは「大規模なサーバインフラ」を持っている
• 大規模なので全体最適化が優先 + 統計的なデータも有効活用できる
• OCPサーバ
• 伝統的な19インチサーバと比較して様々メリット有
• サーバインフラを支える戦略的なパートナー企業がいる
• サーバベンダ、パーツサプライヤー、ディストリビューターと協力
• 外部への依存をなくし自立したサーバインフラを目指す
• 意思決定をヤフーが主体的にできる状態へ
• 最新の取り組み =&gt; 「OCP」
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
「http://www.wiwynn.com/english/product/type/details/48?ptype=28」


# Page. 28

![Page Image](https://bcdn.docswell.com/page/GJ556XY2J4.jpg)

ご清聴ありがとうございました
Thank you for your attention
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.


# Page. 29

![Page Image](https://bcdn.docswell.com/page/9E2NMXG17R.jpg)

Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.


