---
title: YJTC18 A-1 データセンタネットワークの取り組み
tags: 
author: [Yahoo!デベロッパーネットワーク](https://www.docswell.com/user/ydnjp)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/D7YPX8V47M.jpg?width=480
description: Yahoo! JAPAN Tech Conference 2018 A-1 セッションのスライドです。
published: January 29, 18
canonical: https://www.docswell.com/s/ydnjp/52YV75-2018-01-29-145251
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/D7YPX8V47M.jpg)

データセンタネットワークの取り組み
サイトオペレーション本部 インフラ技術3部
村越 健哉
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.


# Page. 2

![Page Image](https://bcdn.docswell.com/page/VEN51QM6J8.jpg)

自己紹介
• 村越 健哉（むらこし けんや）
• サイトオペレーション本部 インフラ技術3部 部長
• 第6代/第7代 黒帯 〜ネットワーク〜
• 2012年からヤフーへ
• プロダクションネットワーク全般を担当
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.


# Page. 3

![Page Image](https://bcdn.docswell.com/page/Y79Y5DNRE3.jpg)

アジェンダ
• ネットワーク概要
• Backbone Network
• Data Center Network
• 苦労している点
• データセンタネットワークの取り組み
• Design
• Box/Chip
• Automation
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.


# Page. 4

![Page Image](https://bcdn.docswell.com/page/G786Y3KGJD.jpg)

ネットワーク概要
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.


# Page. 5

![Page Image](https://bcdn.docswell.com/page/L7L94VZXER.jpg)

ネットワーク概要
EDGE（CDN）
Internet
Backbone
Network
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
Data Center
Network


# Page. 6

![Page Image](https://bcdn.docswell.com/page/4EMZKGV37W.jpg)

ネットワーク概要
EDGE（CDN）
Yahoo! JAPAN
Network Infra
Internet
Backbone
Network
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
Data Center
Network


# Page. 7

![Page Image](https://bcdn.docswell.com/page/PER6XZ2RJ9.jpg)

ネットワーク概要
EDGE（CDN）
Internet
Yahoo! JAPAN
Network Infra
サーバ：80,000
VM：100,000
ルータ：70+
コアスイッチ：200+
Data Center
Network
Backbone
ロードバランサ：600+
Network
エッジスイッチ：4500+
マネージメントスイッチ：3000+
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.


# Page. 8

![Page Image](https://bcdn.docswell.com/page/P7XM69DYJX.jpg)

ネットワーク概要
EDGE（CDN）
Internet
Backbone
Network
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
Data Center
Network


# Page. 9

![Page Image](https://bcdn.docswell.com/page/37KG1PX4ED.jpg)

Backbone Network
Internet
Internet
東北
大阪
九州
東京
CDN
AS 24572
CDN
AS 23816
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.


# Page. 10

![Page Image](https://bcdn.docswell.com/page/LJ3NQX5DJ5.jpg)

Actapio, Inc.
Actapio, Inc.
AS18140
AS24572
AS23816
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.


# Page. 11

![Page Image](https://bcdn.docswell.com/page/8JDW92D2EG.jpg)

Actapio, Inc.
Actapio, Inc.
IngressZilla
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.


# Page. 12

![Page Image](https://bcdn.docswell.com/page/VEP9Z1XL78.jpg)

Backbone Network
Internet
Internet
東北
大阪
九州
東京
CDN
AS 24572
CDN
AS 23816
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.


# Page. 13

![Page Image](https://bcdn.docswell.com/page/27VMWYL67Q.jpg)

Backbone Network
対外接続 500Gbps以上
Internet
Internet
東北
大阪
九州
東京
CDN
AS 24572
CDN
AS 23816
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.


# Page. 14

![Page Image](https://bcdn.docswell.com/page/5JGGD9X2JL.jpg)

Backbone Network
対外接続 500Gbps以上
動画トラフィックは7〜8割
ニュース動画、GYAOなどにより
North-Southのトラフィックは増加傾向
Internet
Internet
東北
大阪
九州
東京
CDN
AS 24572
CDN
AS 23816
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.


# Page. 15

![Page Image](https://bcdn.docswell.com/page/47QX1W89JP.jpg)

Backbone Network
対外接続 500Gbps以上
動画トラフィックは7〜8割
ニュース動画、GYAOなどにより
North-Southのトラフィックは増加傾向
Internet
Internet
IF増速、機器のグレードアップ
東北
＝Scale Upで対応
大阪
九州
東京
CDN
AS 24572
CDN
AS 23816
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.


# Page. 16

![Page Image](https://bcdn.docswell.com/page/KE46RK9RJ1.jpg)

ネットワーク概要
EDGE（CDN）
Internet
Backbone
Network
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
Data Center
Network


# Page. 17

![Page Image](https://bcdn.docswell.com/page/L71VQXKVJG.jpg)

Data Center Network
・・・
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
・・・


# Page. 18

![Page Image](https://bcdn.docswell.com/page/G7WLMND3J2.jpg)

Data Center Network
Backbone
Aggregation
（棟 or フロア集約）
1棟 or 1フロア
1棟 or 1フロア
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
・・・
1棟 or 1フロア
・・・


# Page. 19

![Page Image](https://bcdn.docswell.com/page/4JZMQ3GG73.jpg)

Data Center Network
ToRのトータルトラフィックは？
・・・
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
・・・


# Page. 20

![Page Image](https://bcdn.docswell.com/page/YE6N6XYQEV.jpg)

Data Center Network
九州DCのエッジ uplink
Total Traffic
約3.6 Tbps
東北DCのエッジ uplink
Total Traffic
約1.5 Tbps
・・・
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
・・・


# Page. 21

![Page Image](https://bcdn.docswell.com/page/GE556XG2E4.jpg)

Data Center Network
九州DCのエッジ uplink
Total Traffic
東北DCのエッジ uplink
Total Traffic
全拠点で約10Tbps
対外接続500Gbpsの20倍
・・・
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
・・・


# Page. 22

![Page Image](https://bcdn.docswell.com/page/972NMXY1JR.jpg)

Data Center Network
九州DCのエッジ uplink
Total Traffic
東北DCのエッジ uplink
Total Traffic
全拠点で約10Tbps
対外接続500Gbpsの20倍
HadoopやComputeとストレージ分離などにより
East-Westトラフィックが急激に増加
・・・
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
・・・


# Page. 23

![Page Image](https://bcdn.docswell.com/page/DJYPX8G4JM.jpg)

Data Center Network
East-Westに弱い
Traditional Network
East-Westに強い
・・・
・・・
CLOS Fabric Network(zone security)
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.


# Page. 24

![Page Image](https://bcdn.docswell.com/page/V7N51QG6E8.jpg)

Data Center Network
• Janog38 ヤフーのIP CLOS ネットワークを参照
• https://www.janog.gr.jp/meeting/janog38/download_file/clos.pdf
AS6500
BGPのAS番号はPrivate ASを利⽤
Internet
Spine
Router
BFDで素早く検知
Bidirectional Forwarding Detection
eBGP
ACL
(zone security)
リンク間は/31
で節約
4x40G
・・・・・
AS65101
AS65102
・・・・・
leaf配下は/26や/27
・・・・・
AS651xx AS651xy AS65301 AS65302
AS653xx AS653xy
・・・・・
Core
Layer3
Layer2
ルーティング経路はECMP
（Equal Cost Multi Path）
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.


# Page. 25

![Page Image](https://bcdn.docswell.com/page/YJ9Y5DWR73.jpg)

苦労している点
• Traditional Networkの更改
• 20年以上の歴史
• それぞれの時代に応じたネットワーク機器・構成
• 保守費、保守期限、故障との戦い
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.


# Page. 26

![Page Image](https://bcdn.docswell.com/page/GJ86Y3NGED.jpg)

ネットワーク概要 まとめ
• North-South トラフィック
• 動画トラフィックにより増加傾向
• Scale Upで増速、増強し対応
• East-West トラフィック
• Hadoop、ストレージネットワークなどにより急激に増加
• Scale Upでは限界のため、Scale Outで対応
• zone securityでCLOS Fabric ネットワークを構築
• 歴史のあるネットワーク更改に苦労
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.


# Page. 27

![Page Image](https://bcdn.docswell.com/page/LJL94VPX7R.jpg)

データセンタネットワーク
の取り組み
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.


# Page. 28

![Page Image](https://bcdn.docswell.com/page/47MZKG43JW.jpg)

データセンタネットワークの取り組み
https://code.facebook.com/posts/1782709872057497
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.


# Page. 29

![Page Image](https://bcdn.docswell.com/page/P7R6XZWRE9.jpg)

データセンタネットワークの取り組み
Facebook
Yahoo! JAPAN
Design
CLOS Fabric NW
CLOS Fabric NW
Automation
Home Grown Tool
Home Grown + OSS + Apstra
Software
Chip
Box
NWメーカー
OS
FBOSS
汎用ASIC
（Broadcomなど）
NWメーカー
OCP
(Wedge, Backpack)
NWメーカー
OS
カスタム
ASIC
NWメーカー
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
EOS
Cumulus
汎用ASIC
（Broadcomなど）
Arista
White Box
NX-OS
Junos
カスタム
ASIC
Cisco
Juniper


# Page. 30

![Page Image](https://bcdn.docswell.com/page/PJXM69PYEX.jpg)

Design
Facebook
Yahoo! JAPAN
Design
CLOS Fabric NW
CLOS Fabric NW
Automation
Home Grown Tool
Home Grown + OSS + Apstra
Software
Chip
Box
NWメーカー
OS
FBOSS
汎用ASIC
（Broadcomなど）
NWメーカー
OCP
(Wedge, Backpack)
NWメーカー
OS
カスタム
ASIC
NWメーカー
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
EOS
Cumulus
汎用ASIC
（Broadcomなど）
Arista
White Box
NX-OS
Junos
カスタム
ASIC
Cisco
Juniper


# Page. 31

![Page Image](https://bcdn.docswell.com/page/3JKG1PD47D.jpg)

Design
L3
ACL
ACL
L2
Traditional Network
同じセキュリティポリシー
であれば構築可能
・・・
・・・
CLOS Fabric Network(zone security)
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.


# Page. 32

![Page Image](https://bcdn.docswell.com/page/LE3NQXRDE5.jpg)

Design
• ACL数がコアスイッチで最大110,000以上
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.


# Page. 33

![Page Image](https://bcdn.docswell.com/page/8EDW92Y27G.jpg)

Design
• ACL数がコアスイッチで最大110,000以上
分散が必要
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.


# Page. 34

![Page Image](https://bcdn.docswell.com/page/V7P9Z16LJ8.jpg)

Design
• iptablesベースのセキュリティ管理システムを開発
• 開発環境で最終テスト中
様々なセキュリティポリシーが
共存可能
・・・
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
・・・


# Page. 35

![Page Image](https://bcdn.docswell.com/page/2JVMWY36JQ.jpg)

Box/Chip
Facebook
Yahoo! JAPAN
Design
CLOS Fabric NW
CLOS Fabric NW
Automation
Home Grown Tool
Home Grown + OSS + Apstra
Software
Chip
Box
NWメーカー
OS
FBOSS
汎用ASIC
（Broadcomなど）
NWメーカー
OCP
(Wedge, Backpack)
NWメーカー
OS
カスタム
ASIC
NWメーカー
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
EOS
Cumulus
汎用ASIC
（Broadcomなど）
Arista
White Box
NX-OS
Junos
カスタム
ASIC
Cisco
Juniper


# Page. 36

![Page Image](https://bcdn.docswell.com/page/5EGGD932EL.jpg)

Box/Chip
• 汎用ASICとカスタムASIC
• 安く、タイムリーな速度のIFを利用 → 汎用ASIC（Broadcomなど）
• Inbound TelemetryなどカスタムASICでしかできないことも検討中
• 昔：メーカー冗長
• 今：Chip Diversity
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.


# Page. 37

![Page Image](https://bcdn.docswell.com/page/4JQX1W59EP.jpg)

Box/Chip
• Advent Calendar 2017 参照
• データセンタネットワークの取り組みとFacebook Backpack
• https://techblog.yahoo.co.jp/advent-calendar-2017/datacenternetwork_backpack/
Backpack
Cum ulus Linux
®
Cum ulus Linux
®
®
Net wor k OS
Cum ulus Linux
®
®
Net work OS
Fabric1
Fabric2
®
®
LC1-L
Net w ork OS
swp1〜16
®
®
Net work OS
Fabric3
Fabric4
BGP
ECMP
Cum ulus Linux
Cum ulus Linux
®
Net work OS
Cum ulus Linux
®
®
LC1-R
Net work OS
swp17〜32
Cum ulus Linux
®
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
®
LC2-L
Net wor k OS
Cum ulus Linux
®
®
LC2-R
Net work OS
Cum ulus Linux
®
®
LC3-L
Net work OS
Cum ulus Linux
®
®
LC3-R
Net wor k OS
Cum ulus Linux
®
®
LC4-L
Net w ork OS
Cum ulus Linux
®
®
LC4-R
Net w ork OS


# Page. 38

![Page Image](https://bcdn.docswell.com/page/K746RKVRE1.jpg)

Automation
Facebook
Yahoo! JAPAN
Design
CLOS Fabric NW
CLOS Fabric NW
Automation
Home Grown Tool
Home Grown + OSS + Apstra
Software
Chip
Box
NWメーカー
OS
FBOSS
汎用ASIC
（Broadcomなど）
NWメーカー
OCP
(Wedge, Backpack)
NWメーカー
OS
カスタム
ASIC
NWメーカー
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.
EOS
Cumulus
汎用ASIC
（Broadcomなど）
Arista
White Box
NX-OS
Junos
カスタム
ASIC
Cisco
Juniper


# Page. 39

![Page Image](https://bcdn.docswell.com/page/LJ1VQX3VEG.jpg)

Automation
• Janog40 ソフトウェアエンジニアが ネットワーク部隊に来ていろいろ やってみた 参照
• https://www.janog.gr.jp/meeting/janog40/application/files/9015/0103/0898/janog40-soft-ando00.pdf
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.


# Page. 40

![Page Image](https://bcdn.docswell.com/page/GJWLMNP3E2.jpg)

Automation
• Janog40 ソフトウェアエンジニアが ネットワーク部隊に来ていろいろ やってみた 参照
• https://www.janog.gr.jp/meeting/janog40/application/files/9015/0103/0898/janog40-soft-ando00.pdf
既存のネットワーク機器は自動化、可視化
ができている
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.


# Page. 41

![Page Image](https://bcdn.docswell.com/page/4EZMQ3KGJ3.jpg)

Automation
• Apstra AOS：CLOS Fabricに特化した自動化ツール
• Intentベース（アドレス、ラック数、アップリンク帯域などを定義するだけ）
• Config自動生成
• ケーブルミス、障害解析、Telemetryなど運用向上
自前でできないものをカバー
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.


# Page. 42

![Page Image](https://bcdn.docswell.com/page/Y76N6XQQ7V.jpg)

Automation
• 国内DC Hadoopネットワーク リプレース
100G
BGP, ECMP
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.


# Page. 43

![Page Image](https://bcdn.docswell.com/page/G7556XR274.jpg)

DCNW取り組み まとめ
• Hyper Scale(OTT)の良いところをうまく取り入れる
• Design
• 新しいセキュリティ管理システム
• CLOS Fabric Network
• Box/Chip
• Chip Diversity
• 新しい取り組みとしてFacebook Bakcpack
• Automation
• 自前運用ツール
• CLOS Fabricに新しい運用ツール（Apstra）
Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.


# Page. 44

![Page Image](https://bcdn.docswell.com/page/9J2NMXD1ER.jpg)

Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.


