YJTC18 A-1 データセンタネットワークの取り組み

514 Views

January 29, 18

スライド概要

Yahoo! JAPAN Tech Conference 2018 A-1 セッションのスライドです。

Yahoo!デベロッパーネットワーク

@ydnjp

スライド一覧

2023年10月からSpeaker Deckに移行しました。最新情報はこちらをご覧ください。 https://speakerdeck.com/lycorptech_jp

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

関連スライド

深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで

Yahoo!デベロッパーネットワーク 135.5K

ゼロから始める転移学習

Yahoo!デベロッパーネットワーク 75.6K

ヤフーにおける WebAuthn と Passkey の UX の紹介と考察 #idcon #fidcon

idcon fidcon

Yahoo!デベロッパーネットワーク 65.1K

OpenID Connectとネイティブアプリを取り巻く仕様と動向 Yahoo! JAPANの取り組み #openid #openid_tokyo

openid openid_tokyo

Yahoo!デベロッパーネットワーク 52.6K

運用業務とスクラムは本当に組み合わせにくいのか︖運用業務が大半を占めるプロダクト開発での試行錯誤

devsumi

Yahoo!デベロッパーネットワーク 28.3K

ヤフーのオンプレ機械学習基盤AIPFについて #ml_kubernetes

ml_kubernetes

Yahoo!デベロッパーネットワーク 26.1K

各ページのテキスト

ネットワーク概要 EDGE（CDN） Internet Yahoo! JAPAN Network Infra サーバ：80,000 VM：100,000 ルータ：70+ コアスイッチ：200+ Data Center Network Backbone ロードバランサ：600+ Network エッジスイッチ：4500+ マネージメントスイッチ：3000+ Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

10.

11.

12.

13.

14.

15.

Backbone Network 対外接続 500Gbps以上動画トラフィックは7〜8割ニュース動画、GYAOなどにより North-Southのトラフィックは増加傾向 Internet Internet IF増速、機器のグレードアップ東北＝Scale Upで対応大阪九州東京 CDN AS 24572 CDN AS 23816 Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

16.

17.

18.

19.

20.

21.

22.

Data Center Network 九州DCのエッジ uplink Total Traffic 東北DCのエッジ uplink Total Traffic 全拠点で約10Tbps 対外接続500Gbpsの20倍 HadoopやComputeとストレージ分離などにより East-Westトラフィックが急激に増加・・・ Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. ・・・

23.

24.

Data Center Network • Janog38 ヤフーのIP CLOS ネットワークを参照 • https://www.janog.gr.jp/meeting/janog38/download_file/clos.pdf AS6500 BGPのAS番号はPrivate ASを利⽤ Internet Spine Router BFDで素早く検知 Bidirectional Forwarding Detection eBGP ACL (zone security) リンク間は/31 で節約 4x40G ・・・・・ AS65101 AS65102 ・・・・・ leaf配下は/26や/27 ・・・・・ AS651xx AS651xy AS65301 AS65302 AS653xx AS653xy ・・・・・ Core Layer3 Layer2 ルーティング経路はECMP （Equal Cost Multi Path） Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

https://www.janog.gr.jp/meeting/janog38/download_file/clos.pdf

25.

26.

ネットワーク概要まとめ • North-South トラフィック • 動画トラフィックにより増加傾向 • Scale Upで増速、増強し対応 • East-West トラフィック • Hadoop、ストレージネットワークなどにより急激に増加 • Scale Upでは限界のため、Scale Outで対応 • zone securityでCLOS Fabric ネットワークを構築 • 歴史のあるネットワーク更改に苦労 Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

27.

28.

https://code.facebook.com/posts/1782709872057497

29.

データセンタネットワークの取り組み Facebook Yahoo! JAPAN Design CLOS Fabric NW CLOS Fabric NW Automation Home Grown Tool Home Grown + OSS + Apstra Software Chip Box NWメーカー OS FBOSS 汎用ASIC （Broadcomなど） NWメーカー OCP (Wedge, Backpack) NWメーカー OS カスタム ASIC NWメーカー Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. EOS Cumulus 汎用ASIC （Broadcomなど） Arista White Box NX-OS Junos カスタム ASIC Cisco Juniper

30.

Design Facebook Yahoo! JAPAN Design CLOS Fabric NW CLOS Fabric NW Automation Home Grown Tool Home Grown + OSS + Apstra Software Chip Box NWメーカー OS FBOSS 汎用ASIC （Broadcomなど） NWメーカー OCP (Wedge, Backpack) NWメーカー OS カスタム ASIC NWメーカー Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. EOS Cumulus 汎用ASIC （Broadcomなど） Arista White Box NX-OS Junos カスタム ASIC Cisco Juniper

31.

32.

33.

34.

35.

Box/Chip Facebook Yahoo! JAPAN Design CLOS Fabric NW CLOS Fabric NW Automation Home Grown Tool Home Grown + OSS + Apstra Software Chip Box NWメーカー OS FBOSS 汎用ASIC （Broadcomなど） NWメーカー OCP (Wedge, Backpack) NWメーカー OS カスタム ASIC NWメーカー Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. EOS Cumulus 汎用ASIC （Broadcomなど） Arista White Box NX-OS Junos カスタム ASIC Cisco Juniper

36.

Box/Chip • 汎用ASICとカスタムASIC • 安く、タイムリーな速度のIFを利用 → 汎用ASIC（Broadcomなど） • Inbound TelemetryなどカスタムASICでしかできないことも検討中 • 昔：メーカー冗長 • 今：Chip Diversity Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

37.

Box/Chip • Advent Calendar 2017 参照 • データセンタネットワークの取り組みとFacebook Backpack • https://techblog.yahoo.co.jp/advent-calendar-2017/datacenternetwork_backpack/ Backpack Cum ulus Linux ® Cum ulus Linux ® ® Net wor k OS Cum ulus Linux ® ® Net work OS Fabric1 Fabric2 ® ® LC1-L Net w ork OS swp1〜16 ® ® Net work OS Fabric3 Fabric4 BGP ECMP Cum ulus Linux Cum ulus Linux ® Net work OS Cum ulus Linux ® ® LC1-R Net work OS swp17〜32 Cum ulus Linux ® Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. ® LC2-L Net wor k OS Cum ulus Linux ® ® LC2-R Net work OS Cum ulus Linux ® ® LC3-L Net work OS Cum ulus Linux ® ® LC3-R Net wor k OS Cum ulus Linux ® ® LC4-L Net w ork OS Cum ulus Linux ® ® LC4-R Net w ork OS

https://techblog.yahoo.co.jp/advent-calendar-2017/datacenternetwork_backpack/

38.

Automation Facebook Yahoo! JAPAN Design CLOS Fabric NW CLOS Fabric NW Automation Home Grown Tool Home Grown + OSS + Apstra Software Chip Box NWメーカー OS FBOSS 汎用ASIC （Broadcomなど） NWメーカー OCP (Wedge, Backpack) NWメーカー OS カスタム ASIC NWメーカー Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. EOS Cumulus 汎用ASIC （Broadcomなど） Arista White Box NX-OS Junos カスタム ASIC Cisco Juniper

39.

Automation • Janog40 ソフトウェアエンジニアがネットワーク部隊に来ていろいろやってみた参照 • https://www.janog.gr.jp/meeting/janog40/application/files/9015/0103/0898/janog40-soft-ando00.pdf Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

https://www.janog.gr.jp/meeting/janog40/application/files/9015/0103/0898/janog40-soft-ando-

40.

Automation • Janog40 ソフトウェアエンジニアがネットワーク部隊に来ていろいろやってみた参照 • https://www.janog.gr.jp/meeting/janog40/application/files/9015/0103/0898/janog40-soft-ando00.pdf 既存のネットワーク機器は自動化、可視化ができている Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

https://www.janog.gr.jp/meeting/janog40/application/files/9015/0103/0898/janog40-soft-ando-

41.

Automation • Apstra AOS：CLOS Fabricに特化した自動化ツール • Intentベース（アドレス、ラック数、アップリンク帯域などを定義するだけ） • Config自動生成 • ケーブルミス、障害解析、Telemetryなど運用向上自前でできないものをカバー Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

42.

43.

DCNW取り組みまとめ • Hyper Scale(OTT)の良いところをうまく取り入れる • Design • 新しいセキュリティ管理システム • CLOS Fabric Network • Box/Chip • Chip Diversity • 新しい取り組みとしてFacebook Bakcpack • Automation • 自前運用ツール • CLOS Fabricに新しい運用ツール（Apstra） Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

44.