Yahoo! JAPAN MeetUp #8 (インフラ技術カンファレンス)セッション②

>100 Views

January 30, 17

スライド概要

profile-image

2023年10月からSpeaker Deckに移行しました。最新情報はこちらをご覧ください。 https://speakerdeck.com/lycorptech_jp

シェア

埋め込む »CMSなどでJSが使えない場合

関連スライド

各ページのテキスト
1.

Network for the Large-scale Hadoop Cluster at Yahoo! JAPAN 2022年11月16日 ヤフー株式会社 システム統括本部 サイトオペレーション本部 インフラ技術3部 DCNW1 深澤 開 1 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

2.

自己紹介 ◆ 名前 ◆ 深澤 開 (ふかざわ かい) ◆ 所属 ◆ データ&サイエンスソリューション統括本部 データプラットフォーム本部 開発2部 ◆ システム統括本部 サイトオペレーション本部 インフラ技術3部 (兼務) ◆ 業務 ◆ 全社Hadoopの設計・構築・運用 ◆ データセンター内ネットワークの設計・構築・運用 ◆ マイブーム ◆ ジム通い / ランニング 2 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

3.

アジェンダ ◆ Hadoop概要 ◆ HadoopとNetwork ◆ Yahoo! JAPANのHadoop Network変遷 ◆ 今までのNetworkの障害・問題と解決 ◆ 今までのNetworkの障害・問題 ◆ 新クラスタでのNetwork要件 ◆ Yahoo! JAPANのIP CLOS Network ◆ 構成 ◆ Hadoopによるパフォーマンステスト ◆ 新たな問題 ◆ Future Plan 3 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

4.

Hadoop概要 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

5.

Hadoop 概要 オープンソースの大規模な分散処理ミドルウェア 5 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

6.

Hadoop 概要 オープンソースの大規模な分散処理ミドルウェア 1. HDFS (Hadoop Distributed File System) 2. YARN (Yet-Another-Resource-Negotiator) 6 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

7.

Hadoop 概要 ◆ HDFS ◆ Hadoop の分散ファイルシステム ◆ ファイルをブロック単位に分割して保存 ◆ レプリケーションを作成して保存 ◆ デフォルトで3レプリケーション ◆ デーモン ◆ Master : NameNode ◆ Slave : DataNode 7 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

8.

Hadoop 概要 ◆ HDFS ◆ HDFS上のメタデータの管理 ◆ DataNodeの状態管理 ◆ ブロックデータの保存 “HDFS Architecture“. Apache Hadoop. http://hadoop.apache.org/docs/current/hadoop-projectdist/hadoop-hdfs/HdfsDesign.html. (01/17/2017). 8 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

9.

Hadoop 概要 ◆ YARN ◆ ジョブスケジューリングおよび クラスタリソース管理のためのフレームワーク ◆ 様々な分散処理が実行可能 ◆ MapReduce / Tez / Spark ◆ デーモン ◆ Master : ResourceManager ◆ Slave : NodeManager 9 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

10.

Hadoop 概要 ◆ YARN ◆NodeManagar の状態管理 ◆アプリケーションの状況把握 ◆処理ノードのリソース管理 ◆アプリケーションの管理 ◆アプリケーションの実行 “Apache Hadoop YARN“. Apache Hadoop. http://hadoop.apache.org/docs/current/hadoopyarn/hadoop-yarn-site/YARN.html. (01/17/2017). 10 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

11.

HadoopとNetwork Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

12.

HadoopとNetwork HDFS File Block DataNode A,B,C DataNode C DataNode B DataNode A Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. NameNode

13.

HadoopとNetwork HDFS DataNode D DataNode C DataNode B DataNode A HeartBeat NameNode Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

14.

HadoopとNetwork HDFS DataNode D DataNode C DataNode B DataNode A HeartBeat NameNode Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

15.

HadoopとNetwork HDFS 障害を起こしたノードが 持っていたデータ量の分だけ DataNodeD トラフィックが発生する DataNodeC DataNodeB DataNodeA (1ノードあたり30TB) HeartBeat Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. NameNode

16.

HadoopとNetwork HDFS 16 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

17.

HadoopとNetwork HDFS 17 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

18.

HadoopとNetwork HDFS 18 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

19.

HadoopとNetwork HDFS 19 1ラック分(30TB*20ノード)のデータの内層トラフィックが発生する Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

20.

HadoopとNetwork YARN (リソースに余裕がある場合) Map 基本的に データがある ノードで処理 Map Reduce Map Reduce Map Shuffle 20 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

21.

HadoopとNetwork YARN (リソースに余裕がある場合) Map 基本的に データがある ノードで処理 Map Reduce Map Reduce Map Shuffle 21 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

22.

HadoopとNetwork YARN (リソースに余裕がある場合) Map Reduce Map 基本的に Suffle フェーズでノード間の通信が発生する データがある Reduce Map ノードで処理 Map Shuffle 22 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

23.

HadoopとNetwork YARN (リソースに空きがない場合) Map データのない ノードで処理が 実行されるため データ転送が 発生する Reduce Map Map 23 Reduce Map Shuffle Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

24.

HadoopとNetwork YARN (リソースに空きがない場合) Map データのない ノードで処理が 実行されるため データ転送が 発生する Reduce Map Map 24 Reduce Map Shuffle Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

25.

HadoopとNetwork YARN (リソースに空きがない場合) Map Reduce Map データのない ノードで処理が Shuffle フェーズだけでなく Reduce 実行されるため Mapの段階でもノード間の通信が発生する データ転送が Map 発生する Map 25 Shuffle Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

26.

HadoopとNetwork ◆Hadoop ではデータのレプリケーションや再配置、 集計処理の中でデータの転送が多く行われる ◆North/South (縦方向)ではなく East/West (横方向) の通信がメイン ◆大規模なHadoopになると より多くのラック間通信が発生する Low High 26 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

27.

HadoopとNetwork “Introduction to Facebook‘s data center fabric”. (11/14/2014). Retrieved https://www.youtube.com/watch?v=mLEawo6OzFM. (01/17/2017). 27 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

28.

HadoopとNetwork ◆ Oversubscription ◆ 求められる帯域と実際に利用できる帯域の比率 10Gbps 1Gbps NIC 40Nodes = 40Gbps 28 Oversubscription 40 : 10 = 4 : 1 “Hadoop オペレーション Eric Sammer 著、玉川 竜司 訳 (O’Reilly). Copyright 2013 Eric Sammer, 978-4873116525.” Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

29.

Yahoo! JAPANの Hadoop Network変遷 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

30.

Yahoo! JAPANのHadoop Network変遷 Cluster Volume 80 70 60 PB 50 40 30 20 10 0 Cluster1 Cluster2 Cluster3 Cluster4 Cluster5 (Jun. 2011) (Jan. 2013) (Apr. 2014) (Dec. 2015) (Jun. 2016) 30 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

31.

Yahoo! JAPANのHadoop Network変遷 Cluster1 Stack 構成 20Gbps 31 Nodes/Rack Server NIC UpLink Oversubscription Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 90Nodes 1Gbps 20Gbps 4.5 : 1

32.

Yahoo! JAPANのHadoop Network変遷 Cluster1 Stack 構成 4スイッチ/Stack 20Gbps 32 Nodes/Rack Server NIC UpLink Oversubscription Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 90Nodes 1Gbps 20Gbps 4.5 : 1

33.

Yahoo! JAPANのHadoop Network変遷 Cluster1 Stack 構成 Nodes/Rack 90Nodes Stack構成を組める Server NIC 1Gbps スイッチ数の限界 20Gbps 33 UpLink 20Gbps Oversubscription 4.5 : 1 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

34.

Yahoo! JAPANのHadoop Network変遷 Cluster2 Spanning Tree Protocol Nodes/Rack Server NIC UpLink Oversubscription 10Gbps … 34 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 40Nodes 1Gbps 10Gbps 4:1

35.

Yahoo! JAPANのHadoop Network変遷 Cluster2 Spanning Tree Protocol Blocking Nodes/Rack Server NIC UpLink Oversubscription … 35 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 40Nodes 1Gbps 10Gbps 4:1

36.

Yahoo! JAPANのHadoop Network変遷 Cluster3 L2 Fabric/Channel L2 Fabric 20Gbps 20Gbps Nodes/Rack Server NIC UpLink Oversubscription … 36 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 40Nodes 1Gbps 20Gbps 2:1

37.

Yahoo! JAPANのHadoop Network変遷 Cluster4 L2 Fabric/Channel L2 Fabric 80Gbps 80Gbps Nodes/Rack Server NIC UpLink Oversubscription … 37 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 16Nodes 10Gbps 80Gbps 2:1

38.

Yahoo! JAPANのHadoop Network変遷 Release Jun. 2011 Volume #Nodes/Switch NIC Oversubscription 3PByte 90 1Gbps 4.5:1 Jan. 2013 20PByte 40 1Gbps 4:1 Apr. 2014 38PByte 40 1Gbps 2:1 Dec. 2015 58PByte 16 10Gbps 2:1 38 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

39.

今までのNetworkの 障害・問題と解決 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

40.

今までのNetworkの障害・問題 ◆ Stack構成でのスイッチ障害 ◆ BUM Trafficによるスイッチへの負荷 ◆ スケールアウトの限界 ◆ サービスアウト処理の制限 40 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

41.

今までのNetworkの障害・問題 Stack構成でのスイッチ障害 ◆ Stackを組んでいるスイッチのうち 1台に障害が発生 ◆ 一緒にStackを組んでいる 他のスイッチにも影響 ◆ 5ラック分(90台)のノードが 通信不能となる ◆ 計算リソースが不足し、 処理停止に繋がる 41 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

42.

今までのNetworkの障害・問題 BUM Trafficによるスイッチへの負荷 ◆ サーバからのARPによるトラフィックが 原因でコアスイッチのCPUが高騰 ◆ サーバ側のARPエントリの 保持時間を調整 ◆ ネットワークアドレスが大きいことで 発生した問題 L2 Fabric … … 4400Nodes 42 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

43.

今までのNetworkの障害・問題 スケールアウトの限界 ◆ Stack ◆ 最大で10台程度 ◆ L2 Fabric ◆ シャーシの数に依存 43 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

44.

今までのNetworkの障害・問題 サービスアウト処理の制限 ◆ UpLinkの帯域によるDataNodeの サービスアウト処理の制限 ◆ ジョブに影響を与えない台数での サービスアウト作業を実施 44 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

45.

新クラスタのNetworkの要件 ◆要件 (2015年春頃) ◆120〜200ラック ◆10000台規模までスケールアウト可能 ◆1ラックあたりのアップリンク 100~200Gbps ◆サーバのNICは10Gbps ◆1ラック20台弱 ◆場所はUS DC 45 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

46.

これらの問題を解決するために 46 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

47.

これらの問題を解決するために IP CLOS Network を採用しました 47 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

48.

IP CLOS Network の採用 ◆Google, Facebook, Amazon, Yahoo… ◆OTT(Over The Top)が採用している DCネットワーク構成 “Introducing data center fabric, the next-generation Facebook data center network”. Facebook Code. https://code.facebook.com/posts/360346274145943/introducing-data-center-fabric-thenext-generation-facebook-data-center-network/. (10/06/2016). 48 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

49.

IP CLOS Network の採用 ◆East-West Traffic 増大に対応 ◆スケーラビリティの向上 ◆ボックススイッチのみであればいくらでもスケール可能 ◆可用性の向上 ◆Spineやアップリンクなど落ちても問題ない構成に ◆運用コストの低減 ◆OSPF,BGPなど一般的な構成なので、 どんな会社のものでもOK 49 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

50.

Yahoo! JAPAN の IP CLOS Network Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

51.

構成 ◆ ボックススイッチ構成 ◆ いくらでもスケールアウト可能 ◆ スイッチの数が増大する 51 Spine ・・ ・・ ・・ ・・ Leaf ・・・ ・・・ ・・・ ・・・ ToR ・・ ・・ ・・・ Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. ・・ ・・

52.

構成 Internet Spine Router Core Leaf 52 ・・・・・ ・・・・・ Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. Layer3 Layer2

53.

構成 Spine Spine Leaf ・・ ・・・ Internet Router Core Leaf 53 ・・・・・ ・・・・・ Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. Layer3 Layer2

54.

構成 ◆ なぜこうような構成にしたのか? ◆ 管理するものを減らす ◆ IPアドレス、ケーブル、インターフェース、BGP Neighbor….. ◆ 別の物理的制約 ◆ フロアが1フロア限定 ◆ シャーシ型の構成でも今回の要件は満たせる ◆ シャーシ型のコストの変化 ◆ 以前よりもポート単価が安くなった Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

55.

構成 ◆Spine-Leaf間はBGP Internet Spine Router ECMP Core BGP Leaf 55 ・・・・・ ・・・・・ Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. Layer3 Layer2

56.

構成 ◆Spine-Leaf 間は /31 ◆Leaf 配下は /26, /27 Internet Spine Router Core /31 Leaf 56 ・・・・・ /26 /27 ・・・・・ Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. Layer3 Layer2

57.

構成 Internet Spine Router BUM Traffic /31 の問題を解消 Leaf 57 ・・・・・ /26 /27 ・・・・・ Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. Core Layer3 Layer2

58.

構成 ◆Leaf Uplink 40Gbps x 4 = 160Gbps Internet Spine Router ① 160Gbps Leaf 58 ② Core ③ ④ ・・・・・ ・・・・・ Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. Layer3 Layer2

59.

構成 ◆Leaf Uplink 40Gbps x 4 = 160Gbps Internet Spine Router ① 160Gbps Leaf 10Gbps NIC 59 20Nodes ② Core ③ ④ ・・・・・ ・・・・・ Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. Layer3 Layer2

60.

構成 ◆Leaf Uplink 40Gbps x 4 = 160Gbps Internet Spine Router ① 200 : 160 = 1.25 : 1 160G ② ③ Core ④ Leaf 10Gbps NIC 60 20Nodes ・・・・・ ・・・・・ Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. Layer3 Layer2

61.

構成 ◆Leaf Uplink 40Gbps x 4 = 160Gbps Internet Spine Router ① サービスアウト処理の制限の解消 200 : 160 = 1.25 : 1 160G ② ③ Core ④ Leaf 10Gbps NIC 61 20Nodes ・・・・・ ・・・・・ Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. Layer3 Layer2

62.

構成 ◆Leaf Uplink 40Gbps x 4 = 160Gbps Internet Spine Router ① UpLink 200 :の冗長化により耐障害性が向上 ③ 160 = 1.25 : 1 160G Leaf 10Gbps NIC 62 20Nodes ② Core ④ ・・・・・ ・・・・・ Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. Layer3 Layer2

63.

構成 ◆ Stack構成でのスイッチ障害 ◆ BUM Trafficによるスイッチへの負荷 ◆ スケールアウトの限界 ◆ サービスアウト処理の制限 63 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

64.

構成 ✔ ◆ Stack構成でのスイッチ障害 ✔ ◆ BUM Trafficによるスイッチへの負荷 ✔ ◆ スケールアウトの限界 ◆ サービスアウト処理の制限 64 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

65.

Yahoo! JAPANのHadoop Network変遷 Release Volume #Nodes/Switch NIC Oversubscription Cluster1 3PByte 90 1Gbps 4.5:1 Cluster2 20PByte 40 1Gbps 4:1 Cluster3 38PByte 40 1Gbps 2:1 Cluster4 58PByte 16 10Gbps 2:1 Cluster5 75PByte 20 10Gbps 1.25:1 65 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

66.

Hadoopによるパフォーマンステスト(5TB Terasort) 66 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

67.

Hadoopによるパフォーマンステスト(40TB DistCp) 67 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

68.

Hadoopによるパフォーマンステスト(40TB DistCp) ◆16Nodes/Rack ◆8Gbps/Node 68 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

69.

Hadoopによるパフォーマンステスト(40TB DistCp) ◆16Nodes/Rack ◆8Gbps/Node 30Gbps x 4 = 120Gbps 69 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

70.

Hadoopによるパフォーマンステスト(40TB DistCp) 70 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

71.

Hadoopによるパフォーマンステスト(40TB DistCp) A社 71 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. B社

72.

Hadoopによるパフォーマンステスト(40TB DistCp) メーカーによるパフォーマンス差 A社はほとんどないB社 72 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

73.

新たな問題 ◆ データ転送遅延 ◆ アップリンク4本のうち1本でエラーパケットが発生 ◆ この影響でデータ転送が遅延 Slow 73 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

74.

新たな問題 ◆ データ転送遅延 ◆ アップリンク4本のうち1本でエラーパケットが発生 ◆ この影響でデータ転送が遅延 Slow “org.apache.hadoop.hdfs.server.datanode.DataNode: Slow BlockReceiver write packet to mirror” 74 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

75.

新たな問題 ◆ データ転送遅延 ◆ アップリンク4本のうち1本でエラーパケットが発生 ◆ この影響でデータ転送が遅延 Slow “org.apache.hadoop.hdfs.server.datanode.DataNode: Slow BlockReceiver write packet to mirror” 75 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

76.

新たな問題 ◆ ラックを移動するとIPが変わる ◆ ラックごとにネットワークアドレスがついてる ◆ アクセスコントロールをIPアドレスでやっている ◆ 移設ごとにACLを変更しないといけない 192.168.0.10 192.168.0.100 192.168.0.0/26 76 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 192.168.0.64/26

77.

Future Plan Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

78.

Future Plan ◆ データ転送に影響に対する対策 Error! 78 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

79.

Future Plan ◆ データ転送に影響に対する対策 Error! Auto Shutdown 79 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

80.

Future Plan ◆ Erasure Coding の採用 Original raw data 80 striping 64kB Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

81.

Future Plan ◆ Erasure Coding の採用 Original raw data 64kB striping D1 D2 D3 D4 D5 D6 Raw data 81 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

82.

Future Plan ◆ Erasure Coding の採用 Original raw data 64kB striping D1 D2 D3 D4 D5 D6 Raw data P1 P2 P3 Parity 82 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

83.

Future Plan ◆ Erasure Coding の採用 Original raw data 64kB striping D1 D2 D3 D4 D5 D1 Raw data P1 P2 D6 D3 D2 P3 Parity 83 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. P1 D5 D4 D6 P2 P3

84.

Future Plan ◆ Erasure Coding の採用 Original raw data 64kB striping D1 D2 D3 D4 D5 D6 D1 Raw data Read P1 P2 D3 D2 P3 Parity 84 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. P1 D5 D4 D6 P2 P3

85.

Future Plan ◆ Erasure Coding の採用 Original raw data 64kB striping D1 D2 D3 D4 D5 D6 D1 Raw data Read P1 P2 D3 D2 P3 Parity 85 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. P1 D5 D4 D6 P2 P3

86.

Future Plan ◆ Erasure Coding の採用 Original raw data 64kB striping D1 D2 D3 D4 D5 D1 Raw data P1 P2 D6 D3 D2 P3 D4 D6 P2 Low Data Locality Parity 86 P1 D5 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. P3

87.

Future Plan ◆ 様々なプラットフォームとの相互接続 BOTTLENECK ・・・・・・・・・・・・ … 87 … Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

88.

Future Plan ◆ コンピューティングとストレージの分離 : Storage Machine : Computing Machine ・・・・・・・・・・・・・・ 88 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

89.

ご清聴ありがとうございました Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

90.

Appendix Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

91.

Appendix • JANOG38 • http://www.janog.gr.jp/meeting/janog38/program/clos • Hadoop Summit Tokyo 2016 • http://www.slideshare.net/HadoopSummit/network-for-thelargescale-hadoop-cluster-at-yahoo-japan 91 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.