Apache Hadoopの現在と未来

Apache Hadoopの 現在と未来 2019年3月14日 鯵坂 明 (日本Hadoopユーザ会、ヤフー株式会社) Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.

事前アンケート結果 Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.

2系への移行は終わり3系の利用/検証が進む 3年前 現在 YARNを利用している: 547人 Hadoop 3系(CDH6, HDP3): 161人 YARNを利用していない: 298人 Hadoop 2系(CDH5, HDP2など): 328人 Hadoopを利用していない: 448人 Hadoopを利用していな い: 279人 Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. 4

参加者ではオンプレミス優勢 Hadoopの利用環境 (複数回答あり) オンプレミス: 310人 AWS: 195人 Azure: 48人 GCP: 29人 Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. 5

クラスタ台数は10台までが多くを占める 1台~10台 7% 11台~50台 14% 44% 10% 25% 51台~100台 101台~1000台 1001台~ Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. 6

扱うデータ量はさまざま 8% 8% 13% 11% 18% Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. 9% 16% 17% ~10GB 10GB ~ 100GB 100GB ~ 1TB 1TB ~ 10TB 10TB ~ 100TB 100TB ~ 1PB 1PB ~ 10PB 10PB ~ 7

利用しているミドルウェア (20人以上) 500 参考: 前回のアンケート結果 450 400 350 300 250 200 150 100 50 0 Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. 8

Hadoopの現在と未来 Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.

並列分散処理をとりまく状況の変化 • クラウドサービスでの利用が増加 • データ量/計算量の増加 • 機械学習/ディープラーニングの流行 • コンテナ技術の流行 Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. 10

クラウドストレージとの連携が進む • Amazon S3 • OpenStack Swift • Azure Blob Storage • Azure Data Lake Storage • Alibaba Cloud Object Storage Service • Tencent Cloud Object Storage (対応中) Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. 11

スケーラビリティの限界突破 • HDFS/YARN Router-based Federationでクラスタを束ねることで、 マスタの負荷を軽減 • オブジェクトストレージ機能の開発 (Ozone) • HDFS Erasure Codingによるディスク の節約 Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. 12

プロジェクト構成の変化 • Common • HDFS • MapReduce • YARN • Submarine • Ozone Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. 13

プロジェクト構成の変化 • Common • HDFS • MapReduce • YARN • Submarine • Ozone Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. 14

Hadoop Submarine 人を深い(deep)所に連れていく唯一の乗り物 写真:アフロ Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. 15

Hadoop Submarine YARNの最新機能をフル活用して、 TensorFlow, PyTorchなどをHadoop上で 分散実行させる • GPU isolation • Docker on YARN • Container-DNS support Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. 16

サブプロジェクトの追加 • Common • HDFS • MapReduce • YARN • Submarine • Ozone Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. 17

サブプロジェクトの追加 • Common • HDFS • MapReduce • YARN • Submarine • Ozone → Arpit氏が詳しく紹介 Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. 18

Hadoopの未来はどうなる？ • 機械学習/ディープラーニングにも対応し、 利用領域がさらに広がった今、これ以上 何を求める? • 個人的には、利用しやすさを高めたい • Kubernetesとできることは変わらない はずなのに、K8sが今流行っている理由 を考えよう Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. 19

数年後までの野望 • Java 11対応を完了させる • リリースサイクルの加速 • プロダクトのさらなる分割? Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. 20

最後に 並列分散処理を取り巻く状況の変化に追従しながら Hadoopは進化し続けてきた 今後も進化を続けるHadoopに是非ご期待ください これまでのContributionに感謝 & これからの Contributionも大歓迎 もっと便利なHadoopを目指して頑張りましょう Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. 21