---
title: 黄色いゾウさんと愉快な仲間たちの近況報告 #hadoopreading
tags:  #hadoopreading  
author: [Yahoo!デベロッパーネットワーク](https://www.docswell.com/user/ydnjp)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/GJ55YYX2J4.jpg?width=480
description: Hadoopソースコードリーディング 第21回のスライドです。 https://www.eventbrite.com/e/hadoop-21-tickets-26913657474
published: August 22, 16
canonical: https://www.docswell.com/s/ydnjp/5Y637Z-2016-08-22-134444
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/GJ55YYX2J4.jpg)

黄色いゾウさんと
愉快な仲間たちの
近況報告
2016年8月24日
@shoe116
1


# Page. 2

![Page Image](https://bcdn.docswell.com/page/LE3N55X1E5.jpg)

0. 本日の内容
1.
2.
3.
4.
自己紹介
注目キーワード紹介
黄色いゾウさんと愉快な仲間たちの近況
個人的な所感
注) 内容は筆者の個人的見解であり、筆者の所属組織とは無関係です
2


# Page. 3

![Page Image](https://bcdn.docswell.com/page/8EDWDD2K7G.jpg)

1. 自己紹介：@shoe116
なまえ：しゅう (@shoe116)
お仕事：データプラットフォーム部データフィード
- いろんなデータをETLしてHDFSに置いておく
これまで：広告システム→Qubitalデータサイエンス
言語：Python, Java > JavaScript > Scala, C++
興味：No music, no life. No idol, no life.
課外活動：お歌を歌ったり、戯言を並べたり
- https://shoe116.tumblr.com/
3


# Page. 4

![Page Image](https://bcdn.docswell.com/page/V7P9XX13J8.jpg)

2. 注目キーワード紹介


# Page. 5

![Page Image](https://bcdn.docswell.com/page/2JVMLLYNJQ.jpg)

#HS16SJの注目キーワード
独断と偏見で選んだ、Hadoop界隈注目キーワード。
1. data in motion, data at rest
2. Stream Processing
3. Enterprise
[1]
5


# Page. 6

![Page Image](https://bcdn.docswell.com/page/5EGGXX95EL.jpg)

Data in Motion, Data at Rest
•
•
•
•
data in motion = 今まさに生まれているデータ
data at rest = 蓄積済みのデータ
今までは“at rest”、つまりデータレイクメイン
今後は“in motion”と“at rest”を組み合わせる
[1]
6


# Page. 7

![Page Image](https://bcdn.docswell.com/page/4JQX88WLEP.jpg)

Stream Processing
• 生まれ続けるデータ(“data in motion”)から、いかに速
く価値をだすか？
• 全セッションの1/4はデータの継続的な逐次処理、い
わゆるストリーム処理がテーマ
• 今までbatchでしか処理出来なかったことを、どう
やってStreamで処理するか
7


# Page. 8

![Page Image](https://bcdn.docswell.com/page/K74622K5E1.jpg)

Enterprise
• 簡単に言うと、HAとセキュリテイ(ACL)のこと。keynote
では大人気（ある意味当たり前）
• HAは、各社具体的な取り組み報告あり
• セキュリティは「Enterpriseにはセキュリティ大事だよ
ね！」「うんうん！」という感じ
• ACLの話を始めると、HDFSが結局“ファイルシステ
ム”であるという問題が顕在化する
8


# Page. 9

![Page Image](https://bcdn.docswell.com/page/LJ1VMMX2EG.jpg)

3. 黄色いゾウさんと
愉快な仲間たちの
近況報告


# Page. 10

![Page Image](https://bcdn.docswell.com/page/GJWL33N2E2.jpg)

Hadoopとエコシステムの現状
独断と偏見で選んだ、最近のエコシステムのあり方。
1.
2.
3.
4.
Kafkaはデファクトスタンダード
Stream処理エンジンは群雄割拠
HDFSへのSQLはHiveへ収束
Sparkは分析ツール
[1]
10


# Page. 11

![Page Image](https://bcdn.docswell.com/page/4EZMVV34J3.jpg)

Kafkaはデファクトスタンダード
• 流行りというより、常識になった
• データはKafkaから流れてきて、最終的にHDFSに置
かれる
• Stream処理の入り口はほぼKafka一択な感じ
[2]
11


# Page. 12

![Page Image](https://bcdn.docswell.com/page/Y76N55XG7V.jpg)

Stream処理エンジンは群雄割拠
• Storm, Spark Streaming, Flink, Flume, Kafka
Streams, Heron, and etc
• プロダクションの実績ではStromが一歩リード。
• 注力領域だけあってポジショントークがすごい
• Hortonworks 「Strom1.0がでたよ！2系も来るよ！」
• Cloudera 「Stormは直に歴史の１ページ」
• “Ingest and Stream Processing - What will you
choose?”[3]にまとまっている
12


# Page. 13

![Page Image](https://bcdn.docswell.com/page/G755YYXX74.jpg)

HDFSへのSQLはHiveへ収束
• HDFSへのSQL（いわゆるSQL on Hadoop）はHiveに
落ち着いた。特にメモリに載り切らないSQLはHive
一択
• Presto, Drill, Impala等はmassively-parallel
processing (MPP)でインタラクティブ、かつデータソ
ースを跨ぐ部分で競争中
• “Apache Hive 2.0: SQL, Speed, Scale”[4]に一通りまと
まっている
13


# Page. 14

![Page Image](https://bcdn.docswell.com/page/9J2NGGXQER.jpg)

Sparkは分析ツール
• パフォーマンスというより、多機能でプログラミングし
やすいインターフェースが売り
• Hiveやprestoと同じ、データから価値を出すツール
[5]
14


# Page. 15

![Page Image](https://bcdn.docswell.com/page/DEYPVV8YEM.jpg)

4. 個人的な所感


# Page. 16

![Page Image](https://bcdn.docswell.com/page/VJN5MMQR78.jpg)

#HS16SJの個人的な感想
Hadoop Summit 2016に行った個人的な感想。
1. セキュリティ、特にACLについて
2. オンプレとクラウドの使い分け
3. アメリカすごい、日本ヤバい
[1]
16


# Page. 17

![Page Image](https://bcdn.docswell.com/page/YE9YNNDZJ3.jpg)

セキュリティ、特にACLについて
• file systemであるHDFSに直接アクセスされると、
schemaでのACLは当然かけられない
• 列指向フォーマットファイル（ORC等）に、抽象化した
アクセスを提供するレイヤが待たれる
• つまりそれがLLAP(+Renger)で、目下開発中
17


# Page. 18

![Page Image](https://bcdn.docswell.com/page/GE86KK5Y7D.jpg)

オンプレとクラウドの使い分け
• ちょっと前までは「とりあえずデータはクラウド」って
言う感じ
• “data in motion”の処理は当然プロダクションから
近いほど有利
• クラウドとオンプレを組み合わせる
• “data at rest”はクラウド
• “data in motion”はプロダクション環境
18


# Page. 19

![Page Image](https://bcdn.docswell.com/page/LEL9ZZY9JR.jpg)

アメリカすごい、日本ヤバい
• HDFS+kafkaをmongoDB+rabbitMQくらいの感じでみ
んな自然に使ってる
• 日本のビッグデータはまだ目的な気がする、アメリ
カではすでに手段になっている
• 抱えている課題は日米同レベル、違うのは解決力
19


# Page. 20

![Page Image](https://bcdn.docswell.com/page/4JMZVVNVEW.jpg)

参考資料等
[1] Hortonworks Modern Architecture
http://www.slideshare.net/MatsJohansson4/data-in-motion-data-at-rest-hortonworks-a-modern-architecture
[2][3] Ingest and Stream Processing - What will you choose?
http://www.slideshare.net/HadoopSummit/ingest-and-stream-processing-what-will-you-choose?qid=bcf794fa-e2eb-4eb9-947867d42c5a790c&v=&b=&from_search=2
[4] Apache Hive 2.0: SQL, Speed, Scale
http://www.slideshare.net/HadoopSummit/apache-hive-20-sql-speed-scale-63920205
[5] Producing Spark on YARN for ETL
http://www.slideshare.net/HadoopSummit/producing-spark-on-yarn-for-etl
20