可視化までのとある方法 #yjdsnight

143 Views

December 05, 16

スライド概要

profile-image

2023年10月からSpeaker Deckに移行しました。最新情報はこちらをご覧ください。 https://speakerdeck.com/lycorptech_jp

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

関連スライド

各ページのテキスト
1.

可視化までのとある方法 2016年11月25日 ヤフー株式会社 三木 健司

2.

自己紹介 名前 • 三木 健司(みつぎ けんじ) 好きな食べ物 • からあげ

3.

アジェンダ • • • • • • 可視化するまでの流れ データ加工 OTEPONの説明 ダッシュボード dClipの説明 手順 実績 今後

4.

可視化の流れ データ 加工 表示

5.

可視化の流れ データ 加工 OTEPON 表示

6.

可視化の流れ データ 加工 表示 OTEPON dClip

7.

可視化の流れ データ 加工 表示 OTEPON dClip

8.

可視化の流れ データ 加工 表示 OTEPON dClip

9.

データ加工ツール OTEPON 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. WebUI Hive使用 構文チェック 必要なUDFを自動で認識 UDFは自動で更新 直ぐに結果を返す テンプレート機能 定常的に処理する 他システムへの連携 マルチクラスター対応

10.

データ加工ツール OTEPON 1. WebUI 2. Hive使用 3. 構文チェック

11.

データ加工ツール OTEPON 4. 必要なUDFを自動で認識 5. UDFは自動で更新 SELECT func(name) FROM data_night; ADD JAR hdfs:///user/mitsugi/udf.jar; CREATE TEMPORARY FUNCTION func AS …;

12.

データ加工ツール OTEPON 6. 直ぐに結果を返す 実行 実行 数時間 確認 数秒 確認

13.

データ加工ツール OTEPON 7. テンプレート機能 SELECT count(1) FROM data_night WHERE vol = _NUM1_ ; SELECT count(1) FROM data_night WHERE vol = 4;

14.

データ加工ツール OTEPON 8. 定常的に処理する 9. 他システムへの連携 10. マルチクラスター対応 振り分け クラスタA OTEPON クラスタB

15.

可視化の流れ データ 加工 表示 OTEPON dClip

16.

ダッシュボードツール dClip 1. 2. 3. 4. 任意のデータを登録 システム連携したデータを表示 折れ線、円グラフなどで表示 レイアウト変更が楽

17.

dClip画面

18.

手順

19.

手順 1. クエリの作成 2. 実行 3. 登録 4. レポートの作成

20.

1. クエリの作成 SELECT gender, count(1) FROM data_night WHERE vol = 4 GROUP BY gender;

21.

2. 実行 待つだけ!

22.

3. 登録 データ保存先を指定 /d&s/ data_night/ vol1 vol2 vol3 キー(ラベル)で識別 vol4

23.

4. レポートの作成

24.

4. レポートの作成

25.

4. レポートの作成

26.

4. レポートの作成

27.

4. レポートの作成

28.

4. レポートの作成

29.

レポート画面

30.

レポート画面 簡単

31.

実績

32.

データ量(圧縮済みで最大) 〜3.5TB/日

33.

OTEPON処理数 約90,000/月

34.

dClipレポート総数 約20,000

35.

今後

36.

データ量 増

37.

処理数 増

38.

待ち時間 増

39.

ユーザのイライラ 増

40.

どうするか?

41.

技術チャレンジ 増

42.

ご清聴ありがとうございました