マルチビッグデータの活用を支える DWHの作り方

268 Views

June 02, 16

スライド概要

Yahoo! JAPANの多種多様なサービスから発生する大量データを自由な発想で分析可能にするパワフルかつ柔軟な分析環境を、ヤフーがどのように構築しようとしているかをご紹介します。

Yahoo!デベロッパーネットワーク

@ydnjp

スライド一覧

2023年10月からSpeaker Deckに移行しました。最新情報はこちらをご覧ください。 https://speakerdeck.com/lycorptech_jp

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

関連スライド

深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで

Yahoo!デベロッパーネットワーク 134.8K

ゼロから始める転移学習

Yahoo!デベロッパーネットワーク 75.5K

ヤフーにおける WebAuthn と Passkey の UX の紹介と考察 #idcon #fidcon

idcon fidcon

Yahoo!デベロッパーネットワーク 65.1K

OpenID Connectとネイティブアプリを取り巻く仕様と動向 Yahoo! JAPANの取り組み #openid #openid_tokyo

openid openid_tokyo

Yahoo!デベロッパーネットワーク 52.6K

運用業務とスクラムは本当に組み合わせにくいのか︖運用業務が大半を占めるプロダクト開発での試行錯誤

devsumi

Yahoo!デベロッパーネットワーク 28.2K

ヤフーのオンプレ機械学習基盤AIPFについて #ml_kubernetes

ml_kubernetes

Yahoo!デベロッパーネットワーク 26K

各ページのテキスト

15 th Largest Internet Company in market cap 400 350 300 as of May 2015 bilion U.S. dollars 250 200 150 100 50 0 http://www.statista.com/statistics/277483/market-value-of-the-largest-internet-companies-worldwide/ 5

http://www.statista.com/statistics/277483/market-value-of-the-largest-internet-companies-worldwide/

Extensive Reach to a Wide Range of Users 80 % 80% of all Japanese Internet users use Yahoo! JAPAN Nielsen NetView June 2015 : Data by Brands. Access from home and work using PCs (excl. internet applications) 6

強力なサービス Media Search Video Answer Mail US JP News Membership Search C2C Payment Knowledge search C2C EC B2C EC Mail Local US JP Premium Wallet YAHUOKU! Loco

10.

11.

12.

13.

14.

ヤフーのDWH Phase1 2002-2008 主要サービスのデータを格納 Teradata 5255 限られた利用者のみで使用 Teradata 5255+5350 Phase2 2009-2015 より多くの種類かつ大量なデータを格納 Teradata 5500 多くの利用者に開放 Teradata 5500+5600 Teradata 6690 Phase3 2016Teradata 6690 & 2800 Unified Data Architecture Teradata以外のデータソースも統合する “logical DWH”構想 Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 13

15.

16.

17.

18.

19.

Logical DWH Low concurrency, large volume batch queries QueryGrid TDCH S3-compatible Storage Hadoop Teradata Presto RDB RDB NoSQL High concurrency, small volume interactive queries and small batches Informatica Data Sources RDB RDB Exadata Hadoop Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 18

20.

21.

22.

23.

24.

25.

26.

27.

Use Case – deliver personalization data Analysis Reports Targeting list Executive Dashboard Personalization Presto Customer Attributes Shopping Membership Settlement INSERT tableB@Cassandra SELECT user_id FROM tableA WHERE segment_code = 1; Browsing Web/click Cassandra ・・・ Teradata Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 26

28.

Use Case – small batches from storage INSERT tableA SELECT * FROM filename@S3storage WHERE log_date = date - 1; Service A REST small data SELECT INSERT Presto Service B REST small data SELECT INSERT S3-compatible Storage Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. Teradata 27

29.

30.

31.

Teradata Labsと協力  複数データソースに対して統一的なアクセスなど、次世代データ分析基盤に必要な機能の共同開発  テラデータの最新技術とヤフーが持つ多様なユースケース及びビッグデータを用いた先行的な共同検証  UDA Product Advisory Councilに加盟。ビッグデータ関連の課題を討議しフィードバック Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 30

32.

33.

DWHの将来像 Low concurrency, large volume batch queries QueryGrid TDCH S3-compatible Storage Hadoop Teradata Presto RDB RDB NoSQL High concurrency, small volume interactive queries and small batches Informatica Data Sources RDB RDB Exadata Hadoop 32

34.

35.

経験できること  大規模DWHの構築。膨大なデータ量＆クエリ数と格闘して経験値UP！  新しいコンセプトのDWHを作り上げるチャンス http://hr.yahoo.co.jp/job-info/career/0157/ ヤフープラットフォーム開発エンジニア Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 検索 34

http://hr.yahoo.co.jp/job-info/career/0157/

36.