YJTC18 D-7 Yahoo!ショッピングのサービスデータ活用事例

1.

2.

3.

4.

5.

6.

7.

8.

9.

10.

11.

Yahoo!ショッピングのデータPF Hadoop 専用領域 4100 nodes 11 約300TB 120 PB ログなどの大容量データ処理基板 Teradata 6690 Teradata 2800 専用領域 1.7 PB 約110TB システムOLAP S3互換ストレージ 250億専用領域ファイルユーザー分析 Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. データストア

12.

Yahoo!ショッピングのデータPF ショッピングEDW Hadoop 専用領域 4100 nodes 12 約300TB 120 PB ログなどの大容量データ処理基板 Teradata 6690 Teradata 2800 専用領域 1.7 PB 約110TB システムOLAP S3互換ストレージ 250億専用領域ファイルユーザー分析 Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. データストア

13.

Yahoo!ショッピングのデータPF ショッピングEDW Hadoop Teradata Teradata 6690 2800 Yahoo!ショッピングに必要なデータを S3互換ストレージ集約、一元管理（ETL） 4100 nodes 専用領域 13 約300TB 120 PB ログなどの大容量データ処理基板専用領域 1.7 PB 約110TB システムOLAP 250億専用領域ファイルユーザー分析 Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. データストア

14.

15.

16.

17.

Yahoo!ショッピングのデータドリブンへのアプローチデータ・ドリブン意思決定をデータで・サービスのコンディションを知れる・施策の効果測定がすぐできる(A/Bテスト) ・改善のためのファクトが発見できる ServiceGrow th データ分析環境サービス提供をデータで・欲しいデータを簡単に引ける →ユーザー属性（パーソナライズ） →注文 →商品 …And more Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. データ利活用環境

18.

Yahoo!ショッピングのデータドリブンへのアプローチデータ・ドリブン意思決定をデータで・サービスのコンディションを知れる・施策の効果測定がすぐできる(A/Bテスト) ・改善のためのファクトが発見できる ServiceGrow th データ分析環境サービス提供をデータで・欲しいデータを簡単に引ける →ユーザー属性（パーソナライズ） →注文 →商品 …And more Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. データ利活用環境

19.

20.

21.

以前(数年前)までの分析環境構成～独立型Mart～ 1つ1つの分析要件に対してMartを作成していく Mart Raw1レポート毎のレイテンシは低いが… Mart BI Mart ・同じ定義なのに、Mart間の数字が合わない・バグが発生すると修正範囲が甚大 Mart ・煩雑なデータフローになり、拡張性が低い Mart Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. Engineer Analyst Marketter Sales

22.

23.

現在の分析環境現在のデータフロー Teradat a Raw ファクトファクトファクト Engineer Analyst Marketter Sales BI ディメンションディメンション・スタースキーマ化・多次元モデル化・MDM化・サロゲート化ディメンションサービスMart Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. …… And more!!

24.

現在の分析環境現在のデータフロー Teradat a Raw ファクトファクトファクト Engineer Analyst Marketter Sales BI ディメンションディメンション・スタースキーマ化・多次元モデル化・MDM化・サロゲート化ディメンションサービスMart 必要に応じた Copyright 2018 Yahoo Japan Corporation. AllMart作成 Rights Reserved. …… And more!!

25.

現在の分析環境現在のデータフロー Teradat a Raw ファクトファクトファクト BI ディメンション BIと組み合わせてユーザーが分析時にインタラクティブに見たいデータのレポーティングができる環境を提供 Engineer Analyst Marketter Sales ディメンション・スタースキーマ化・多次元モデル化・MDM化・サロゲート化ディメンションサービスMart 必要に応じた Copyright 2018 Yahoo Japan Corporation. AllMart作成 Rights Reserved. …… And more!!

26.

27.

28.

29.

Yahoo!ショッピングのデータドリブンへのアプローチデータ・ドリブン意思決定をデータで・サービスのコンディションを知れる・施策の効果測定がすぐできる(A/Bテスト) ・改善のためのファクトが発見できる ServiceGrow th データ分析環境サービス提供をデータで・欲しいデータを簡単に引ける →ユーザー属性（パーソナライズ） →注文 →商品 …And more Copyright 2018 Yahoo Japan Corporation. All Rights Reserved. データ利活用環境

30.

31.

32.

33.

34.

35.

36.

ユーザーの購買予測確率を作成食品カテゴリの購買確率： 95.23…％家電カテゴリの購買確率： 22.13…％回帰分析を用いたモデルを構築 … 花カテゴリの購買確率：39.53…％ペット用品カテゴリの購買確率： 80.94…％ … ショッピングEDW コスメカテゴリの購買確率：76.25…％コンタクトレンズカテゴリの購買確率： 93.15…％ … 米の購買確率：30.54…％水カテゴリの購買確率：76.13…％ …… モデルを使って予測確率を計算 … 様々なカテゴリ毎にユーザー単位で購買確率を作成 Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

37.

ユーザーの購買予測確率を作成食品カテゴリの購買確率： 95.23…％ターゲティングにて利用花カテゴリの購買確率：39.53…％従来の人の手による手動のペット用品カテゴリの購買確率： 80.94…％セグメントと比較し、 … 家電カテゴリの購買確率： 22.13…％回帰分析を用いたモデルを構築 … ショッピングEDW CVRが2倍以上経由流通が4倍以上に！コスメカテゴリの購買確率：76.25…％コンタクトレンズカテゴリの購買確率： 93.15…％ … 米の購買確率：30.54…％水カテゴリの購買確率：76.13…％ …… モデルを使って予測確率を計算 … 様々なカテゴリ毎にユーザー単位で購買確率を作成 Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

38.

39.

40.

41.

42.

今後の展望 ■データPF ✓ユーザープロファイルの更なる強化（Teradata Aster） ✓データ鮮度の向上、ストリーム化（Kafka/Storm） ✓ショッピングEDWのデータをシームレスに活用できる環境整備（Presto） ■データ利活用 ✓作成したユーザープロファイルを用いたパーソナライズ強化 ✓MAに向けた取り組み ✓マルチビックデータ活用！（メディア×EC） Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.

43.

YJTC18 D-7 Yahoo!ショッピングのサービスデータ活用事例

Yahoo!デベロッパーネットワーク

関連スライド

深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで

ゼロから始める転移学習

ヤフーにおける WebAuthn と Passkey の UX の紹介と考察 #idcon #fidcon

OpenID Connectとネイティブアプリを取り巻く仕様と動向 Yahoo! JAPANの取り組み #openid #openid_tokyo

運用業務とスクラムは本当に組み合わせにくいのか︖運用業務が大半を占めるプロダクト開発での試行錯誤

ヤフーのオンプレ機械学習基盤AIPFについて #ml_kubernetes

各ページのテキスト