課題解決エンジンを支えるデータ処理システムと利活用事例

課題解決エンジンを支える データ処理システムと 利活用事例 Privileged and Confidential 角田 直行 データソリューション本部 サービスマネージャー ヤフー株式会社 1

自己紹介 角田 直行（かくだ なおゆき） 事業戦略統括本部 データソリューション本部 2005年 中途入社 地図、路線、検索、YST、検索PF... 2012年 データソリューション配属 データインフラを中心に 技術全般をマネージメント Privileged and Confidential 2

is Privileged and Confidential 3

… … … Privileged and Confidential 4

Privileged and Confidential … … … あらゆるジャンルの ビッグデータを保有 5

目次 月間総ページビュー数 (2013年1-3月平均) Privileged and Confidential 6

年間ユニーク検索クエリ数 (Yahoo! JAPAN調べ) Privileged and Confidential 7

ビッグデータはユーザーのために利活用 ビッグデータはユーザーの課題解決につながる アクセス解析 ページビュー 効果測定 広告ログ データフィード 検索クエリ データ 処理 ! レコメンデーション 購買履歴 ターゲティング ユーザー属性 日本語処理 ・ ・ ・ マルチメディア処理 Privileged and Confidential 8

利活用事例 サービス改善 Privileged and Confidential 9

利活用事例 サービス改善 縦22ピクセル 縦28ピクセル Privileged and Confidential 10

利活用事例 サービス改善 縦22ピクセル 縦28ピクセル Privileged and Confidential 11

利活用事例 ターゲティング広告 閲覧 ￥ 検索キーワード 購買 ＰＲ 興味関心を推定し 最適な広告を掲出 広告 閲覧/クリック … Privileged and Confidential 12

利活用事例 レコメンデーション キーワード入力補助 Privileged and Confidential 音声アシスト (音声認識、意図解析) 13

利活用事例 アクセス解析 マーケットインテリジェンス Privileged and Confidential 14

利活用事例 アクセス解析 マーケットインテリジェンス Privileged and Confidential 15

利活用事例 ビッグデータレポート Privileged and Confidential 16

目次 どのようなシステムでデータを 処理しているのか？ Privileged and Confidential 17

データインフラ概要 生成 格納・処理 収集 利活用 ・ ・ ・ Storm Privileged and Confidential 18

Hadoopについて とは？ OSSの大規模データ分散処理システム MapReduce(処理フレームワーク)と HDFS(分散ファイルシステム)で構成 Yahoo! JAPANの導入規模： 3500台 ・oozie, Hive, Pigなどエコシステムも活用 ・1日に1.5台のペースで故障 ・400超のユーザを抱えるマルチテナンシー運用 Privileged and Confidential 19

Teradataについて とは？ Teradata社の商用RDBMS 並列分散処理で、高速にSQLを実行できる Yahoo! JAPANでは、 主にアナリストの分析用途として活用 Yahoo! JAPANでの活用例 ・広告レポートの抽出 ・広告モデルの効果測定 など Privileged and Confidential 20

Stormについて Stormとは？ Twitter社がOSSとして公開している、 分散ストリーム処理プラットフォーム （リアルタイムに）逐次流れてくるデータを 即時に処理していこうという仕組み。 Yahoo! JAPANでの活用例 ・各ページのリンクのクリック速報 ・広告改善のための一次データ加工 ・スマートフォンアプリのエラー速報 など Privileged and Confidential 21

Hadoopだけではなく適切な役割分担が必要 ・大規模バッチ処理 ・大規模アドホック処理 ・大量データの蓄積 ・リアルタイム処理 ・逐次流れるデータの一次加工 Storm ・大規模な結合処理 ・高速なアドホック分析処理 Privileged and Confidential 22

Ready? Privileged and Confidential 23

目次 どのようにしてビッグデータを 全員がデータに触れることが重要 利活用しているのか？ データは一部の人だけのものではない Privileged and Confidential 24

目次 どのようにしてビッグデータを 全員がデータに触れられる環境 利活用しているのか？ Privileged and Confidential 25

まとめ ・Yahoo! JAPANはあらゆるジャンルの ビッグデータを保有 ・Hadoopを中心としたデータ処理システム を構築、運用 ・データを効果的に利活用するには 技術面だけでなく組織面での整備も必要 Privileged and Confidential 26

データで、ユーザーファーストを実現 Privileged and Confidential 27

Privileged and Confidential 28