---
title: データサイエンスを支える基盤とそのテクノロジー@WebDBフォーラム2015 #webdbf2015
tags:  #webdbf2015  
author: [Yahoo!デベロッパーネットワーク](https://www.docswell.com/user/ydnjp)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/47ZMVYYLE3.jpg?width=480
description: 本年のWebDBフォーラム2015　http://db-event.jpn.org/webdbf2015/　 技術報告セッションにおけるYahoo! JAPAN発表資料を公開します。
published: November 26, 15
canonical: https://www.docswell.com/s/ydnjp/5VN13Z-2015-11-26-153559
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/47ZMVYYLE3.jpg)

データサイエンスを支える基盤と
そのテクノロジー
ヤフー株式会社
データ＆サイエンスソリューション統括本部
データインフラ本部 開発1部 部長
小林 直哉


# Page. 2

![Page Image](https://bcdn.docswell.com/page/YJ6N5DDMJV.jpg)

自己紹介
小林 直哉
（こばやし なおや）
2003年にヤフーに中途入社。
エンジニアとしてMy Yahoo!のフロントエンド、
プラットフォームシステム担当を経て、2012年
10月より現職。
データソリューション本部のインフラ基盤構築領
域を部門長として統括。


# Page. 3

![Page Image](https://bcdn.docswell.com/page/GJ55Y33QJ4.jpg)

アジェンダ
1. Yahoo! JAPAN のご紹介
2. マルチビッグデータ
3. データサイエンスのビジネス活用事例
4. データ分析基盤とそのテクノロジー
5. 広告最適化における分析基盤利用の実例
6. 進化するデータ分析基盤


# Page. 4

![Page Image](https://bcdn.docswell.com/page/9E2NGZZW7R.jpg)

アジェンダ
1. Yahoo! JAPAN のご紹介
2. マルチビッグデータ
3. データサイエンスのビジネス活用事例
4. データ分析基盤とそのテクノロジー
5. 広告最適化における分析基盤利用の実例
6. 進化するデータ分析基盤


# Page. 5

![Page Image](https://bcdn.docswell.com/page/D7YPVRR97M.jpg)



# Page. 6

![Page Image](https://bcdn.docswell.com/page/VEN5MDDDJ8.jpg)



# Page. 7

![Page Image](https://bcdn.docswell.com/page/Y79YNGG8E3.jpg)



# Page. 8

![Page Image](https://bcdn.docswell.com/page/G786KVVZJD.jpg)

データ
で


# Page. 9

![Page Image](https://bcdn.docswell.com/page/L7L9Z551ER.jpg)

Yahoo! JAPAN利用率79%
79％
インターネット利用者総数5200万人のうち、
79%の皆様がヤフーを利用
ニールセン2014年 日本のインターネットサービス利用者数ランキングを発表～ Nielsen NetView 家庭および職場のPCからの利用


# Page. 10

![Page Image](https://bcdn.docswell.com/page/4EMZV3357W.jpg)

アプリ累計ダウンロード数
2億7000万以上
“Yahoo! JAPAN”、“天気”、“防災速報”，”乗換案内”、
“カーナビ”など、ランキング1位獲得アプリも多数


# Page. 11

![Page Image](https://bcdn.docswell.com/page/PER62QQZJ9.jpg)

事業領域
その他
323億円
マーケティング
ソリューション事業
3,042億円
7.4%
コンシューマ事業
1,020億円
23.2%
2014年度通期および第4四半期決算より
%
69.4%


# Page. 12

![Page Image](https://bcdn.docswell.com/page/P7XMD551JX.jpg)

18期連続増収増益
18
17
16
15
サービス開始以来、18期連続で増収増益を達成
2014年度の売上高は4284億円、営業利益は1972億円
2014年度通期および第4四半期決算より


# Page. 13

![Page Image](https://bcdn.docswell.com/page/37KGX66MED.jpg)

アジェンダ
1. Yahoo! JAPAN のご紹介
2. マルチビッグデータ
3. データサイエンスのビジネス活用事例
4. データ分析基盤とそのテクノロジー
5. 広告最適化における分析基盤利用の実例
6. 進化するデータ分析基盤


# Page. 14

![Page Image](https://bcdn.docswell.com/page/LJ3N5662J5.jpg)

ヤフーのビッグデータ？


# Page. 15

![Page Image](https://bcdn.docswell.com/page/8JDWDVV6EG.jpg)

サービス数
100以上
メディア、コマース、エンターテインメント、コミュニケー
ション、金融・決済など、幅広い分野でサービスを展開


# Page. 16

![Page Image](https://bcdn.docswell.com/page/VEP9XVRZ78.jpg)

100以上のデータバラエティ
100以上
検索キーワード、ビュー/クリック、コンテンツ、購買情報、
ツイートなど、多様なデータを活用可能


# Page. 17

![Page Image](https://bcdn.docswell.com/page/27VMLZRM7Q.jpg)

膨大なデータボリューム
649億PV
月間649億ページビュー
1日8,300万ユニークブラウザ


# Page. 18

![Page Image](https://bcdn.docswell.com/page/5JGGX4MXJL.jpg)

50,000
約
アクセス
in
1sec


# Page. 19

![Page Image](https://bcdn.docswell.com/page/47QX8GR5JP.jpg)

Variety
Volume
Velocity


# Page. 20

![Page Image](https://bcdn.docswell.com/page/KE46258VJ1.jpg)

Variety
Volume
Velocity
ヤフーはビッグデータカンパニー


# Page. 21

![Page Image](https://bcdn.docswell.com/page/L71VMW24JG.jpg)

Yahoo! JAPANはインターネット複合企業
Media
Search
Answer
ニュース
検索
知恵袋
US
JP
C2C EC
B2C EC


# Page. 22

![Page Image](https://bcdn.docswell.com/page/G7WL36RZJ2.jpg)

日本市場No.1のサービスを保有している
Media
Search
Answer
ニュース
検索
知恵袋
US
JP
C2C EC
B2C EC


# Page. 23

![Page Image](https://bcdn.docswell.com/page/4JZMVYRL73.jpg)

Yahoo! JAPAN IDで連結されている
Media
Search
Answer
ニュース
検索
知恵袋
C2C EC
B2C EC
US
JP
100以上のサービス・ビジネスデータと連結


# Page. 24

![Page Image](https://bcdn.docswell.com/page/YE6N5DRMEV.jpg)

ヤフーは多数のビッグデータを抱えた
マルチビッグデータカンパニー


# Page. 25

![Page Image](https://bcdn.docswell.com/page/GE55Y38QE4.jpg)

アジェンダ
1. Yahoo! JAPAN のご紹介
2. マルチビッグデータ
3. データサイエンスのビジネス活用事例
4. データ分析基盤とそのテクノロジー
5. 広告最適化における分析基盤利用の実例
6. 進化するデータ分析基盤


# Page. 26

![Page Image](https://bcdn.docswell.com/page/972NGZKWJR.jpg)

あなたへのおすすめ


# Page. 27

![Page Image](https://bcdn.docswell.com/page/DJYPVRN9JM.jpg)

検索キーワード入力補助
言葉の一部を入力すると、
残りのワードをサジェストする


# Page. 28

![Page Image](https://bcdn.docswell.com/page/V7N5MDXDE8.jpg)

おすすめ商品をレコメンド


# Page. 29

![Page Image](https://bcdn.docswell.com/page/YJ9YNG8873.jpg)

検索結果の最適化


# Page. 30

![Page Image](https://bcdn.docswell.com/page/GJ86KV8ZED.jpg)

広告表示の最適化


# Page. 31

![Page Image](https://bcdn.docswell.com/page/LJL9Z5R17R.jpg)

適用前
自動画像クロッピング
画像処理で人物の顔を
自動的にクロッピングする
適用後


# Page. 32

![Page Image](https://bcdn.docswell.com/page/47MZV3R5JW.jpg)

アジェンダ
1. Yahoo! JAPAN のご紹介
2. マルチビッグデータ
3. データサイエンスのビジネス活用事例
4. データ分析基盤とそのテクノロジー
5. 広告最適化における分析基盤利用の実例
6. 進化するデータ分析基盤


# Page. 33

![Page Image](https://bcdn.docswell.com/page/P7R62QRZE9.jpg)

データ分析基盤とそのテクノロジー
① データパイプライン環境
② データ処理環境


# Page. 34

![Page Image](https://bcdn.docswell.com/page/PJXMD5R1EX.jpg)

基盤：データパイプライン環境
収集データサイズ
独自パイプライン
システム
125TB/日
約
多種多様な大量のデータを収集できる


# Page. 35

![Page Image](https://bcdn.docswell.com/page/3JKGX6RM7D.jpg)

基盤：データ処理環境
独自パイプライン
システム
6,000台の処理環境
（最大クラスタは3,000台）
多種多様な大量のデータを格納し処理できる


# Page. 36

![Page Image](https://bcdn.docswell.com/page/LE3N5682E5.jpg)

基盤：データ分析基盤の活用
アドホック
独自パイプライン
システム
広告配信
ターゲティング
予測モデル
多種多様な大量のデータを活用できる


# Page. 37

![Page Image](https://bcdn.docswell.com/page/8EDWDVM67G.jpg)

データ分析基盤とそのテクノロジー
 多種多様な大量のデータを収集できる
データパイプライン環境がある
 多種多様な大量のデータを格納し処理できる
データ分析環境がある


# Page. 38

![Page Image](https://bcdn.docswell.com/page/V7P9XVQZJ8.jpg)

アジェンダ
1. Yahoo! JAPAN のご紹介
2. マルチビッグデータ
3. データサイエンスのビジネス活用事例
4. データ分析基盤とそのテクノロジー
5. 広告最適化における分析基盤利用の実例
6. 進化するデータ分析基盤


# Page. 39

![Page Image](https://bcdn.docswell.com/page/2JVMLZ5MJQ.jpg)

広告最適化における分析基盤利用の実例
① デモグラフィック推定
② クリック予測モデル作成


# Page. 40

![Page Image](https://bcdn.docswell.com/page/5EGGX46XEL.jpg)

広告最適化における分析基盤利用の実例
① デモグラフィック推定
② クリック予測モデル作成


# Page. 41

![Page Image](https://bcdn.docswell.com/page/4JQX8G45EP.jpg)

広告最適化：デモグラフィック推定概要
男性には男性向けの広告
女性には女性向けの広告
ログインのみ
ログイン+推定
デモグラフィック推定で対象を増やす


# Page. 42

![Page Image](https://bcdn.docswell.com/page/K74625QVE1.jpg)

広告最適化：デモグラフィック推定概要
乳液（検索キーワードログ）
Yahoo! BEAUTY（アクセスログ）
行動履歴から性別を推定する


# Page. 43

![Page Image](https://bcdn.docswell.com/page/LJ1VMWP4EG.jpg)

広告最適化：デモグラフィック推定概要
乳液（検索キーワードログ）
Yahoo! BEAUTY（アクセスログ）
推定
女性向け広告を配信
推定結果から広告を配信する


# Page. 44

![Page Image](https://bcdn.docswell.com/page/GJWL362ZE2.jpg)

広告最適化：デモグラフィック推定概要
広告配信サーバ
検索ログ
アクセスログ
（URL・ドメイン）
等
推定結果
機械学習
収集データを分析基盤で学習し推定する


# Page. 45

![Page Image](https://bcdn.docswell.com/page/4EZMVYDLJ3.jpg)

広告最適化における分析基盤利用の実例
① デモグラフィック推定
② クリック予測モデル作成


# Page. 46

![Page Image](https://bcdn.docswell.com/page/Y76N5D1M7V.jpg)

広告最適化：クリック予測概要
乳液（検索キーワードログ）
一眼レフ（検索キーワードログ）
Yahoo! BEAUTY（アクセスログ）
ショッピングのカメラカテゴリ（アクセスログ）
女性向けカメラの広告
女性向けゲームの広告
女性向け旅行の広告
データを収集する
広告
入稿


# Page. 47

![Page Image](https://bcdn.docswell.com/page/G755Y34Q74.jpg)

広告最適化：クリック予測概要
乳液（検索キーワードログ）
一眼レフ（検索キーワードログ）
Yahoo! BEAUTY（アクセスログ）
ショッピングのカメラカテゴリ（アクセスログ）
女性向け
カメラの広告を配信
クリック
予測
女性向けカメラの広告
女性向けゲームの広告
女性向け旅行の広告
クリック予測結果から最適な広告を配信する
広告
入稿


# Page. 48

![Page Image](https://bcdn.docswell.com/page/9J2NGZVWER.jpg)

広告最適化：クリック予測概要
広告配信ログ
広告クリックログ
配信広告タイトル
広告配信ページクロールデータ
広告配信サーバ
乳液（検索キーワードログ）
一眼レフ（検索キーワードログ）
Yahoo! BEAUTY（アクセスログ）
ショッピングのカメラカテゴリ（アクセスログ）
モデル
クリックした
（100%）
機械学習
クリックされない
（サンプリング）
データ結合&amp;整形
数百GBのメモリを積んだ
モンスターマシンで学習
分析基盤で学習したクリック予測結果に基づき配信する


# Page. 49

![Page Image](https://bcdn.docswell.com/page/DEYPVR39EM.jpg)

アジェンダ
1. Yahoo! JAPAN のご紹介
2. マルチビッグデータ
3. データサイエンスのビジネス活用事例
4. データ分析基盤とそのテクノロジー
5. 広告最適化における分析基盤利用の実例
6. 進化するデータ分析基盤


# Page. 50

![Page Image](https://bcdn.docswell.com/page/VJN5MDVD78.jpg)

進化：データ分析環境で大事なこと
 大量のデータを扱える
スマホアプリ・位置情報・IoT・オフラインデータ
 高速に処理できる
長期間・組み合わせ・DeepLearning(画像・音声解析)
 高効率である
サーバ・ネットワーク・場所・電力・運用
 新しい取り組みをすぐに試せる
新しいデータ・新しいOSS・新しいアルゴリズム


# Page. 51

![Page Image](https://bcdn.docswell.com/page/YE9YNG68J3.jpg)

進化：課題は進化のスピード
 データと処理量は指数関数的に増加
CPU・メモリ・HDD・ネットワークの進化では間に合わない
 新しいデータ分析技術の開発が活発化
独自技術の開発では間に合わない
進化を加速させる必要がある


# Page. 52

![Page Image](https://bcdn.docswell.com/page/GE86KVZZ7D.jpg)

進化：基盤の進化を加速させる
クローズドからオープンへ
試行錯誤を高速に繰り返す


# Page. 53

![Page Image](https://bcdn.docswell.com/page/LEL9Z5D1JR.jpg)

進化：基盤の進化を加速させる
と 技術提携
OSS共同研究開発への投資


# Page. 54

![Page Image](https://bcdn.docswell.com/page/4JMZV3P5EW.jpg)

進化：大量のデータを扱える技術の開発
 多種多様なデータを収集する技術（構築）
クローズドな独自パイプラインからオープンなKafkaへ
• OSS開発サイクルによる早い機能追加
• オープンなインタフェースによる高い接続性と拡張性
 データ保存効率を向上させる技術（開発）
誤り訂正符号による高い冗長性と保存効率の向上
• 信頼性が向上（２-冗長 → ３-冗長）
• 保存効率が向上（元データの3倍 → 1.5倍）
HDFS Erasure Code Storage


# Page. 55

![Page Image](https://bcdn.docswell.com/page/PJR62Q1Z79.jpg)

進化：高速に処理できる技術の開発
 多様なデータを高速に処理する技術（検証）
GPUクラスタによりさらに高速にデータを処理
シングルGPU（既利用）からマルチGPU・マルチGPUサーバへ
• 画像・音声データ等の高コストデータの処理
• 機械学習
• Deep Learning
 データ処理効率を向上させる技術（開発）
HiveクエリをFragmentに分けて常駐プロセスで処理
• 起動時間の短縮
• データのキャッシュ
• 最適化効果の向上
LLAP - long-lived execution in Hive


# Page. 56

![Page Image](https://bcdn.docswell.com/page/PEXMD5Y17X.jpg)

進化：高効率な技術の導入
 効率を追求したハードウェア技術（導入）
オープンなハードウェアによる高効率な処理環境
OCP（Open Compute Project）
•
•
•
•
•
サーバ費用の削減
消費電力の削減
設置スペースの削減
現地作業時間の削減
データ移行コストの削減


# Page. 57

![Page Image](https://bcdn.docswell.com/page/3EKGX63MJD.jpg)

進化：新しい取り組みを試せる環境の提供
 リサーチ環境（設計）
本番のデータで新しい取り組みをすぐに試せる環境
本番環
境
最新のバージョンテスト
新しい改善の投入
新しい取り組みの投入
効果をすぐに確認できる
問題を事前に把握できる
新しいデータ
最新のバージョン
新しいOSS
新しいアルゴリズム
等の導入が早まる（はず）
本番環境は安定運用が最優
先
リサーチ環境
10% クラスタ規模
10% データ送信
100% ジョブ投入


# Page. 58

![Page Image](https://bcdn.docswell.com/page/L73N56G275.jpg)

まとめ
 マルチビッグデータがある
 ビジネスにデータサイエンスを活用している
 データサイエンスを支えるデータ分析基盤がある
 データ分析基盤は進化している
チャレンジできる環境がある


# Page. 59

![Page Image](https://bcdn.docswell.com/page/87DWDV16JG.jpg)

データ
で


# Page. 60

![Page Image](https://bcdn.docswell.com/page/VJP9XV5ZE8.jpg)

ご清聴ありがとうございました


