Hadoop〜Yahoo! JAPANの活用について〜

130 Views

January 18, 11

スライド概要

Yahoo!デベロッパーネットワーク

@ydnjp

スライド一覧

2023年10月からSpeaker Deckに移行しました。最新情報はこちらをご覧ください。 https://speakerdeck.com/lycorptech_jp

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

関連スライド

深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで

Yahoo!デベロッパーネットワーク 134.3K

ゼロから始める転移学習

Yahoo!デベロッパーネットワーク 75.3K

ヤフーにおける WebAuthn と Passkey の UX の紹介と考察 #idcon #fidcon

idcon fidcon

Yahoo!デベロッパーネットワーク 65K

OpenID Connectとネイティブアプリを取り巻く仕様と動向 Yahoo! JAPANの取り組み #openid #openid_tokyo

openid openid_tokyo

Yahoo!デベロッパーネットワーク 52.6K

運用業務とスクラムは本当に組み合わせにくいのか︖運用業務が大半を占めるプロダクト開発での試行錯誤

devsumi

Yahoo!デベロッパーネットワーク 28.1K

ヤフーのオンプレ機械学習基盤AIPFについて #ml_kubernetes

ml_kubernetes

Yahoo!デベロッパーネットワーク 25.9K

各ページのテキスト

Hadoop p ～Yahoo! JAPANの活用について～ 2011/01/15 ヤヤフー株式会社株式会社 R&D統括本部統括本部角田直行、吉田一星

自紹介自己紹介角田直行(かくだなおゆき) R&D統括本部プラットフォプラットフォーム開発本部検索開発部ム開発本部検索開発部開発3 – 2005年ヤフー株式会社入社 – ヤフー地図ヤフ地図 – ヤフー路線 – ヤフー検索 … – 2010年現在、検索プラットフォームを開発中 1 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

自紹介自己紹介吉田一星（よしだいっせい） R&D統括本部プラトフォム開発本部検索開発部開発３ R&D統括本部プラットフォーム開発本部検索開発部開発３ – 2008年にYahoo! JAPANに入社 – 検索プラットフォームで、Hadoopに関する開発検索プラットフォムで、Hadoopに関する開発 – 画像処理、iPhone向け技術開発にもかかわる

莫大なデタ量との闘莫大なデータ量との闘い –成長を続けていくにはアクセスログ解析やデータマイニングなど成長を続けていくにはアクセスログ解析やデタマイニングなどが必須 –億単位の行 or テラバイト級のデータを短時間で処理したい毎日処理しなければならない 6 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

解決策としての解決策としてのHadoop p –大規模な処理、大容量のデータを扱うには大規模な処理大容量のデタを扱うには 1台のサーバでは不可能 –マルチコアによる並行処理アプローチは複雑すぎる –数十～数千台規模で簡単にスケールする環境が不可欠この発表ではこの発表では、 Yahoo! JAPANがHadoopをどう活用しているかについて事例を交えて解説します 8 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

10.

11.

Hadoopとは pとは –大規模分散処理システム大規模分散処理システム –Google Google MapReduce/GFSを論文を元に実装 –処理時間が数時間以上かかるようなバッチ処理に向いている → Webのように、即座に結果が返るようなリアルタイム処理には不向き –Javaで書かれ Javaで書かれ、オオープンソースとして公開プンソスとして公開 10 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

12.

Hadoopとは pとは –Doug D C Cutting氏が生みの親 tti 氏が生みの親 –全文検索ライブラリLuceneなどの全文検索ライブラリ uce eなどの他有名OSSも開発 –Yahoo! Inc. 在籍時はフルタイムで開発 –現在はClouderaに在籍 (出典元:Wikipedia) 11 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

13.

14.

15.

16.

Hadoop関連プロダクト p関連ダクト大規模データ処理用スクリプト言語 Pigg A = load 'passwd' using PigStorage(':'); B = foreach A generate $0 as id; dump B; Facebookが開発扱いが一般データベースに似ている扱いが般デタスに似ている Hive 15 CREATE TABLE pokes (foo INT, bar STRING); SELECT a.foo a foo FROM pokes a; Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

17.

Hadoop関連プロダクト p関連ダクト O i Oozie 複数のMapReduceジョブなどを実行制御するワークフロー実行制御するワクフロ Hadoop上に構築された列指向データベース G l BigTableのクローン Google Bi T bl のクロン HBase Mahout 16 機械学習ライブラリ Hadoopでスケール可 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

18.

19.

20.

21.

Hadoop p at Yahoo! Inc –Hadoopユーザ、テスター、コミッターの数が最も多い Hadoopユザテスタコミッタの数が最も多い –Haoopのクラスタ、台数が最も多い Haoopのクラスタ、台数が最も多い – 多数のクラスタがあり、合計25000台以上 – 1クラスタにつき最大4000台 20 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

22.

23.

24.

25.

サチアシトサーチアシスト – 入力した検索ワードに関連のありそうな単語を自動で補完 – データベースの構築にHadoopを使用 – 3年分のデ 3年分のデータとタと、20ステップのMapReduce 20ステップのMapReduce 24 Hadoop使用前 Hadoop 時間 26日 20分言語 C++ Python 開発期間 2 3週間 2～3週間 2 3日 2～3日 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

26.

27.

28.

29.

Yahoo!検索ランキング検索ランキング –検索ランキング、急上昇ワードランキングなど検索ランキング急上昇ワドランキングなど –都道府県別、性年代別のランキング（Yahoo!ラボ）都道府県別、性年代別のランキング（Yahoo!ラボ） –検索ログプラットフォームが提供したデータをさらに加工している 28 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

30.

31.

32.

地図検索 –地図検索インデックス生成地図検索インデックス生成 –クリックログ集計・検索ランキング反映クリックグ集計検索ランキング反映 –店舗やビルの一意性処理 –開いているお店検索 – クロール – 定休日・営業時間抽出定休日営業時間抽出 – 検索インデックス生成 31 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

33.

34.

事例まとめ –データ解析、データマイニングデタ解析デタマイニング – ログ解析、レコメンデーション、テキストマイニングなどグ解析、レメンデション、テキストマイングなど –検索関係 – 検索インデックス生成、ランキング計算など →大量のデータを読み込んで解析をする処理、大量の計算が必大量のデタを読み込んで解析をする処理大量の計算が必要な要な「バッチ処理」がほとんどッチ処理」がほとんど 33 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

35.

36.

Hadoopのメリット・デメリット pのリットデリット –○ ○ MapReduceを使って、バッチ処理を簡単に分散できる MapReduceを使ってバッチ処理を簡単に分散できる –× リアルタイム処理には向かない –HDFSもMapReduceを使ったバッチ処理に最適化されている 35 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

37.

HDFSの特性の特性 –ストレージとして使うには特性を理解する必要があるストレジとして使うには特性を理解する必要がある – × RDBMSの代用 – × ユーザから多くのアクセスがあるストレージ – △ 小さいデータを多く格納するストレージ – ○ アクセスログデータのストレージ – ○ 過去の取引履歴データのストレージ過去の取引履歴デタのストレジ 36 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

38.

HDFSの特性の特性 – 何GBというような大きなデ何GBというような大きなデータを一気に書き込んだりタを気に書き込んだり、読み出したりする用途読み出したりする用途に最適化 – シーケーシャルアクセス。SSDはあまり意味ない – データの書き換えは想定されていないデタの書き換えは想定されていない – ランダム書き込みができない – ファイルロック（排他制御）がない – 秒間何十回といった大量の読み書き処理には向かない – ファイルキャッシュがない – もちろんRDBMSのようにインデックスがない 37 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

39.

40.

41.

42.

43.

まとめ –Hadoopは大規模なデータを複数のマシンに分散して Hadoopは大規模なデータを複数のマシンに分散して処理できるプラットフォーム –Hadoopを使う企業は増え続けていて、不可欠な技術になりなりつつあるある –Hadoopは、大規模データを扱う処理や、大量の計算が必要な Hadoopは、大規模デタを扱う処理や、大量の計算が必要なバッチ処理に向いている –Yahoo!JAPANはこれからもHadoopを活用していきます 42 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

44.

http://techblog.yahoo.co.jp/

45.

46.