第15回Solr勉強会 - Solr at Yahoo! JAPAN #SolrJP

Solr at Yahoo! JAPAN ヤフー株式会社 大須賀稔 2014/12/08 第15回Solr勉強会 #SolrJP Copyright  (C)  2014  Yahoo  Japan  Corpora5on.  All  Rights  Reserved.

自己紹介 大須賀 稔 （おおすか みのる） ヤフー株式会社 プロジェクトマネージャ・Solr黒帯 Apacheソフトウェア財団 ManifoldCFコミッタ兼PMCメンバー Solrコントリビュータ 共著： [改訂新版] Apache Solr入門 https://www.flickr.com/photos/o_0/14086728048/sizes/l Some rights reserved by *_* Copyright  (C)  2014  Yahoo  Japan  Corpora5on.  All  Rights  Reserved. P.2  

会社紹介 120以上 ※1 サービス数： 624億 ※2 月間総PV： Daily UB： 7,300万 ※2 月間アクティブ ユーザーID： 2,800万 ※2 ※1 Yahoo! JAPAN サービス一覧 http://services.yahoo.co.jp/ ※2 ヤフー株式会社 2014年度 第2四半期 決算説明会資料 http://ir.yahoo.co.jp/jp/archives/present/ https://www.flickr.com/photos/joao_trindade/4562486583/sizes/l Some rights reserved by trindade.joao Copyright  (C)  2014  Yahoo  Japan  Corpora5on.  All  Rights  Reserved. P.3  

• http://ir.yahoo.co.jp/jp/archives/present/
• http://services.yahoo.co.jp/

以前の検索サービスの仕組み 以前の検索サービスの仕組み サービスA サービスB サービスC サービスD インタ フェースA インタ フェースB インタ フェースC インタ フェースD Y!J独自検索 ライブラリ Y!J独自検索 ライブラリ Y!J独自検索 ライブラリ Y!J独自検索 ライブラリ インデックス インデックス インデックス インデックス ライブラリの バージョンが違う 検索機能の 二重開発 ライブラリの バグに気付かない 効率的な開発・運用ができないか検討 Copyright  (C)  2014  Yahoo  Japan  Corpora5on.  All  Rights  Reserved. P.4  

ABYSS ABYSSとは？ BOSS Search APIインスパイア https://www.flickr.com/photos/bg3photo/5082428505/sizes/l Some rights reserved by BG³Photo Copyright  (C)  2014  Yahoo  Japan  Corpora5on.  All  Rights  Reserved. P.5  

現在の検索サービスの仕組み 現在の検索サービスの仕組み サービスA サービスB サービスC サービスD ABYSS Y!J独自検索 ライブラリ Copyright  (C)  2014  Yahoo  Japan  Corpora5on.  All  Rights  Reserved. P.6  

現在のアーキテクチャ 現在のアーキテクチャ ※3 ※3 新検索プラットフォーム「ABYSS」 http://techblog.yahoo.co.jp/architecture/abyss/ Copyright  (C)  2014  Yahoo  Japan  Corpora5on.  All  Rights  Reserved. P.7  

• http://techblog.yahoo.co.jp/architecture/abyss/

ABYSS再構築 なぜ再構築するのか？ レガシーなアーキテクチャ 運用・メンテナンスコスト ソフトウェアライフサイクル 検索エンジンのコモディティ化 https://www.flickr.com/photos/billjacobus1/122497422/sizes/l Some rights reserved by billjacobus1 Copyright  (C)  2014  Yahoo  Japan  Corpora5on.  All  Rights  Reserved. P.8  

Solr なぜSolrなのか？ 多くの稼働実績 Apacheソフトウェア財団管理下 プラグインでの拡張が容易 可用性・耐障害性 https://www.flickr.com/photos/gsfc/5808204795/sizes/l Some rights reserved by NASA Goddard Photo and Video Copyright  (C)  2014  Yahoo  Japan  Corpora5on.  All  Rights  Reserved. P.9  

提供する機能 提供する機能 高可用性・耐障害性 カスタマイズ可能な検索 ログ可視化機能 Webベースの管理コンソール https://www.flickr.com/photos/basheertome/6785217165/sizes/l Some rights reserved by basheertome Copyright  (C)  2014  Yahoo  Japan  Corpora5on.  All  Rights  Reserved. P.10  

新アーキテクチャ 新アーキテクチャ User ABYSS Administrator / ABYSS User Admin UI Front End Application Feed/Search API Control API SolrCloud (Log Indexes) SolrCloud (Document Indexes) Event Log WebMA SPDY Protocol Support Banana Flume Morphline ZooKeeper WebMA SPDY Protocol Support OpenStack Copyright  (C)  2014  Yahoo  Japan  Corpora5on.  All  Rights  Reserved. P.11  

WebMA WebMAとは？ Yahoo! JAPAN独自の日本語形態素 解析器 一般ユーザーにもWeb APIで公開中 http://developer.yahoo.co.jp/webapi/jlp/ma/v1/parse.html 文章 トークン 京都大学はどこですか？ 京都大学 は どこ 京都 何処 京都大 何所 大学 学 です か ？ 類義語 区切り 京大 https://www.flickr.com/photos/crdot/5510506796/sizes/l Some rights reserved by crdotx Copyright  (C)  2014  Yahoo  Japan  Corpora5on.  All  Rights  Reserved. P.12  

• http://developer.yahoo.co.jp/webapi/jlp/ma/v1/parse.html

SPDYプロトコルサポート SPDYプロトコルサポート Shard1 upda te SPDY HTTP HTTP ch sear Shard2 テスト環境 : SolrCloud(2シャード+レプリカ=4ノード) Virtual Server 2GHz 4CPU / 6GBメモリ / 120GB HDD データセット : Wikipedia (English) クエリセット : Wikipedia (English) 見出し語 8万キーワード(3万ユニークキーワード) ツール : solrmeter (20QPS) Average Query Time (Latency) Solr 414 ms Solr(Jetty9)+SPDY3 342 ms 17%の速度改善がみられた https://www.flickr.com/photos/xavier33300/15236610911/sizes/l Some rights reserved by Grand Parc - Bordeaux, France Copyright  (C)  2014  Yahoo  Japan  Corpora5on.  All  Rights  Reserved. P.13  

今後の計画 今後の計画 オートスケールの実装 独自検索エンジンの機能移植 Query Parser Top-k Query Processing (WAND) Machine-Learned Ranking (MLR) etc. OSSコミュニティとの協力 https://www.flickr.com/photos/29198100@N00/2368267322/sizes/l Some rights reserved by gamillos Copyright  (C)  2014  Yahoo  Japan  Corpora5on.  All  Rights  Reserved. P.14  

OSSコミュニティとの協力 OSSコミュニティとの協力 カンファレンスへ積極的に 参加 コミッターやユーザーとの ネットワーク構築 コントリビューション WASHINGTON, DC NOVEMBER 11-14 Copyright  (C)  2014  Yahoo  Japan  Corpora5on.  All  Rights  Reserved. P.15  

コントリビューション コントリビューション https://www.flickr.com/photos/sis/66422743/sizes/l Some rights reserved by Sister72 Copyright  (C)  2014  Yahoo  Japan  Corpora5on.  All  Rights  Reserved. P.16  

参考資料 参考資料 Yahoo! JAPAN サービス一覧 http://services.yahoo.co.jp/ ヤフー株式会社 2014年度 第2四半期 決算説明会資料 http://ir.yahoo.co.jp/jp/archives/present/ BOSS Search API – Yahoo Developer Network https://developer.yahoo.com/boss/search/ 新検索プラットフォーム「ABYSS」 http://techblog.yahoo.co.jp/architecture/abyss/ これがABYSSのすべてだ!! http://techblog.yahoo.co.jp/architecture/abyss_1/ テキスト解析：日本語形態素解析 http://developer.yahoo.co.jp/webapi/jlp/ma/v1/parse.html The Chromium Projects - SPDY http://www.chromium.org/spdy To enable SPDY in a SolrCloud setup https://issues.apache.org/jira/browse/SOLR-6699 Visualizing Logs Using Apache Solr http://www.slideshare.net/mosuka/visualizing-logs-using-apache-solr Copyright  (C)  2014  Yahoo  Japan  Corpora5on.  All  Rights  Reserved. https://www.flickr.com/photos/spam/5086168739/sizes/l Some rights reserved by Smath. P.17  

• http://services.yahoo.co.jp/
• http://ir.yahoo.co.jp/jp/archives/present/
• https://developer.yahoo.com/boss/search/
• http://techblog.yahoo.co.jp/architecture/abyss/
• http://techblog.yahoo.co.jp/architecture/abyss_1/
• http://developer.yahoo.co.jp/webapi/jlp/ma/v1/parse.html
• https://issues.apache.org/jira/browse/SOLR-6699
• http://www.slideshare.net/mosuka/visualizing-logs-using-apache-solr

ご清聴ありがとうございました Copyright  (C)  2014  Yahoo  Japan  Corpora5on.  All  Rights  Reserved. P.18