検索エンジン開発

検索エンジン開発 2018年8⽉27⽇ サイエンス1本部 Petrie Wong Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

Yahoo! JAPANと検索エンジン Yahoo! JAPANでは多種多様なサービスが 利⽤されており、多くのサービスでデータ の検索をサポート Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 2

ヤフーと⼤規模データ • Yahoo! JAPANのサービ スは⼤規模 ショッピング商品数 2.9 （億） • 例：Yahoo!ショッピング • 昨年：商品数2.9億件 • 増えてる 1.7 0.7 2013年 6月 国 2.2 1.1 2014年 6月 2015年 6月 2016年 6月 2017年 6月 34 注: 月末時点の実績です。「Yahoo!ショッピング」の商品数です。 * ヤフー（株）調べ Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 3

ヤフーとサービスの多様性 • Yahoo! JAPAN のサービスは多 種多様 • 検索エンジンに は汎⽤性も必要 Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 4

もし検索性能が悪いと • 検索が遅い & 検索結果が汚い • 検索体験が悪く なる • ユーザが離れる Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 5

Apache Solr • Apache Top Project の OSS 検索エンジン • 世界の様々なサービスが利⽤ • 例）ebay、NETFLIX、Flipkart • 活発なコミュニティによる継続的な機能 追加・性能改善 Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 6

ヤフーの貢献 • SOLR-9592 部分更新 の100倍⾼速化 • SOLR-10811 QuickScorerの実装 SOLR-9592 SOLR-9612 SOLR-10528 SOLR-10811 SOLR-11009 SOLR-11106 SOLR-11107 SOLR-11163 SOLR-11164 SOLR-11180 SOLR-11220 SOLR-11187 SOLR-11250 SOLR-11302 SOLR-11470 SOLR-11513 SOLR-11656 SOLR-11727 SOLR-11903 SOLR-12518 … Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 7

ヤフーの貢献 • Lucene/Solr Revolution スポンサー Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 8

アカデミックな知⾒の活⽤ • 論⽂を参考する • QuickScorer：SIGIR15 の Best Paper • 論⽂を書く • SIGIR2017 で発表 Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 9

アカデミックな知⾒の活⽤ • SIGIR2018 eCom DataChallenge • Yahoo! JAPAN チーム • 2位で Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 10

アカデミックな知⾒の活⽤ • Workshop Paper を発表 Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 11

海外のカンファレンスへの参加 Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 12

以上 Copyright (C) 2018 Yahoo Japan Corporation. All Rights Copyright (C) 2018 Yahoo Japan Corporation. All Reserved. Rights Reserved.