第16回Lucene/Solr勉強会 – ランキングチューニングと定量評価 #SolrJP

660 Views

May 14, 15

solrjp

スライド概要

検索結果の質を定量評価する手法の紹介と、それを活用したランキングチューニングの進め方。

Yahoo!デベロッパーネットワーク

@ydnjp

スライド一覧

2023年10月からSpeaker Deckに移行しました。最新情報はこちらをご覧ください。 https://speakerdeck.com/lycorptech_jp

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

関連スライド

深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで

Yahoo!デベロッパーネットワーク 134.6K

ゼロから始める転移学習

Yahoo!デベロッパーネットワーク 75.3K

ヤフーにおける WebAuthn と Passkey の UX の紹介と考察 #idcon #fidcon

idcon fidcon

Yahoo!デベロッパーネットワーク 65K

OpenID Connectとネイティブアプリを取り巻く仕様と動向 Yahoo! JAPANの取り組み #openid #openid_tokyo

openid openid_tokyo

Yahoo!デベロッパーネットワーク 52.6K

運用業務とスクラムは本当に組み合わせにくいのか︖運用業務が大半を占めるプロダクト開発での試行錯誤

devsumi

Yahoo!デベロッパーネットワーク 28.1K

ヤフーのオンプレ機械学習基盤AIPFについて #ml_kubernetes

ml_kubernetes

Yahoo!デベロッパーネットワーク 26K

各ページのテキスト

Solrでのチューニング作業 P7 • Solrだと大体こんな感じ • qf=title_ma^10 title_ng^2 body_ma^5 body_ng^1 • 各フィールドへの重みを変えたり • bf=production(field(ctr),10) • Boost functionでインデキシングしておいた定数を調整したり Copyright (C) 2015 Yahoo Japan Corpora5on. All Rights Reserved.

チューニングの難しいところ P8 • フィールドへの重みをどう決めるのか • とりあえず、Titleは強めの重み？ • MA(形態素解析)も大きめに？ • ランキングが良くなっているのか分かりにくい • あるクエリでは良くなっているけど、別のクエリでは？ • そもそも、評価が主観ランキングの良し悪しを判断する基準が無い Copyright (C) 2015 Yahoo Japan Corpora5on. All Rights Reserved.

チューニングと定量評価 P9 • チューニングと定量評価をセットで考える • 重みを変えたら評価をする • メリット • 客観的にランキングを評価できる • 最もランキングが良くなる重みを探しだせる • チューニング作業の一部を自動化できる • デメリット • 導入コストが高い • 定量評価の計算に時間がかかる場合がある Copyright (C) 2015 Yahoo Japan Corpora5on. All Rights Reserved.

10.

11.

12.

NDCG P12 DCG NDCG = IDCG k reli 2 −1 DCG = ∑ i log(1+ i) • DCG … 順位と適合度をもとにしたスコア • IDCG … 理論上ランキングの並びが最も良くなった場合のDCG • i … 検索順位 • rel … i位に順位付けされたドキュメントのクエリとの適合度 Copyright (C) 2015 Yahoo Japan Corpora5on. All Rights Reserved.

13.

NDCGの計算例 P13 • あるクエリで検索した場合の検索結果上位3位の評価が下記の場合順位ドキュメント評価 1 doc1 1 2 doc2 4 3 doc3 3 4: very good 3: good 2: bad 1: very bad ドキュメントがクエリにマッチしているかどうかは人手で判断 Copyright (C) 2015 Yahoo Japan Corpora5on. All Rights Reserved.

14.

DCG P14 DCG NDCG = IDCG k reli 2 −1 DCG = ∑ i log(1+ i) 1 順位ドキュメント評価 1 doc1 1 2 doc2 4 3 doc3 3 4 3 2 −1 2 −1 2 −1 DCG = + + log(1+1) log(1+ 2) log(1+ 3) 1 15 7 DCG = + + 1 1.58 2 DCG = 13.99 Copyright (C) 2015 Yahoo Japan Corpora5on. All Rights Reserved.

15.

IDCG P15 DCG NDCG = IDCG k reli 2 −1 DCG = ∑ i log(1+ i) 4 順位ドキュメント評価 1 doc1 1 2 doc2 4 3 doc3 3 doc2,doc3,doc1の並びになった仮定で計算 3 1 2 −1 2 −1 2 −1 IDCG = + + log(1+1) log(1+ 2) log(1+ 3) 15 7 1 IDCG = + + 1 1.58 2 IDCG = 19.93 Copyright (C) 2015 Yahoo Japan Corpora5on. All Rights Reserved.

16.

NDCG P16 DCG NDCG = IDCG k reli 2 −1 DCG = ∑ i log(1+ i) 順位ドキュメント評価 1 doc1 1 2 doc2 4 3 doc3 3 DCG = 13.99 IDCG = 19.93 13.99 NDCG = = 0.7 19.93 Copyright (C) 2015 Yahoo Japan Corpora5on. All Rights Reserved.

17.

18.

19.

チューニングの進め方 P19 1. 各フィールドへの重みを決める • qf=title_ma^10 title_ng^2 body_ma^5 body_ng^1 2. 評価用クエリで検索＋NDCGを計算 • 各クエリで算出したNDCGの平均を算出 3. 重みを変えて、手順1-2を繰り返す Copyright (C) 2015 Yahoo Japan Corpora5on. All Rights Reserved.

20.

フィールドへの重みの組み合わせとNDCGの値 P20 この重みの付け方が１番良さそう！ Title_ma Title_ng Body_ma Body_ng NDCG 10 2 5 1 0.55 15 2 5 1 0.58 20 2 5 1 0.62 … 10 10 10 4 6 8 5 5 5 1 0.53 1 0.51 1 0.49 … Copyright (C) 2015 Yahoo Japan Corpora5on. All Rights Reserved.

21.

22.

定量評価を組み合わせることのデメリット P22 • 正解データを準備するコストが高い • 評価用クエリ100個 * 1クエリ当たりで評価するドキュメント5件 = 500件分の評価が必要 • NDCGの計算に時間がかかる場合がある • フィールド数：4、調査する重みの範囲：1 – 10の場合、 10^4=10000通りの試行回数が必要 Copyright (C) 2015 Yahoo Japan Corpora5on. All Rights Reserved.

23.

24.

25.

26.

Solrのスコアリング • P26 debugQueryを叩くと下記のような情報が見れます “1”: “ 1.7210351 = (MATCH) max of: --省略-- 3.4420702 = (MATCH) weight(description_ma:solr^5.0 in 120322) [DefaultSimilarity], result of: 3.4420702 = score(doc=120322,freq=4.0 = termFreq=4.0 ), product of: 0.86576945 = queryWeight, product of: 5.0 = boost 10.601961 = idf(docFreq=20, maxDocs=310669) 0.016332252 = queryNorm 3.9757354 = fieldWeight in 120322, product of: 2.0 = tf(freq=4.0), with freq of: 4.0 = termFreq=4.0 10.601961 = idf(docFreq=20, maxDocs=310669) 0.1875 = fieldNorm(doc=120322) 0.5 = coord(1/2) Copyright (C) 2015 Yahoo Japan Corpora5on. All Rights Reserved.

27.

Solrのスコアリング Unique key P27 当該ドキュメントのスコア “1”: “ 1.7210351 = (MATCH) max of: クエリがヒットしたフィールド --省略-- 3.4420702 = (MATCH) weight(description_ma:solr^5.0 in 120322) [DefaultSim result of: 当該フィールド 3.4420702 = score(doc=120322,freq=4.0 = termFreq=4.0 のスコア ), product of: 0.86576945 = queryWeight, product of: 5.0 = boost 10.601961 = idf(docFreq=20, maxDocs=310669) 0.016332252 = queryNorm 3.9757354 = fieldWeight in 120322, product of: 2.0 = tf(freq=4.0), with freq of: 4.0 = termFreq=4.0 10.601961 = idf(docFreq=20, maxDocs=310669) 0.1875 = fieldNorm(doc=120322) 0.5 = coord(1/2) Copyright (C) 2015 Yahoo Japan Corpora5on. All Rights Reserved.

28.

Solrのスコアリング P28 1.7210351 = (MACTH) max of: --省略-- 3.4420702 = (MATCH) weight(description_ma:solr^5.0 in 120322) [DefaultSimilarity], result of: 3.4420702 = score(doc=120322,freq=4.0 = termFreq=4.0 ), product of: 0.86576945 = queryWeight, product of: 5.0 = boost 10.601961 = idf(docFreq=20, maxDocs=310669) 0.016332252 = queryNorm 3.9757354 = fieldWeight in 120322, product of: 2.0 = tf(freq=4.0), with freq of: 積に 4.0 = termFreq=4.0 なっている 10.601961 = idf(docFreq=20, maxDocs=310669) 0.1875 = fieldNorm(doc=120322) 0.5 = coord(1/2) Copyright (C) 2015 Yahoo Japan Corpora5on. All Rights Reserved.

29.

Solrのスコアリング P29 0.86576945 = queryWeight, product of: 5.0 = boost 10.601961 = idf(docFreq=20, maxDocs=310669) 0.016332252 = queryNorm 3.9757354 = fieldWeight in 120322, product of: 2.0 = tf(freq=4.0), with freq of: 4.0 = termFreq=4.0 10.601961 = idf(docFreq=20, maxDocs=310669) 0.1875 = fieldNorm(doc=120322) Copyright (C) 2015 Yahoo Japan Corpora5on. All Rights Reserved.

30.

Solrのスコアリング P30 score(d,q) = queryWeight × fieldWeight × coord queryWeight = boost × idf × queryNorm fieldWeight = tf × idf × fieldNorm • 計算式は上記のようになります – クエリがヒットしたフィールドに対して、スコアを計算していき、最もスコアが高いものをドキュメントのスコアとします Copyright (C) 2015 Yahoo Japan Corpora5on. All Rights Reserved.

31.

Solrのスコアリング P31 queryWeight = boost × idf × queryNorm • boost : qfでフィールドに指定した重み • idf : クエリのidf値 • queryNorm : 異なるクエリ同士でスコアを比較できるようにするための正規化係数 Copyright (C) 2015 Yahoo Japan Corpora5on. All Rights Reserved.

32.

33.

34.

35.