---
title: Djangoで管理する全文検索エンジン
tags: 
author: [Yuki Takino](https://www.docswell.com/user/moonwalkerpoday)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/L7L9N9Q2ER.jpg?width=480
description: Djangoで管理する全文検索エンジン by Yuki Takino
published: November 12, 22
canonical: https://www.docswell.com/s/moonwalkerpoday/ZME89K-2022-11-12-172741
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/L7L9N9Q2ER.jpg)

2019年
1


# Page. 2

![Page Image](https://bcdn.docswell.com/page/4EMZXZ197W.jpg)

当社4名応募中3名 CfP採択される中、
一人だけ不採択になり自虐LTを披露
2


# Page. 3

![Page Image](https://bcdn.docswell.com/page/PER6N6L9J9.jpg)

2020年
3


# Page. 4

![Page Image](https://bcdn.docswell.com/page/P7XMNMW3JX.jpg)

コロナ禍により中止
初の長野開催だったということもあり、運営の方々は勿論、現地バックアッ
プとして動いていた当社にとっても無念でした。
4


# Page. 5

![Page Image](https://bcdn.docswell.com/page/37KGNGVNED.jpg)

2021年
5


# Page. 6

![Page Image](https://bcdn.docswell.com/page/LJ3NVNMZJ5.jpg)

長野開催リベンジ成功！
私はスタッフということもあってかそっとCfPに落ちていた。(と思いたい)
6


# Page. 7

![Page Image](https://bcdn.docswell.com/page/8JDW8W64EG.jpg)

長野開催リベンジ成功！
7


# Page. 8

![Page Image](https://bcdn.docswell.com/page/VEP989YV78.jpg)

時は2022年
8


# Page. 9

![Page Image](https://bcdn.docswell.com/page/27VMNMGR7Q.jpg)

Djangoで管理する全文検索エンジン
DjangoCongress JP 2022
(株)日本システム技研 Yuki.Takino
9


# Page. 10

![Page Image](https://bcdn.docswell.com/page/5JGGKG86JL.jpg)

お前、誰よ？
滝野 優紀 - Yuki Takino
長野県を拠点とする日本システム技研所属
普段の業務ではPython/Djangoをよく使う
3歳と6歳の娘を持つ2児のパパエンジニア
現在よく乾く洗濯物の干し方を修行中
PyCon JP 2018で登壇したとき月1万円だった小遣いがついに月0円になっ
た。
DjangoCongress JP 2022の資料が完成したことで気が緩み寝坊した
moonwalkerpoday
他
・PyCon JP 、PyCon Kyushu等での登壇
moon̲in̲nagano
・Django Congress JP 2021といったイベントのスタッフ業
・小規模イベントでの突LT
jsl-takino
など細かーく活動中
10


# Page. 11

![Page Image](https://bcdn.docswell.com/page/47QXNX92JP.jpg)

前提🗣
• このトークはPython/Djangoは使ってるけど全文検索はこれからデ
ビューだよ、という方向けです。
• 全文検索エンジンはElasticsearchをベースにお話します。
• 息抜き程度に聞いてもらう感じのトークですので、ガチ目の話をご
所望の方はROOM 2でGeoDjangoのトークをお聞きすることをお
すすめします。
11


# Page. 12

![Page Image](https://bcdn.docswell.com/page/KE46G6XPJ1.jpg)

目標 🏁
• 全文検索のあらましを理解する
• 「検索なんてDjango ORMでcontainsを使えばいいじゃない」とい
う思考からの卒業
• Djangoプロダクトで全文検索を導入するという選択肢を増やす
12


# Page. 13

![Page Image](https://bcdn.docswell.com/page/L71VDVNXJG.jpg)

話さないこと
• 全文検索の技術や方式などに焦点を当てた深い話
• ElasticsearchとOpenSearchという似て非なる存在の話
• 小遣いが0円になってどうやって生活しているのかという話
13


# Page. 14

![Page Image](https://bcdn.docswell.com/page/G7WLYL4KJ2.jpg)

Django ORM便利ですよね😄
14


# Page. 15

![Page Image](https://bcdn.docswell.com/page/4JZMXM2N73.jpg)

このような担当者モデルがありまして。
from django.db import models
from django.utils.translation import gettext_lazy as _
class Staff(models.Model):
last_name = models.CharField(_(&#039;last name&#039;), max_length=50)
first_name = models.CharField(_(&#039;first name&#039;), max_length=50)
profile = models.TextField(blank=True, default=&#039;&#039;)
...
class Meta:
verbose_name = verbose_name_plural = &#039;staff&#039;
indexes = (
models.Index(fields=(&#039;last_name&#039;,)),
models.Index(fields=(&#039;first_name&#039;,)),
...
)
...
姓名はindexを指定していますが、この段階ではなんか検索が早くなる
という雰囲気だけで使用していると仮定します。
15


# Page. 16

![Page Image](https://bcdn.docswell.com/page/YE6N4NV9EV.jpg)

MySQLでデータ管理しているプロダクトにて
ケース1
名字が一致する人を検索したいのです
が、可能ですか？
はい！可能です！
顧客
T君
16


# Page. 17

![Page Image](https://bcdn.docswell.com/page/GE55Q5DDE4.jpg)

完全一致😃
&gt;&gt;&gt; Staff.objects.filter(last_name=‘滝野’)
&lt;StaffQuerySet [&lt;Staff: 滝野 太郎&gt;,
&lt;Staff: 滝野 二郎&gt;,
&lt;Staff: 滝野 三郎&gt;, …]&gt;
&gt;&gt;&gt;
完全一致はindexも問題なく動作し、
クエリもシンプルな一番平和なパターン
17


# Page. 18

![Page Image](https://bcdn.docswell.com/page/972NPGMMJR.jpg)

MySQLでデータ管理しているプロダクトにて
ケース2
名字か名前が前方一致する人を検索し
たいのですが、可能ですか？
はい。(まだ)可能です。
顧客
T君
18


# Page. 19

![Page Image](https://bcdn.docswell.com/page/DJYP5VXPJM.jpg)

前方部分一致..😐
&gt;&gt;&gt; Staff.objects.filter(
Q(last_name__istartswith=‘滝野’) | Q(first_name__istartswith=‘滝野’))
&lt;StaffQuerySet [&lt;Staff: 滝野 太郎&gt;,
&lt;Staff: 滝野 二郎&gt;,
&lt;Staff: 滝野 三郎&gt;, …]&gt;
&gt;&gt;&gt;
前方一致であればindexの特性上問題なく動作するため、
多少クエリが怪しくなったがまだ引き返せるパターン
19


# Page. 20

![Page Image](https://bcdn.docswell.com/page/V7N5NM1ME8.jpg)

MySQLでデータ管理しているプロダクトにて
ケース3
姓名で部分一致する人を検索したいの
ですが、可能ですよね？
はい…技術上は可能です。
顧客
T君
20


# Page. 21

![Page Image](https://bcdn.docswell.com/page/YJ9YRN5W73.jpg)

部分一致...🫠
&gt;&gt;&gt; from django.db.models.functions import Concat
&gt;&gt;&gt; Staff.objects.annotate(full_name=Concat(‘last_name’, ‘first_name’))
.filter(full_name__icontains=‘滝野’)
&lt;StaffQuerySet [&lt;Staff: 滝野 太郎&gt;,
&lt;Staff: 滝野 二郎&gt;,
&lt;Staff: 滝野 三郎&gt;, …]&gt;
&gt;&gt;&gt;
icontainsによるLIKE %xxx% 検索により
indexは星となりました。
データ量が増えてくるとパフォーマンスが低下します
21


# Page. 22

![Page Image](https://bcdn.docswell.com/page/GJ86WKYRED.jpg)

MySQLでデータ管理しているプロダクトにて
ケース4
人物のプロフィールに含まれる文
字を検索して特定したいので
対応してください。
ただ検索するだけだから特に苦労せず
できるでしょ？
ゑ・・・・？
T君
22
顧客


# Page. 23

![Page Image](https://bcdn.docswell.com/page/LJL9NZ427R.jpg)

・・・・？？？🤮
&gt;&gt;&gt; Staff.objects.filter(profile__icontains=‘私の出身地は長野です’)
&lt;StaffQuerySet [&lt;Staff: 滝野 太郎&gt;,]&gt;
&gt;&gt;&gt;
テキストフィールドにicontainsによるLIKE %xxx%
検索というとんでもない実装に行き着きました。
パフォーマンスがどうなるか想像したくありません。
23


# Page. 24

![Page Image](https://bcdn.docswell.com/page/47MZXVK9JW.jpg)

脳死でDjango ORMを使用
== チューニング地獄
今は良くてもデータが増えてきたら確実に問題と
なってしまう。。。はて。。。
昨今のエンジニアが必ず通ると行って
も過言ではない試練。
24
T君


# Page. 25

![Page Image](https://bcdn.docswell.com/page/P7R6N2X9E9.jpg)

そこで全文検索の可能性を閃いたT君
T君
25


# Page. 26

![Page Image](https://bcdn.docswell.com/page/PJXMND63EX.jpg)

目次
1.全文検索とは
逐次検索型
索引検索型
2.全文検索エンジン「Elasticsearch」とは
3.PythonでElasticsearchを使ってみる
4.Django Likeな実装を考えてみる
5.まとめ
[尺余り]
DB標準搭載の全文検索機能 VS 全文検索エンジン
26


# Page. 27

![Page Image](https://bcdn.docswell.com/page/3JKGNX1N7D.jpg)

全文検索とは？🤔
27


# Page. 28

![Page Image](https://bcdn.docswell.com/page/LE3NV5QZE5.jpg)

全文検索とは？🤔
全文検索とは、コンピュータにおいて、複数の文書（ファイル）から特定の文字列を検索す
ること。「ファイル名検索」や「単一ファイル内の文字列検索」と異なり、「複数文書にま
たがって、文書に含まれる全文を対象とした検索」という意味で使用される。
出典: フリー百科事典『ウィキペディア（Wikipedia）』
28


# Page. 29

![Page Image](https://bcdn.docswell.com/page/8EDW8D947G.jpg)

全文検索の検索手法は大きく分けて2つ
1.逐次検索(grep)型
目次がない本から目的の文章を探すようなこと。
全てを検索するためレイテンシはデータ量に比例する。
2. 索引検索(インデックス)型
目次から該当の項目を探すようなこと。
目的の箇所に到達するためノイズが少ないため早い。
ただしDjangoでいうcontains LookUpのような
%LIKE%検索だと機能しない
29


# Page. 30

![Page Image](https://bcdn.docswell.com/page/V7P98XZVJ8.jpg)

逐次検索(grep)型
ざっくり解説
30


# Page. 31

![Page Image](https://bcdn.docswell.com/page/2JVMNLWRJQ.jpg)

逐次検索(grep)型
石井の名字を持つデータを調べるよ
ID
Last Name
First Name
Pro le
タワー残る探査再現する。\nキャビネット意図ブレーキトーン普通の部隊狭い
フェミニス
ブラケット明らかにするバーゲン埋め込む鉱山コミュニティ索引。試してみる擁
する鉱山改善今擁するプラスチックホイール。オークション合計擁する出演
ジャム腐った参加するソース電話私。革新パイオニア索引サワー。\n不自然な
私じぶんの軸ヒットベルベット葉。再現するホイール彼部隊自体コミュニティ主
1
中川
和也
2
小林
篤司
3
小林
亮介
…
…
…
10000
石井
裕太
10001
山口
康弘
10002
山口
聡太郎
…
…
…
…
サンプル器官トレーナーパーセント拡張。午前日曜日障害ダニ。クロス月狭い
リンク。\nメニュー溝カラム敵合計ログあった。ヘアシュガーハードウェア今
動物ノート近代化するチーズ。厳しい指名参加するスペル倫理葉倫理。反射自
体トーン仕上げ屋根裏行進ダッシュ狭い。\nパーセント野球ヒットジャムカレッ
トリビュート〜証言する運仕上げリフト。葉ないリフト発生する。\n連続部隊
ダッシュじぶんの。持ってる証言するバーゲンバーゲン欠乏。見落とす感謝する
…
fi
31


# Page. 32

![Page Image](https://bcdn.docswell.com/page/5EGGKXD6EL.jpg)

逐次検索(grep)型
まずテーブルの全データにアクセスするよ
ID
Last Name
First Name
Pro le
タワー残る探査再現する。\nキャビネット意図ブレーキトーン普通の部隊狭い
フェミニス
ブラケット明らかにするバーゲン埋め込む鉱山コミュニティ索引。試してみる擁
する鉱山改善今擁するプラスチックホイール。オークション合計擁する出演
ジャム腐った参加するソース電話私。革新パイオニア索引サワー。\n不自然な
私じぶんの軸ヒットベルベット葉。再現するホイール彼部隊自体コミュニティ主
1
中川
和也
2
小林
篤司
3
小林
亮介
…
…
…
10000
石井
裕太
10001
山口
康弘
10002
山口
聡太郎
…
…
…
…
サンプル器官トレーナーパーセント拡張。午前日曜日障害ダニ。クロス月狭い
リンク。\nメニュー溝カラム敵合計ログあった。ヘアシュガーハードウェア今
動物ノート近代化するチーズ。厳しい指名参加するスペル倫理葉倫理。反射自
体トーン仕上げ屋根裏行進ダッシュ狭い。\nパーセント野球ヒットジャムカレッ
トリビュート〜証言する運仕上げリフト。葉ないリフト発生する。\n連続部隊
ダッシュじぶんの。持ってる証言するバーゲンバーゲン欠乏。見落とす感謝する
…
fi
32


# Page. 33

![Page Image](https://bcdn.docswell.com/page/4JQXN812EP.jpg)

逐次検索(grep)型
全体にアクセスしたテーブルから改めて検索を行うよ
ID
Last Name
First Name
Pro le
タワー残る探査再現する。\nキャビネット意図ブレーキトーン普通の部隊狭い
フェミニス
ブラケット明らかにするバーゲン埋め込む鉱山コミュニティ索引。試してみる擁
する鉱山改善今擁するプラスチックホイール。オークション合計擁する出演
ジャム腐った参加するソース電話私。革新パイオニア索引サワー。\n不自然な
私じぶんの軸ヒットベルベット葉。再現するホイール彼部隊自体コミュニティ主
1
中川
和也
2
小林
篤司
3
小林
亮介
…
…
…
10000
石井
裕太
10001
山口
康弘
10002
山口
聡太郎
…
…
…
…
サンプル器官トレーナーパーセント拡張。午前日曜日障害ダニ。クロス月狭い
リンク。\nメニュー溝カラム敵合計ログあった。ヘアシュガーハードウェア今
動物ノート近代化するチーズ。厳しい指名参加するスペル倫理葉倫理。反射自
体トーン仕上げ屋根裏行進ダッシュ狭い。\nパーセント野球ヒットジャムカレッ
トリビュート〜証言する運仕上げリフト。葉ないリフト発生する。\n連続部隊
ダッシュじぶんの。持ってる証言するバーゲンバーゲン欠乏。見落とす感謝する
…
fi
33


# Page. 34

![Page Image](https://bcdn.docswell.com/page/K746G2RPE1.jpg)

逐次検索(grep)型
テーブルが肥大化すればスキャンの負荷も高くなるね
ID
Last Name
First Name
Pro le
タワー残る探査再現する。\nキャビネット意図ブレーキトーン普通の部隊狭い
フェミニス
ブラケット明らかにするバーゲン埋め込む鉱山コミュニティ索引。試してみる擁
する鉱山改善今擁するプラスチックホイール。オークション合計擁する出演
ジャム腐った参加するソース電話私。革新パイオニア索引サワー。\n不自然な
私じぶんの軸ヒットベルベット葉。再現するホイール彼部隊自体コミュニティ主
1
中川
和也
2
小林
篤司
3
小林
亮介
…
…
…
10000
石井
裕太
10001
山口
康弘
10002
山口
聡太郎
…
…
…
…
サンプル器官トレーナーパーセント拡張。午前日曜日障害ダニ。クロス月狭い
リンク。\nメニュー溝カラム敵合計ログあった。ヘアシュガーハードウェア今
動物ノート近代化するチーズ。厳しい指名参加するスペル倫理葉倫理。反射自
体トーン仕上げ屋根裏行進ダッシュ狭い。\nパーセント野球ヒットジャムカレッ
トリビュート〜証言する運仕上げリフト。葉ないリフト発生する。\n連続部隊
ダッシュじぶんの。持ってる証言するバーゲンバーゲン欠乏。見落とす感謝する
…
fi
34


# Page. 35

![Page Image](https://bcdn.docswell.com/page/LJ1VDMQXEG.jpg)

つかいどころ👋
•データ量が少ないマスタデータなど
•パフォーマンスをそこまで重視しない社内システムなど
35


# Page. 36

![Page Image](https://bcdn.docswell.com/page/GJWLY3MKE2.jpg)

索引検索
(インデックス)型
ざっくり解説
36


# Page. 37

![Page Image](https://bcdn.docswell.com/page/4EZMXVQNJ3.jpg)

索引検索(インデックス)型
インデックス
データを登録するときに
インデックスへ
解析した文字と場所を格納する
よ
37
Name
ドキュメントID
中川
1
和也
1
小林
2, 3
篤司
2
亮介
2
…
…
石井
10000
裕太
10000
山口
10001, 10002
康弘
10001
聡太郎
10002
…
…


# Page. 38

![Page Image](https://bcdn.docswell.com/page/Y76N45697V.jpg)

索引検索(インデックス)型
インデックス
解析方法はいくつか種類がある
けど、それを説明すると
Djangoの話をせずに終わるの
で割愛するよ
38
Name
ドキュメントID
中川
1
和也
1
小林
2, 3
篤司
2
亮介
2
…
…
石井
10000
裕太
10000
山口
10001, 10002
康弘
10001
聡太郎
10002
…
…


# Page. 39

![Page Image](https://bcdn.docswell.com/page/G755QY6D74.jpg)

索引検索(インデックス)型
石井の名字を持つデータを調べるよ
インデックス
Name
ID
中川
1
和也
1
小林
2, 3
篤司
2
亮介
2
…
…
石井
10000
裕太
10000
山口
10001, 10002
康弘
10001
聡太郎
10002
…
…
ID
Last Name
First Name
1
中川
和也
2
小林
篤司
3
小林
亮介
…
…
…
10000
石井
裕太
10001
山口
康弘
10002
山口
聡太郎
…
…
…
fi
39
Pro le
タワー残る探査再現する。\nキャビネッ
ト意図ブレーキトーン普通の部隊狭いフ
ブラケット明らかにするバーゲン埋め込
む鉱山コミュニティ索引。試してみる擁
ジャム腐った参加するソース電話私。革
新パイオニア索引サワー。\n不自然な私
…
サンプル器官トレーナーパーセント拡
張。午前日曜日障害ダニ。クロス月狭い
動物ノート近代化するチーズ。厳しい指
名参加するスペル倫理葉倫理。反射自体
トリビュート〜証言する運仕上げリフ
ト。葉ないリフト発生する。\n連続部隊
…


# Page. 40

![Page Image](https://bcdn.docswell.com/page/9J2NPGNMER.jpg)

索引検索(インデックス)型
石井さんのデータには10000という
IDが関連づいていたよ
インデックス
Name
ID
中川
1
和也
1
小林
2, 3
篤司
2
亮介
2
…
…
石井
10000
裕太
10000
山口
10001, 10002
康弘
10001
聡太郎
10002
…
…
ID
Last Name
First Name
1
中川
和也
2
小林
篤司
3
小林
亮介
…
…
…
10000
石井
裕太
10001
山口
康弘
10002
山口
聡太郎
…
…
…
fi
40
Pro le
タワー残る探査再現する。\nキャビネッ
ト意図ブレーキトーン普通の部隊狭いフ
ブラケット明らかにするバーゲン埋め込
む鉱山コミュニティ索引。試してみる擁
ジャム腐った参加するソース電話私。革
新パイオニア索引サワー。\n不自然な私
…
サンプル器官トレーナーパーセント拡
張。午前日曜日障害ダニ。クロス月狭い
動物ノート近代化するチーズ。厳しい指
名参加するスペル倫理葉倫理。反射自体
トリビュート〜証言する運仕上げリフ
ト。葉ないリフト発生する。\n連続部隊
…


# Page. 41

![Page Image](https://bcdn.docswell.com/page/DEYP5VPPEM.jpg)

索引検索(インデックス)型
データから10000というIDで見つけたよ
インデックス
Name
ID
中川
1
和也
1
小林
2, 3
篤司
2
亮介
2
…
…
石井
10000
裕太
10000
山口
10001, 10002
康弘
10001
聡太郎
10002
…
…
ID
Last Name
First Name
1
中川
和也
2
小林
篤司
3
小林
亮介
…
…
…
10000
石井
裕太
10001
山口
康弘
10002
山口
聡太郎
…
…
…
fi
41
Pro le
タワー残る探査再現する。\nキャビネッ
ト意図ブレーキトーン普通の部隊狭いフ
ブラケット明らかにするバーゲン埋め込
む鉱山コミュニティ索引。試してみる擁
ジャム腐った参加するソース電話私。革
新パイオニア索引サワー。\n不自然な私
…
サンプル器官トレーナーパーセント拡
張。午前日曜日障害ダニ。クロス月狭い
動物ノート近代化するチーズ。厳しい指
名参加するスペル倫理葉倫理。反射自体
トリビュート〜証言する運仕上げリフ
ト。葉ないリフト発生する。\n連続部隊
…


# Page. 42

![Page Image](https://bcdn.docswell.com/page/VJN5NM5M78.jpg)

索引検索(インデックス)型
データにあってもインデックスに格納され
てなかったら検索できないよ
インデックス
Name
ID
中川
1
和也
1
小林
2, 3
篤司
2
亮介
2
…
…
石井
10000
裕太
10000
山口
10001, 10002
康弘
10001
聡太郎
10002
…
…
ID
Last Name
First Name
1
中川
和也
2
小林
篤司
3
小林
亮介
…
…
…
10000
石井
裕太
10001
山口
康弘
10002
山口
聡太郎
…
…
…
fi
42
Pro le
タワー残る探査再現する。\nキャビネッ
ト意図ブレーキトーン普通の部隊狭いフ
ブラケット明らかにするバーゲン埋め込
む鉱山コミュニティ索引。試してみる擁
ジャム腐った参加するソース電話私。革
新パイオニア索引サワー。\n不自然な私
…
サンプル器官トレーナーパーセント拡
張。午前日曜日障害ダニ。クロス月狭い
動物ノート近代化するチーズ。厳しい指
名参加するスペル倫理葉倫理。反射自体
トリビュート〜証言する運仕上げリフ
ト。葉ないリフト発生する。\n連続部隊
…


# Page. 43

![Page Image](https://bcdn.docswell.com/page/YE9YRNYWJ3.jpg)

つかいどころ👋
•データ量が多いデータなど
•検索を多用して且つ横断的な場合など
43


# Page. 44

![Page Image](https://bcdn.docswell.com/page/GE86WK6R7D.jpg)

目次
1.全文検索とは
逐次検索型
索引検索型
2.全文検索エンジン「Elasticsearch」とは
3.PythonでElasticsearchを使ってみる
4.Django Likeな実装を考えてみる
5.まとめ
[尺余り]
DB標準搭載の全文検索機能 VS 全文検索エンジン
44


# Page. 45

![Page Image](https://bcdn.docswell.com/page/LEL9NZ92JR.jpg)

全文検索エンジン
「Elasticsearch」とは？🤔
45


# Page. 46

![Page Image](https://bcdn.docswell.com/page/4JMZXVZ9EW.jpg)

全文検索エンジン
「Elasticsearch」とは？🤔
オランダ・アムステルダムに本社を置くElastic社が中心になって開発が進められている全文
検索エンジン。
全文検索に特化しており、他のソリューションと比較しても圧倒的な全文検索スピードと利
便性を誇る 。Elasticsearchの内部ではApache Luceneが提供する超高速全文検索をフル
活用しており、スケーラブル、スキーマレス、マルチテナントを特長とする。
[4]
出典: フリー百科事典『ウィキペディア（Wikipedia）』
46


# Page. 47

![Page Image](https://bcdn.docswell.com/page/PJR6N26979.jpg)

今回は「Elasticsearch」を使って
全文検索を実装してみます
• Elasticsearchのversionは7.x
(最新は8.xだが、ライブラリ対応の関係上)
• Elasticsearch自体は既に用意できていると仮定(今回はDockerで用意)
• Elasticsearchを使う理由として宗教的に深い理由はなし(重要)
• 仕様や仕組みを話すと1日が終わるので、
詳しく知りたい方は後日自己研鑽でお願いします
47


# Page. 48

![Page Image](https://bcdn.docswell.com/page/PEXMNDM37X.jpg)

目次
1.全文検索とは
逐次検索型
索引検索型
2.全文検索エンジン「Elasticsearch」とは
3.PythonでElasticsearchを使ってみる
4.Django Likeな実装を考えてみる
5.まとめ
[尺余り]
DB標準搭載の全文検索機能 VS 全文検索エンジン
48


# Page. 49

![Page Image](https://bcdn.docswell.com/page/3EKGNXGNJD.jpg)

インデックス作成して検索までの流れ🤔
1. マッピングを定義する
データベースでいうカラム定義
2. インデックスを作成する
データベースでいうテーブル作成
3. ドキュメントを登録する
データベースでいうレコード作成
4. JSON形式のクエリで検索する
49


# Page. 50

![Page Image](https://bcdn.docswell.com/page/L73NV5NZ75.jpg)

マッピングを定義する
1. まずElasticsearchのクライアントをpip install
(venv) $ pip install elasticsearch
2. 次に辞書型でmappingを定義
&gt;&gt;&gt; from elasticsearch import Elasticsearch
&gt;&gt;&gt; client = Elasticsearch(&#039;http://localhost:9200&#039;)
&gt;&gt;&gt; mappings = {
...
&#039;properties&#039;: {
...
&#039;last_name&#039;: {&#039;type&#039;: &#039;text&#039;},
...
&#039;first_name&#039;: {&#039;type&#039;: ‘text&#039;},
...
&#039;profile&#039;: {
...
&#039;type&#039;: ‘text’,
...
&#039;analyzer&#039;: ‘kuromoji’,
...
},
...
}
...}
50


# Page. 51

![Page Image](https://bcdn.docswell.com/page/87DW8DW4JG.jpg)

インデックスを作成する
3. インデックスを作成し、追加されていることを確認する
&gt;&gt;&gt; client.indices.create(index=&#039;test_index&#039;, mappings=mappings)
ObjectApiResponse({&#039;acknowledged&#039;: True, &#039;shards_acknowledged&#039;: True, &#039;index&#039;: &#039;test_index&#039;})
&gt;&gt;&gt; client.cat.indices(index=&#039;*&#039;, h=‘index&#039;).splitlines()
[‘.geoip_databases’, ‘test_index&#039;]
# .geoip_databasesはデフォルトのindex
4. マッピングも確認する
&gt;&gt;&gt; client.indices.get_mapping(index=&#039;test_index&#039;)
ObjectApiResponse({&#039;test_index&#039;: {&#039;mappings&#039;: {&#039;properties&#039;: {‘first_name&#039;: {&#039;type&#039;: ‘text&#039;},
&#039;last_name&#039;: {&#039;type&#039;: &#039;text&#039;}, &#039;profile&#039;: {&#039;type&#039;: &#039;text&#039;}}}}})
51


# Page. 52

![Page Image](https://bcdn.docswell.com/page/VJP98X9VE8.jpg)

ドキュメントを登録する
6. ドキュメントを作成後、全件取得して追加されていることを確認する
&gt;&gt;&gt; client.create(index=&#039;test_index&#039;, document=document, id=&#039;a2827b2fc341-4424-846a-6e39ed08f1d2&#039;)
ObjectApiResponse({&#039;_index&#039;: &#039;test_index&#039;, &#039;_type&#039;: &#039;_doc&#039;, &#039;_id&#039;: &#039;a2827b2fc341-4424-846a-6e39ed08f1d2&#039;, &#039;_version&#039;: 1, &#039;result&#039;: &#039;created&#039;, &#039;_shards&#039;: {&#039;total&#039;: 2,
&#039;successful&#039;: 1, &#039;failed&#039;: 0}, &#039;_seq_no&#039;: 0, &#039;_primary_term&#039;: 1})
&gt;&gt;&gt; client.search(index=&#039;test_index&#039;)
ObjectApiResponse({&#039;took&#039;: 2, &#039;timed_out&#039;: False, &#039;_shards&#039;: {&#039;total&#039;: 1, &#039;successful&#039;: 1,
&#039;skipped&#039;: 0, &#039;failed&#039;: 0}, &#039;hits&#039;: {&#039;total&#039;: {&#039;value&#039;: 1, &#039;relation&#039;: &#039;eq&#039;}, &#039;max_score&#039;:
1.0, &#039;hits&#039;: [{&#039;_index&#039;: &#039;test_index&#039;, &#039;_type&#039;: &#039;_doc&#039;, &#039;_id&#039;: &#039;a2827b2fc341-4424-846a-6e39ed08f1d2&#039;, &#039;_score&#039;: 1.0, &#039;_source&#039;: {&#039;last_name&#039;: &#039;滝野&#039;, &#039;first_name&#039;:
&#039;優紀&#039;, &#039;profile&#039;: &#039;はじめまして。私の名前は滝野優紀と申します。長野県出身で二児の父親です。これからもがん
ばります。&#039;}}]}})
52


# Page. 53

![Page Image](https://bcdn.docswell.com/page/2EVMNLMREQ.jpg)

JSON形式のクエリで検索する
7. 部分一致のクエリで検索がヒットすることを確認する
&gt;&gt;&gt; query = {
...
&#039;match&#039;: {
...
&#039;profile&#039;: &#039;長野県&#039;
...
...}
}
&gt;&gt;&gt; client.search(index=&#039;test_index&#039;, query=query1)
ObjectApiResponse({&#039;took&#039;: 3, &#039;timed_out&#039;: False, &#039;_shards&#039;: {&#039;total&#039;: 1, &#039;successful&#039;: 1,
&#039;skipped&#039;: 0, &#039;failed&#039;: 0}, &#039;hits&#039;: {&#039;total&#039;: {&#039;value&#039;: 1, &#039;relation&#039;: &#039;eq&#039;}, &#039;max_score&#039;:
1.3862942, &#039;hits&#039;: [{&#039;_index&#039;: &#039;test_index&#039;, &#039;_type&#039;: &#039;_doc&#039;, &#039;_id&#039;: &#039;7b6ee73a-1150-4924b9be-6235060d25b0&#039;, &#039;_score&#039;: 1.3862942, &#039;_source&#039;: {&#039;last_name&#039;: &#039;滝野&#039;, &#039;first_name&#039;: &#039;優
紀&#039;, &#039;profile&#039;: &#039;はじめまして。私の名前は滝野優紀と申します。長野県出身で二児の父親です。これからもがんば
ります。&#039;}}]}})
53


# Page. 54

![Page Image](https://bcdn.docswell.com/page/57GGKXG67L.jpg)

clientも実装しないといけないし、
Elasticsearchのインデックス登録や
検索をうまいことmixinにしておかな
いとゴリッゴリのオレオレコードがで
きあがるな。。。
T君
54


# Page. 55

![Page Image](https://bcdn.docswell.com/page/4EQXN8X27P.jpg)

目次
1.全文検索とは
逐次検索型
索引検索型
2.全文検索エンジン「Elasticsearch」とは
3.PythonでElasticsearchを使ってみる
4.Django Likeな実装を考えてみる
5.まとめ
[尺余り]
DB標準搭載の全文検索機能 VS 全文検索エンジン
55


# Page. 56

![Page Image](https://bcdn.docswell.com/page/KJ46G26P71.jpg)

django-elasticsearch-dsl を使う考え
• ググったらだいたい1ページ目の上位に出てくるライブラリ。
• 比較的直感的に扱えるが、実装が複雑でない場合にはオーバーエンジニ
アリングになりやすい
• 高レベルクライアントであるelasticsearch-dslのDjangoラッパーで
あるため、リリース頻度は高く新機能やバグの対応が早い
56


# Page. 57

![Page Image](https://bcdn.docswell.com/page/LE1VDMVX7G.jpg)

準備
1. Elasticsearchのクライアントをpip install
(venv) $ pip install django-elasticsearch-dsl
2. 次にsettings.pyへ接続情報を定義
ELASTICSEARCH_DSL={
&#039;default&#039;: {
&#039;hosts&#039;: &#039;localhost:9200&#039;
},
}
57


# Page. 58

![Page Image](https://bcdn.docswell.com/page/GEWLY3LK72.jpg)

まずモデルを元に定義が必要
from django_elasticsearch_dsl import Document
from django_elasticsearch_dsl.registries import registry
from .models import Staff
@registry.register_document
class StaffDocument(Document):
class Index:
# Name of the Elasticsearch index
name = &#039;staffs&#039;
# See Elasticsearch Indices API reference for available settings
settings = {
&#039;number_of_shards&#039;: 1,
&#039;number_of_replicas&#039;: 0,
}
class Django:
model = Staff
# The model associated with this Document
# The fields of the model you want to be indexed in Elasticsearch
fields = [
&#039;last_name&#039;,
&#039;first_name&#039;,
&#039;profile&#039;,
]
58


# Page. 59

![Page Image](https://bcdn.docswell.com/page/47ZMXVMNE3.jpg)

ドキュメント作成まではDjango感ある
1. マッピングを設定してインデックスを作成
(venv) $ ./manage.py search_index --rebuild
※ search̲index --rebuildを行うとモデルデータが全てインデックスに登録される
2. モデルデータを作成するとシグナルでインデックスにも格納される
staff = Staff(
last_name=’滝野’,
first_name=’優紀’,
profile=’私の名前は滝野です。長野県出身です。’,
)
staff.save()
59


# Page. 60

![Page Image](https://bcdn.docswell.com/page/YJ6N45N9JV.jpg)

検索あたりからちょっとDjango感薄れる
1. Elasticsearchのデータが返される
StaffDocument.search().filter(’match’, profile=&#039;長野県&#039;)
# or
StaffDocument.search().query(’match’, profile=&#039;長野県&#039;)
2. そして結果がqueryと lterで違う謎
&gt;&gt;&gt; [f&#039;{s.last_name} {s.first_name}&#039; for s in StaffDocument.search().filter(&#039;match&#039;, profile=&#039;長野県&#039;)]
[]
&gt;&gt;&gt; [f&#039;{s.last_name} {s.first_name}&#039; for s in StaffDocument.search().query(&#039;match&#039;, profile=&#039;長野県&#039;)]
[&#039;滝野 優紀’,]
fi
60


# Page. 61

![Page Image](https://bcdn.docswell.com/page/GJ55QY5DJ4.jpg)

elasticsearch-dslのラッパーだか
らElasticsearchの知識がかなり要求さ
れるな。。。
T君
61


# Page. 62

![Page Image](https://bcdn.docswell.com/page/LE3NV55QE5.jpg)

django-haystack を使う考え
• ググったらだいたい1ページ目に出てこないライブラリ
• Elasticsearchの他にSolrなど他の全文検索エンジンに対応している。
• Django ORM的感的で扱えるため、学習コストは低い。
• リリース頻度はかなり緩やかのため、Elasticsearchの新機能は使えな
いことが多い
• １インデックス == 1全文検索エンジン
62


# Page. 63

![Page Image](https://bcdn.docswell.com/page/8EDW8DDW7G.jpg)

準備
1. django-haystackのelasticsearchパッケージをpip install
(venv) $ pip install django-haystack[elasticsearch]
2. 次にsettings.pyへ接続情報を定義
HAYSTACK_CONNECTIONS = {
&#039;default&#039;: {
&#039;ENGINE&#039;: &#039;haystack.backends.elasticsearch7_backend.Elasticsearch7SearchEngine&#039;,
&#039;URL&#039;: ‘http://localhost:9200/&#039;,
&#039;INDEX_NAME&#039;: &#039;haystack&#039;,
},
}
63


# Page. 64

![Page Image](https://bcdn.docswell.com/page/V7P98XXXJ8.jpg)

こちらもインデックスの定義が必要
from haystack import indexes
from .models import Staff
class StaffIndex(indexes.SearchIndex, indexes.Indexable):
text = indexes.CharField(document=True, use_template=True)
last_name = indexes.CharField(model_attr=&#039;last_name&#039;)
first_name = indexes.CharField(model_attr=&#039;first_name&#039;)
def get_model(self):
return Staff
• SearchIndexは、document=Trueのフィールドを1つのみ持つ
• use̲template=Trueとすることでテンプレートを使い、
エラーを起こりにくくする(らしい)
• textというのはデフォルトの規則(settingsから変更可)
64


# Page. 65

![Page Image](https://bcdn.docswell.com/page/2JVMNLL3JQ.jpg)

インデックスを作成する
1. マッピング用のテンプレートファイルを作成
templates/search/indexes/{app̲name}/sta ̲text.txt
{{ object.last_name }}
{{ object.first_name }}
{{ object.profile }}
2. インデックスを作成
(venv) $ ./manage.py rebuild_index
※ rebuild̲indexを行うとモデルデータが全てインデックスに登録される
3. インデックスを更新(別途シグナルも実装可)
(venv) $ ./manage.py update_index —age=&lt;num_hours&gt;
ff
65


# Page. 66

![Page Image](https://bcdn.docswell.com/page/5EGGKXXYEL.jpg)

Django感ある
1. Elasticsearchのデータが返される
SearchQuerySet.filter(content=&#039;長野県&#039;)
# or
SearchQuerySet.filter(first_name=‘優紀’)
2. 他にもDjango ORMと似たようなメソッドが多い
SearchQuerySet.all()
SearchQuerySet.none()
SearchQuerySet.exclude(…)
SearchQuerySet.values(…)
SearchQuerySet.values_list(…)
SearchQuerySet.order_by(…)
66


# Page. 67

![Page Image](https://bcdn.docswell.com/page/4JQXN886EP.jpg)

導入の障壁は低そうだな。。。
でも集計とか複雑なことを今後要求され
たら。。。いや、でも。。。
T君
67


# Page. 68

![Page Image](https://bcdn.docswell.com/page/K746G22ME1.jpg)

Tくんは結局学習コストの少なさと要求がそれほど多
くないことからdjango-haystackを採用しました。
プロフィールの文字から
検索できるようにしました！！
ありがとうございます！
T君
68
顧客


# Page. 69

![Page Image](https://bcdn.docswell.com/page/LJ1VDMMYEG.jpg)

しかし問題は尽きないようです
ついでに過去の担当者の○○について
集計したデータを貰いたいです！
・・・ヱ？
顧客
T君
69


# Page. 70

![Page Image](https://bcdn.docswell.com/page/GJWLY331E2.jpg)

まとめ
• 検索なら全文検索使えってわけではなく、検索対象が長文や多岐要素に渡らなけ
ればDBのgrep検索で十分といえる。
• ただし、コストがかかるからと安直にDBのgrep検索にしてしまうと、データが増
えて来た際や仕様追加などで痛い目を見てしまうため慎重になる。
• インデックスへの格納はリアルタイム性を重視した同期的処理(シグナル)、負荷を
一定時間内に制限したバッチ処理、celeryといったキューで登録といった方法が
ある。
• 全文検索の導入はdjango側というより全文検索エンジン側の理解や設定のほうが
何倍も大変。
70


# Page. 71

![Page Image](https://bcdn.docswell.com/page/4EZMXVVXJ3.jpg)

[余談] そもそも去年までdjango-haystackは
ES 5までしか対応していなかったが…
https://github.com/Surgo
以前一緒に仕事をしていたときにSurgo氏がES7の対応を行ってくれた。
71


# Page. 72

![Page Image](https://bcdn.docswell.com/page/Y76N455P7V.jpg)

私は騒いでいただけだった…
ヒエェ~~~~!!!
ES 5までしか対応していない!
あららら…残念。
今対応しておくか
暫くして
ヒエェ~~~~!!!
ES 7に対応してる!!
これか？まあなんだ。
ちょっと、やんちゃし過ぎちまったんだよ
72
みたいな


# Page. 73

![Page Image](https://bcdn.docswell.com/page/G755QYYP74.jpg)

ご静聴ありがとうございました
73


# Page. 74

![Page Image](https://bcdn.docswell.com/page/9J2NPGGZER.jpg)

目次
1.全文検索とは
逐次検索型
索引検索型
2.全文検索エンジン「Elasticsearch」とは
3.PythonでElasticsearchを使ってみる
4.Django Likeな実装を考えてみる
5.まとめ
[尺余り]
DB標準搭載の全文検索機能 VS 全文検索エンジン
74


# Page. 75

![Page Image](https://bcdn.docswell.com/page/DEYP5VVNEM.jpg)

# TODO
75


