nl-1. 形態素解析と構文解析

207 Views

December 16, 21

スライド概要

自然言語処理入門
URL: https://www.kkaneko.jp/cc/nlp/index.html

profile-image

金子邦彦(かねこくにひこ) 福山大学・工学部・教授 ホームページ: https://www.kkaneko.jp/index.html 金子邦彦 YouTube チャンネル: https://youtube.com/user/kunihikokaneko

シェア

埋め込む »CMSなどでJSが使えない場合

各ページのテキスト
1.

nl-1. 形態素解析と構文解析 (自然言語処理入門) URL: https://www.kkaneko.jp/cc/nlp/index.html 金子邦彦 1

2.

自然言語処理 • 自然言語処理では, コンピュータが,人間の言葉(英語や日本語)を処理する. • 人間の言葉を理解できる能力をもつアプリやサービスの制 作に役立つ (用途の例) インターネット検索,対話システム,音声合成, 翻訳,かな漢字変換での予測変換, 迷惑メールフィルタ 2

3.

自然言語処理の技術 • 文を単語に分割(単語の切り出し) • 単語の種類(品詞)の判定 • 係り受けの関係などの分析(構文解析) • 意味解析 など 3

4.

Windows などで,単語を切り出し,品詞を 自動判定する機能を持つ mecab コマンド 白い雲と青い空が美しい Google Colaboratory の実行画面 単語に切り分けられ,単語ごとの読み仮名, 品詞などが,得られる 4

5.

日本国民は、正当に選挙された国会における代 表者を通じて行動し Google Colaboratory の実行画面 5

6.

Google Colaboratory での実行手順 ① Google Colaboratory でノートブックを作成 ② 次のコードセルを実行 !apt install -y mecab ③ 次のコードセルを実行 !echo '日本国民は、正当に選挙された国会における 代表者を通じて行動し' | mecab 6

7.

Python プログラム内で MeCab を使う 自動化のため → プログラム import sys import MeCab m = MeCab.Tagger ("-Ochasen") print(m.parse ("海は広い")) 7

8.

構文解析 • 構文解析は,係り受けの解析を行うこと. 主語,述語,修飾語などの,単語間の関係の分析 • 構文解析 KNP のデモサイト http://lotus.kuee.kyoto-u.ac.jp/nlresource/cgi-bin/knp.cgi 8

9.

意味解析 • 意味解析は,単語の意味の判定を行う • それぞれの言葉の意味を,コンピュータが理 解しながら,他の言葉の意味を判断するなど 駅前のコンビニは,油を売っていた あの人は,仕事中に,油を売っていた 9

10.

まとめ • 単語 単一の意味のまとまり • 品詞 単語の種別 • 係り受け 関係 主語,述語,修飾語などの,単語間の • 形態素解析 自然言語の文から単語を切り出し, 品詞を推定すること • 構文解析 係り受けの関係などを分析すること 10