ベイズ統計_02_確率の基本とベイズの定理

ベイズ統計 02 確率の基本とベイズの定理 分寺 杏介 神戸大学大学院 経営学研究科  bunji@bear.kobe-u.ac.jp ※本スライドは，クリエイティブ・コモンズ 表示-非営利 4.0 国際 ライセンス（CC BY-NC 4.0）に従って利用が可能です。

• https://creativecommons.org/licenses/by-nc/4.0/

１ 確率の基本 用語のおさらい 02 確率の基本とベイズの定理 2

確率とは 例 前回紹介したように，ベイズ統計では確率の「考え方」こそ違いますが， 確率に関するルール等は基本的に変わりません。 100人の中からランダムに抽出した一人が東京在住の確率は？ 【古典的（客観的）確率の見方】 ▌確率は，事象に比例配分されるものである 一人を選んだ時に起きる事象は100通り 東京 神奈川 大阪 福岡 50 100 25 100 15 100 10 100 02 確率の基本とベイズの定理 （例） 男性 女性 計 東京 30 20 50 神奈川 10 15 25 大阪 5 10 15 福岡 5 5 10 計 50 50 100 50 100 𝑃(東京) 正しく書くと 𝑃(住所 = 東京) 3

確率とは 例 100人の中からランダムに抽出した一人が関東在住の確率は？ 【古典的（客観的）確率の見方】 ▌確率は，事象に比例配分されるものである 複数の事象を足し合わせても良い 東京 神奈川 大阪 福岡 50 100 25 100 15 100 10 100 02 確率の基本とベイズの定理 （例） 男性 女性 計 東京 30 20 50 神奈川 10 15 25 大阪 5 10 15 福岡 5 5 10 計 50 50 100 75 100 𝑃 関東 = 𝑃 東京 + 𝑃(神奈川) 50 25 100 100 4

事象の分割 ▌事象が分割されているとき，すべての分割における確率の総和は1になる すべての事象が網羅されている （例） 男性 女性 計 東京 30 20 50 神奈川 10 15 25 大阪 5 10 15 福岡 5 5 10 計 50 50 100 同じ事象が2回以上出現することはない 【OKな分割】 • 男性，女性 𝑃 男性 + 𝑃 女性 = 1 • 関東，大阪，福岡 𝑃 関東 + 𝑃 大阪 + 𝑃(福岡) = 1 【NGな分割】 • 東京，大阪，福岡 • 関東，関東以外，男性 神奈川の人がどこにも属さない 𝑃 東京 + 𝑃 大阪 + 𝑃 福岡 < 1 関東の男性は2回重複している 𝑃 関東 + 𝑃 関東以外 + 𝑃 男性 > 1 02 確率の基本とベイズの定理 5

同時確率 …2つの事象が同時に観測される確率 例 100人の中からランダムに抽出した一人が東京在住の男性である確率は？ 同時確率 joint probability （例） 男性 女性 計 東京 30 20 50 神奈川 10 15 25 大阪 5 10 15 福岡 5 5 10 計 50 50 100 同時確率は 30 100 𝑃(東京, 男性) 𝑃(東京 ∩ 男性) 【ちょっとだけ練習】 100人からランダムに抽出した一人が関東在住の女性である確率は？ 02 確率の基本とベイズの定理 あるいは A などと表記されます 35 100 ◀のような箇所は， 解答を背景色と同じにしています。 中身をコピペして解答を確認してください。 6

同時確率 ▌すべての組み合わせに関する同時確率の総和は1になる 分割 B 𝑃 東京, 男性 + 𝑃 東京, 女性 +𝑃 神奈川, 男性 + 𝑃 神奈川, 女性 +𝑃 大阪, 男性 + 𝑃 大阪, 女性 +𝑃 福岡, 男性 + 𝑃 福岡, 女性 = 1 A （例） 男性 女性 計 東京 30 20 50 神奈川 10 15 25 大阪 5 10 15 福岡 5 5 10 計 50 50 100 ෍ ෍ 𝑃 𝑎, 𝑏 = 1 𝑎∈𝐴 𝑏∈𝐵 02 確率の基本とベイズの定理 7

周辺確率 ▌2つの事象の同時確率を，一方の分割に関してすべて足すと周辺確率 marginal probability 例 A 100人の中からランダムに抽出した一人が東京在住の確率は？ B （例） 男性 女性 計 東京 30 20 50 神奈川 10 15 25 大阪 5 10 15 福岡 5 5 10 計 50 50 100 50 100 𝑃 東京 = 𝑃 東京, 男性 + 𝑃(東京, 女性) 30 100 20 100 ෍ 𝑃 東京, 𝑏 = 𝑃(東京) 𝑏∈𝐵 02 確率の基本とベイズの定理 8

条件付き確率 ▌ある事象の条件下における別の事象の確率を条件付き確率と呼ぶ conditional probability 例 男性の中からランダムに抽出した一人が東京在住の確率は？ （例） 男性 女性 計 東京 30 20 50 神奈川 10 15 25 大阪 5 10 15 福岡 5 5 10 計 50 50 100 30 50 条件付き確率は 𝑃(東京|男性) などと表記されます 「男性である」ことが確定している（所与とした）ときの「東京」の確率。 このように”|”の後ろには所与の事象が記される 【ちょっとだけ練習】 「神奈川在住」からランダムに抽出した一人が女性である確率は？ 02 確率の基本とベイズの定理 A 15 25 9

確率の基本公理 ▌コルモゴロフの公理系とコックスの定理から導出される基本公理 ① 0 ≤ 𝑃(𝑎|𝑏) ≤ 1 ② 𝑃 𝑎 𝑎 = 1 であり，𝑃 𝑎ではない 𝑎 = 0 ③ 男性の中からランダムに抽出した一人が男性の確率は1 男性以外の中からランダムに抽出した一人が男性の確率は0 𝑎かつ𝑏という事象が無い （𝑃 𝑎, 𝑏 = 0） ならば 𝑃 𝑎∪𝑏 𝑐 =𝑃 𝑎 𝑐 +𝑃 𝑏 𝑐 ④ ＋ここまでに話したこと ▶ 周辺確率の和に関するルールは，特定の事象を所与としても成立する （例） 𝑃 関東|男性 = 𝑃 東京|男性 + 𝑃(神奈川|男性) 𝑃 𝑎, 𝑏 𝑐 = 𝑃 𝑎 𝑏, 𝑐 𝑃 𝑏 𝑐 02 確率の基本とベイズの定理 10

条件付き確率に関する公理 ④ 𝑃 𝑎, 𝑏 𝑐 = 𝑃 𝑎 𝑏, 𝑐 𝑃 𝑏 𝑐 例 𝑎 =東京，𝑏 =男性，𝑐 =学生とすると… 𝑃 𝑎, 𝑏 𝑐 = 学生の中からランダムに抽出した一人が東京在住の男性である確率 条件付き確率に関する公理 条件付き確率に関する公理 𝑃 𝑎 𝑏, 𝑐 ==男子学生の中からランダムに抽出した一人が東京在住である確率 = =男性， =学生とすると 例 =東京， =男性， =学生とすると 𝑃例 𝑏 𝑐=東京， = 学生の中からランダムに抽出した一人が男性である確率 = 学生の中からランダムに抽出した一人が東京在住の男性である確率 = 学生の中からランダムに抽出した一人が東京在住の男性である確率 学生 = 男子学生の中からランダムに抽出した一人が東京在住である確率 = 男子学生の中からランダムに抽出した一人が東京在住である確率 女性 計 男性 （例） 東京 = 学生の中からランダムに抽出した一人が男性である確率 = 学生の中からランダムに抽出した一人が男性である確率 （例） 神奈川 学生 東京 30 10 男性 20 女性 15計 50 社会人 25 社会人 （例） 学生 5 10 15 神奈川 福岡大阪 5 5 主婦大阪 10 50 50 計 福岡 計 男性（例） 女性 男性 計 女性社会人 計 東京 大阪 神奈川 100 主婦 （例） 東京 東京 神奈川 神奈川 大阪 主婦 福岡 福岡 計 計 計 条件付き確率とベイズの定理 02 確率の基本とベイズの定理 女性 計 大阪 福岡 条件付き確率とベイズの定理 男性 11

ちょっとややこしかったですね ただ，前ページはすべてCが所与のもとでの話 𝑃 𝑎, 𝑏 𝑐 = 𝑃 𝑎 𝑏, 𝑐 𝑃 𝑏 𝑐 ▶ Cを省略して見ると 学生に限定した話しかしていなかった 𝑃 𝑎, 𝑏 = 𝑃 𝑎 𝑏 𝑃(𝑏) （例） 男性 女性 計 東京 30 20 50 神奈川 10 15 25 大阪 5 10 15 福岡 5 5 10 計 50 50 100 𝑃 東京, 男性 = 𝑃 東京 男性 𝑃(男性) 30 100 02 確率の基本とベイズの定理 30 50 50 100 12

同じ話を「信念」で考えてみよう 例 いま，ドアの向こうにいる人の所在地と性別を当てましょう。 ただし所在地は東京・神奈川・大阪・福岡のいずれかです。 また，性別は男性または女性です。 もし何も情報がなければ，各事象に対する信念は （例） 男性 女性 信念の強さ 東京 高確率 神奈川 高確率 大阪 ↑よりは低い 福岡 最も低い 信念の強さ 東京在住の男性， または東京在住の女性にベットかなぁ ほぼ半々 02 確率の基本とベイズの定理 13

確率の公理を信念に適用してみる 例 𝑎 =東京，𝑏 =男性，𝑐 =学生とすると… 確率を「条件付き」にすることは， 「ドアの向こうにいる人」についての情報を得ることと同じ ② 𝑃 𝑎 𝑎 = 1 であり，𝑃 𝑎ではない 𝑎 = 0 （例） 男性 女性 信念の強さ 東京 高確率 神奈川 高確率 大阪 ↑よりは低い 福岡 最も低い 信念の強さ ほぼ半々 「向こうには東京在住の人がいます」 ▶ 「向こうにいるのが東京在住である」という信念は絶対アタリ（＝１） 「向こうには東京在住の人がいます」 ▶ 「向こうにいるのが東京在住ではない」という信念は絶対ハズレ（＝０） ① 0 ≤ 𝑃(𝑎|𝑏) ≤ 1 絶対ハズレ 絶対アタリ 「向こうには男性がいます」▶ 「向こうにいるのが東京在住である」という信念は0から1の間 （情報があろうとなかろうと）ある信念に対しては ０（絶対ハズレ）から１（絶対アタリ）の間の数値が付与される 02 確率の基本とベイズの定理 14

確率の公理を信念に適用してみる 例 𝑎 =東京，𝑏 =男性，𝑐 =学生とすると… 確率を「条件付き」にすることは， 「ドアの向こうにいる人」についての情報を得ることと同じ ③ 𝑎かつ𝑏という事象が無い （𝑃 𝑎, 𝑏 = 0） ならば 𝑃(𝑎 ∪ 𝑏) = 𝑃(𝑎) + 𝑃(𝑏) （例） 男性 東京 0 女性 信念の強さ 高確率 神奈川 高確率 大阪 ↑よりは低い 福岡 最も低い 信念の強さ ほぼ半々 あるいは 𝑃 𝑎 ∪ 𝑏 𝑐 = 𝑃 𝑎 𝑐 + 𝑃 𝑏 𝑐 前提条件：「東京在住かつ男性がいることはありえない（ 𝑃 𝑎, 𝑏 = 0 ）」 ▶ 𝑃 𝑎 + 𝑃 𝑏 =「向こうにいる人は東京在住」と「向こうにいる人は男性」という信念の強さの和 ▶ 𝑃(𝑎 ∪ 𝑏) = 「向こうにいる人は東京在住または男性」という信念 02 確率の基本とベイズの定理 15

確率の公理を信念に適用してみる 例 （例） 𝑎 =東京，𝑏 =男性，𝑐 =学生とすると… 確率を「条件付き」にすることは， 「ドアの向こうにいる人」についての情報を得ることと同じ ④ 𝑃(𝑎, 𝑏) = 𝑃 𝑎 𝑏 𝑃(𝑏) あるいは 𝑃 𝑎∪𝑏 𝑐 =𝑃 𝑎 𝑐 +𝑃 𝑏 𝑐 男性 女性 信念の強さ 東京 高確率 神奈川 高確率 大阪 ↑よりは低い 福岡 最も低い 信念の強さ ほぼ半々 ▶ 𝑃(𝑎, 𝑏) = 「向こうにいるのが東京在住の男性である」という信念の強さ ▶ 𝑃 𝑎 𝑏 = 仮に「向こうにいるのが男性である」という情報を教えてもらった場合の 「向こうにいるのが東京在住である」という信念の強さ ▶ 𝑃(𝑏) = 「向こうにいるのが男性である」という（もともと持っている）信念の強さ 02 確率の基本とベイズの定理 16

ここまでで言いたかったこと 具体的に各事象に値を与えずに「信念の強さ」で考えた場合でも 確率の基本公理は成立していると言えそう 信念を確率（分布）によって表しても問題なさそう こうしてベイズ統計は確率を「信念」として解釈しているのです。 02 確率の基本とベイズの定理 17

２ ベイズの定理 ここからが本編 02 確率の基本とベイズの定理 18

ベイズの定理 ▌もちろん基本公理④はA,Bを入れ替えても成立する 𝑃(𝑎, 𝑏) = 𝑃 𝑎 𝑏 𝑃(𝑏) ቊ 𝑃(𝑎, 𝑏) = 𝑃 𝑏 𝑎 𝑃(𝑎) 「東京在住（𝑎）」と「男性（𝑏）」のどちらを仮定しても 結局「東京在住の男性」の信念の強さは変わらないはず ▌ということは 𝑃 𝑎 𝑏 𝑃 𝑏 = 𝑃 𝑏 𝑎 𝑃 𝑎 なので… （Wikipediaより） Bayes’ Theorem ベイズの定理 𝑃 𝑏𝑎 𝑃 𝑎 𝑃 𝑎𝑏 = 𝑃 𝑏 02 確率の基本とベイズの定理 19

ベイズの定理つづき ベイズの定理 𝑃 𝑏𝑎 𝑃 𝑎 𝑃 𝑎𝑏 = 𝑃 𝑏 ▌𝐴が分割されている場合，𝑃 𝑏 をさらに細分化できる 𝑃 𝑏𝐴=𝑎 𝑃 𝐴=𝑎 𝑃 𝐴=𝑎𝑏 = 𝑁 σ𝑛=1 𝑃(𝑏|𝐴 = 𝑛) 𝑃 𝐴 = 𝑛 ▲ 公理④で同時確率を分解し，周辺確率の和に書き換えているだけ 02 確率の基本とベイズの定理 20

ベイズの定理に慣れましょう ベイズの定理の練習問題として有名なタクシー問題 「ある街のタクシーの85％は緑で，15％は青である。あるときタクシーによるひき逃げ事件が起きた。 そこに目撃者が現れて「青のタクシーがひいた」と証言した。この証人がどのく らい正確に見分けられるか をテストしたところ，80％の場合は正しく色を識別できるが，20％の場合は実際と逆の色を言ってしまうこと がわかった。さて，証言どおり青タクシーが犯人である確率はどれだけだろうか？」 ベイズの定理に当てはめて確率を計算してみましょう。 求めたいものは 「青タクシーを見た」という証言を得たときに「犯人が青タクシーである」という確率 𝑎 =「犯人が青タクシーである」 𝑏 =「青タクシーを見たという証言」 とそれぞれ書くとしたら，求めたい確率は 𝑃 𝑎𝑏 これをベイズの定理で 書き換えていきます 02 確率の基本とベイズの定理 21

ベイズの定理に慣れましょう ベイズの定理の練習問題として有名なタクシー問題 「ある街のタクシーの85％は緑で，15％は青である。あるときタクシーによるひき逃げ事件が起きた。 そこに目撃者が現れて「青のタクシーがひいた」と証言した。この証人がどのく らい正確に見分けられるか をテストしたところ，80％の場合は正しく色を識別できるが，20％の場合は実際と逆の色を言ってしまうこと がわかった。さて，証言どおり青タクシーが犯人である確率はどれだけだろうか？」 ベイズの定理に当てはめて確率を計算してみましょう。 𝑃 𝑏𝑎 𝑃 𝑎 𝑃 𝑎𝑏 = 𝑃 𝑏 𝑎 =「犯人が青タクシーである」 𝑏 =「青タクシーを見たという証言」 𝑃 犯人 = 青 証言 = 青 = 𝑃 証言 = 青 犯人 = 青 𝑃 犯人 = 青 02 確率の基本とベイズの定理 𝑃 証言 = 青 22

ひとつひとつ見ていきましょう 【状況整理】 緑＝85% 青＝15% 正＝80% 誤＝20% 街のタクシー 証言が正しい確率 𝑃 犯人 = 青 証言 = 青 = 𝑃 証言 = 青 犯人 = 青 𝑃 犯人 = 青 𝑃 証言 = 青 【右辺の分子】 𝑃 証言 = 青 犯人 = 青 =犯人が青のとき証言も青である確率＝証言が正しい確率なので80% 𝑃(犯人 = 青)＝犯人が青である確率＝街のタクシーの割合に合わせて15% 02 確率の基本とベイズの定理 23

ひとつひとつ見ていきましょう 【状況整理】 緑＝85% 青＝15% 正＝80% 誤＝20% 街のタクシー 証言が正しい確率 𝑃 犯人 = 青 証言 = 青 = 【右辺の分母】 𝑃 証言 = 青 犯人 = 青 𝑃 犯人 = 青 𝑃 証言 = 青 分割可能！ 𝑃(証言 = 青)＝証言が青である確率 「犯人は青」という証言が得られる全パターンを考えると ＝ 𝑃 証言 = 青 犯人 = 青 𝑃(犯人 = 青) + 𝑃(証言 = 青|犯人 = 緑)𝑃(犯人 = 緑) ＝ 80% × 15% ＋ 02 確率の基本とベイズの定理 20% × 85% 24

ひとつひとつ見ていきましょう 【状況整理】 緑＝85% 青＝15% 正＝80% 誤＝20% 街のタクシー 証言が正しい確率 𝑃 犯人 = 青 証言 = 青 = 𝑃 証言 = 青 犯人 = 青 𝑃 犯人 = 青 𝑃 証言 = 青 【よって】 𝑃 犯人 = 青 証言 = 青 = 0.8 × 0.15 0.8 × 0.15 + 0.2 × 0.85 = 0.414 「犯人は青タクシー」という証言があったときに、犯人が青タクシーである確率は41.4% 02 確率の基本とベイズの定理 25

ひとつひとつ見ていきましょう 【状況整理】 緑＝85% 青＝15% 正＝80% 誤＝20% 街のタクシー 証言が正しい確率 𝑃 犯人 = 青 証言 = 青 = 𝑃 証言 = 青 犯人 = 青 𝑃 犯人 = 青 𝑃 証言 = 青 【式のまま分割すると】 𝑃 犯人 = 青 証言 = 青 = 𝑃 証言 = 青 犯人 = 青 𝑃 犯人 = 青 𝑃 証言 = 青 犯人 = 青 𝑃(犯人 = 青) + 𝑃(証言 = 青|犯人 = 緑)𝑃(犯人 = 緑) データが与えられたときに「どの事実から生じたデータ」と考えるのが妥当かを判断している 02 確率の基本とベイズの定理 26

面積で考えてみる 緑＝85% 青＝15% 正＝80% 誤＝20% 街のタクシー 証言が正しい確率 もともと持っている信念（事前情報） そ各 の事 証象 言（ が事 得実 ら） の れも ると 確で 率 （ 尤 度 ） 【証言が青になるパターンは】 本当は緑 証言が間違っている 本当は青 証言も正しい 02 確率の基本とベイズの定理 27

面積で考えてみる 緑＝85% 青＝15% 正＝80% 誤＝20% 街のタクシー 証言が正しい確率 もともと持っている信念（事前情報） そ各 の事 証象 言（ が事 得実 ら） の れも ると 確で 率 （ 尤 度 ） 【実際に犯人が青なのは】 0.2 × 0.85 = 0.17 0.85 × 0.8 = 0.68 0.8 × 0.15 ∥ 0.12 0.15 × 0.2 = 0.03 02 確率の基本とベイズの定理 0.12 0.12 ＋ 0.17 28

信念の更新のイメージ いま，そこの曲がり角で タクシーがひき逃げするのを見たんじゃ 通報ありがとうございます！ この街は 緑タクシーが多いし たぶん緑が犯人だろうなあ 事前情報 （信念） 青である確率は15% タクシーはたぶん青だったぞい 情報 情報提供ありがとうございます！ 事後の信念 おっ？青か？ とはいえ爺さんの証言が 絶対正しいとは言えないからなあ 青である確率は41.4% 02 確率の基本とベイズの定理 29

信念に影響をあたえるもの①｜事前確率 証言が正しい確率は同じ 正＝80% 誤＝20% もともと持っている信念（事前情報） 【事前の信念（情報）が変化すると】 そ各 の事 証象 言（ が事 得実 ら） の れも ると 確で 率 （ 尤 度 ） タクシーの台数は変わらないのだが • 緑のタクシー会社は安全運転で有名 • 青のタクシー会社は事故が多くて有名 ※実際にデータを取ったら、ひき逃げ件数が 緑＝50% 青＝50% あるいはタクシーに関する事前情報が何もないケース ▶ 理由不十分の原則(principle of insufficient reason) 02 確率の基本とベイズの定理 30

変化した事前確率のもとで再計算 青＝50% 緑＝50% ひき逃げの件数 証言が正しい確率 もともと持っている信念（事前情報） そ各 の事 証象 言（ が事 得実 ら） の れも ると 確で 率 （ 尤 度 ） 正＝80% 誤＝20% 【実際に犯人が青なのは】 0.5 × 0.2 = 0.1 0.4 0.5 × 0.8 = 0.4 本当に犯人が青である確率が かなり上昇する 0.5 × 0.8 = 0.4 0.5 × 0.2 = 0.1 02 確率の基本とベイズの定理 0.1 ＋ 0.4 31

信念に影響をあたえるもの②｜尤度 緑＝85% 街のタクシーの数は同じ 青＝15% もともと持っている信念（事前情報） 【データの尤度が変化すると】 そ各 の事 証象 言（ が事 得実 ら） の れも ると 確で 率 （ 尤 度 ） • 証言がほぼ完璧 ※実際にデータを取ったら、正答率が 正＝99% 02 確率の基本とベイズの定理 誤＝1% 32

変化した尤度のもとで再計算 緑＝85% 青＝15% 街のタクシーの数 証言が正しい確率 もともと持っている信念（事前情報） 誤＝1% 正＝99% 【実際に犯人が青なのは】 そ各 の事 証象 言（ が事 得実 ら） の れも ると 確で 率 （ 尤 度 ） データが十分であれば 事前確率はほぼ無視できることも 0.85 × 0.01 = 0.0085 0.85 × 0.99 = 0.8415 0.15 × 0.99 ∥ 0.1485 0.1485 0.0085 ＋ 0.1485 0.15 × 0.01 = 0.0015 02 確率の基本とベイズの定理 33

（よくある）練習問題 【病気の問題】 日本人のうち，0.01%の人がかかるある病気があります。 この病気にかかっているかを診断する検査があるのですが， • 病気にかかっていない人が陽性になる確率が5% • 病気にかかっている人が陽性になる確率が99% であることがわかっています。 いま，あなたは病気の検査を受けたところ「陽性」と判断されてしまいました。 あなたが本当に病気にかかっている確率はどの程度でしょうか。 ベイズの定理に当てはめて確率を計算してください。 ※次ページ以降にヒントと答えが載っています。自力で解答したい人は慎重に！！ 02 確率の基本とベイズの定理 34

ヒント１ ▌ベイズの定理に当てはめると，最終的に求めたいのは𝑃 𝑎 𝑏 ▌「陽性である」という情報で条件付けられたときの「病気である」確率を求めたい ▌ということは 𝑎 ▶ 「病気である」 𝑏 ▶ 「陽性である」 02 確率の基本とベイズの定理 35

ヒント２ ▌ベイズの定理に従えば 𝑃 陽性 病気 𝑃 病気 𝑃 病気 陽性 = 𝑃(陽性) 02 確率の基本とベイズの定理 36

ヒント３（と答え） ▌検査で陽性になる事象は 本当に病気であり，検査でも陽性になる 本当は健康なのに，検査で陽性になってしまう の２種類 ▌分母を展開すると 𝑃 陽性 病気 𝑃 病気 𝑃 病気 陽性 = 𝑃(陽性) 𝑃 陽性 病気 𝑃 病気 = 𝑃 陽性 病気 𝑃 病気 + 𝑃 陽性 健康 𝑃 健康 02 確率の基本とベイズの定理 A およそ0.198% 37

改めて感覚を 𝑃 陽性 病気 𝑃 病気 𝑃 病気 陽性 = 𝑃 陽性 病気 𝑃 病気 + 𝑃 陽性 健康 𝑃 健康 ▌右辺の分母では「陽性」が観測される可能な全パターンを足している ※「陽性で病気」「陽性で健康」の確率を両方計算して 「（そもそも）健康／病気である確率」で重み付けした和をとっている 「陽性」のうち「実際に病気」の割合を求めている 多くのスクリーニング検査では，多少の偽陽性は甘んじて受け入れてでも本当に病気の人を取り こぼさないようにしていることが多いと思います。なのでもしこういった検査で陽性になった場合は 「でもベイズの定理的には実際に病気の確率はかなり低いしなぁ」と安心して放置せず，りあえず 一旦検査を受けることをおすすめします。 02 確率の基本とベイズの定理 38

３ 確率分布で考え直す 02 確率の基本とベイズの定理 39

確率分布とは どんな値がどんな確率で発生するかをまとめたもの ▌（例）当たり確率が20%のクジを5回引いたときの当たり回数 値 0 1 2 3 4 5 確率 0.328 0.410 0.205 0.051 0.006 0.000 二項分布 𝑃 𝑋 = 𝑥|𝑝, 𝑛 = 𝑛C𝑥 𝑝 𝑥 1 − 𝑝 𝑛−𝑥 ただし𝑝 は当たり確率，𝑛 は試行回数 ▌パラメータによって分布の中身は変わる 当たり確率20% 当たり確率50% 上の表を グラフにしたもの 2 2 2 2 02 確率の基本とベイズの定理 40

タクシーの例を確率分布で考えてみると ▌「街のタクシーの数」は言うまでもなく確率分布 𝑃 犯人 2 ここでは「真犯人」 緑 ▌「証言」はパラメータによって確率が変わる確率分布 ーの 青 𝑃 証言 犯人 真犯人が緑 真犯人が青 ▼ ▼ 80%で緑（正解） 20%で緑（間違い） 20%で青（間違い） 80%で青（正解） 2 緑 証言 青 2 緑 02 確率の基本とベイズの定理 証言 青 41

ということでベイズの定理を改めてみてみると ▌先程の例では「特定の事象の事後確率」を計算していたが 𝑃 犯人 = 青 証言 = 青 = 𝑃 証言 = 青 犯人 = 青 𝑃 犯人 = 青 𝑃 証言 = 青 𝑃 証言 犯人 𝑃 犯人 𝑃 犯人 証言 = 𝑃 証言 この（事後）確率分布は データ（ここでは「証言」）が与えられれば 一つに決まる 人 証言 青 ▌確率分布のまま表すことで「すべての事象の事後確率分布」を得ることができる 2 緑 02 確率の基本とベイズの定理 人 青 42

ベイズの定理と確率分布 ポイントは すべて「確率分布」どうしの計算をしている，ということ ここからはデータを𝑌 ，パラメータを𝜃 とします。 【ここからは】 ベイズの定理 𝑃 𝑌𝜃 𝑃 𝜃 𝑃 𝜃𝑌 = 𝑃 𝑌 𝑃 は 確率分布を表している そういう意味では 𝑓( )と表記しても良いかも 【事後分布】 最終的に求めたいやつ。 あるデータが所与のときに，求めたいパラメータの確率を表す。 02 確率の基本とベイズの定理 43

ベイズの定理と確率分布 ここからはデータを𝑌 ，パラメータを𝜃 とする ベイズの定理 𝑃 𝑌𝜃 𝑃 𝜃 𝑃 𝜃𝑌 = 𝑃 𝑌 【事前分布】 データが与えられる前から持っている，パラメータ自体の確率分布。 なおベイズ統計では主観確率分布を置くことが可能。つまり • 去年の国勢調査から得られた分布，みたいなデータに基づくものでも • 「俺はこう思う」というなんの根拠のないものも（理論上）許してくれる。 02 確率の基本とベイズの定理 44

ベイズの定理と確率分布 ここからはデータを𝑌 ，パラメータを𝜃 とする ベイズの定理 𝑃 𝑌𝜃 𝑃 𝜃 𝑃 𝜃𝑌 = 𝑃 𝑌 【尤度】 尤度の計算のお話（おさらい）は次回やります 𝑃 𝑌 𝜃 = 𝐿(𝜃|𝑌)なので，尤度として見ると 「そのような𝑌が得られたということは，𝜃はこんな値になるだろう」の分布。 頻度論で用いられる最尤法では，この部分だけを用いて推定を行う。 02 確率の基本とベイズの定理 45

ベイズの定理と確率分布 ここからはデータを𝑌 ，パラメータを𝜃 とする ベイズの定理 𝑃 𝑌𝜃 𝑃 𝜃 𝑃 𝜃𝑌 = 𝑃 𝑌 【周辺尤度・エビデンス】 こうやって見ると「データが得られる確率」ということになる。 ちょっとこれだけだとよくわからないので… 02 確率の基本とベイズの定理 46

ベイズの定理と確率分布 ここからはデータを𝑌 ，パラメータを𝜃 とする ベイズの定理 𝑃 𝑌𝜃 𝑃 𝜃 𝑃 𝜃𝑌 = σ𝜃 𝑃 𝑌 𝜃 𝑃 𝜃 【周辺尤度・エビデンス】 ※モデル評価の話が出てきた頃にまた出てきますが 今はこれくらいで勘弁してください。 なにしろ当面はこいつは無視で良いので… すべてのありえる𝜃について足し合わせた「データが得られる確率」。 想定していた𝑃 𝑌 𝜃 および𝑃 𝜃 がデータに対して「良い」分布であるほど 「そのデータが得られる確率」としての周辺尤度が高くなる。 02 確率の基本とベイズの定理 47

４ 連続変数で考え直す 基本は同じであることをざっと確認 02 確率の基本とベイズの定理 48

連続変数における確率 ▌点で考えると0になってしまう 区間で考えましたね 𝑃 160cm = 0 𝑃 159𝑐𝑚 ≤ 𝑥 ≤ 161cm = 0.04 ←これは正規分布 𝑃 𝑥|𝜇, 𝜎 2 = 2 1 2 𝑥−𝜇 exp − 2 2 2𝜎 2𝜋𝜎 02 確率の基本とベイズの定理 2 49

連続変数における確率 基本的には，どんな確率分布も 確率の超基本「すべての事象の確率の総和は１」 を満たすように高さが決まる 2 全部足す（積分する）と１になる 2 連続変数における確率も，違うのはだいたいこれくらいです。 ベースとなる公理は同じものを使うので，導出される定理や性質も当然すべてそのまま適用可能です。 ※連続変数における確率分布は何種類もありますが，それについては次回以降… 02 確率の基本とベイズの定理 50

連続変数の場合の周辺尤度 ここからはデータを𝑌 ，パラメータを𝜃 とする ベイズの定理 𝑃 𝑌𝜃 𝑃 𝜃 𝑃 𝜃𝑌 = ‫𝜃𝑑 𝜃 𝑃 𝜃 𝑌 𝑃 𝜃׬‬ 【周辺尤度・エビデンス】 𝜃 が連続変数の場合には 和が積分に変わるだけ ※いずれにせよ当面はこいつは無視で良いのです… すべてのありえる𝜃について足し合わせた「データが得られる確率」。 想定していた𝑃 𝑌 𝜃 および𝑃 𝜃 がデータに対して「良い」分布であるほど 「そのデータが得られる確率」としての周辺尤度が高くなる。 02 確率の基本とベイズの定理 51

５ 正規化定数とカーネル なぜ多くの場合で周辺尤度は無視して良いのか？ 02 確率の基本とベイズの定理 52

正規分布って 正規分布 1 𝑥−𝜇 𝑃 𝑥|𝜇, 𝜎 = exp − 2𝜎 2 2𝜋𝜎 2 2 2 2 分布の形を決めているのは２つのパラメータ(𝜇, 𝜎) • 𝜇が変わると山が左右に動く • 𝜎が変わると山のなだらかさが変わる 実は 1 2𝜋𝜎 2 は分布の形に無関係（高さが変わるだけ） すべて足したときの合計を１にするために置いただけの存在です 02 確率の基本とベイズの定理 53

正規化定数 ▌確率の超基本＝全事象の確率を合計すると１になる 正規化定数を失った標準正規分布 標準正規分布 𝑥2 𝑃 𝑥|0,1 = exp − 2 2𝜋 𝑥2 𝑃 𝑥|0,1 = exp − 2 1 形は全く一緒 スケールが違う 2 右は積分が１にならない 2 2 2 2 02 確率の基本とベイズの定理 2 54

カーネル ▌分布の中で，実際に形を決める部分はカーネル(kernel，核)と呼ぶ 正規分布 1 𝑥−𝜇 𝑓 𝑥|𝜇, 𝜎 = exp − 2𝜎 2 2𝜋𝜎 2 2 𝑥−𝜇 𝑓 𝑥|𝜇, 𝜎 ∝ exp − 2𝜎 2 2 比例する 正規化定数 カーネル 最尤法などでも，実際にはカーネルさえあれば推定は可能なように， コンピュータでの数値計算の際には正規化定数は無視されることが多々ある。 しかしベイズ統計学では所々で正規化定数も特別な意味を持つことがある。 これもモデル評価の話が出てきた頃に 02 確率の基本とベイズの定理 55

何が正規化定数で何がカーネルか 正規化定数 = 𝑃 𝑥|𝜇, 𝜎 1 = カーネル × 𝑥−𝜇 exp − 2𝜎 2 × 2𝜋𝜎 2 2 2 2 2 2 2 2 2 𝑥の値によらず一定な部分 2 2 𝑥の値によってかわる部分 【ちょっと練習問題】 では二項分布に基づく尤度関数の正規化定数・カーネルは何でしょうか？ 𝐿 𝑝|𝑥 = 𝑛𝐶𝑥 𝑝 𝑥 1 − 𝑝 𝑛−𝑥 ただし𝑛は既知｜𝑝 = 成功確率, 𝑛 = 試行回数 02 確率の基本とベイズの定理 A 正規化定数： 𝑛𝐶𝑥 カーネル： 𝑝 𝑥 1 − 𝑝 𝑛−𝑥 56

実はベイズの定理も 尤度も事前分布もパラメータ𝜃の値によって変わる ＝ カーネル ベイズの定理 𝑃 𝑌𝜃 𝑃 𝜃 𝑃 𝜃𝑌 = 𝑃 𝑌 𝑃 𝜃𝑌 ∝𝑃 𝑌𝜃 𝑃 𝜃 実際に推定する際には カーネルのみを考えることが多い 周辺尤度はパラメータの値によって変わらない部分 ＝ 正規化定数 先ほど見たように，周辺尤度は展開すると あり得るすべての𝜃について総和をとるか積分しているため 02 確率の基本とベイズの定理 57

正規化定数が役立つとき ▌ベイズではいつ，周辺尤度を使うことがあるのか？ 一つは「複数の仮説を比較する」とき ▌周辺尤度＝「データが得られる確率」 ▌例｜ランダムに抽出したある人の身長を測ったら170cmでした 【仮説１】身長の分布の平均が160cm，分散が10cmだと考える 【仮説２】身長の分布の平均が170cm，分散が5cmだと考える 「身長170cm」というデータは，どちらの仮説から得られる確率が高いか？ データが所与のとき，どちらの仮説のほうがもっともらしいか？ …みたいなときに使えます。 02 確率の基本とベイズの定理 58

まとめと次回予告 【まとめ】 ▌確率のおさらいをしました ベイズ統計学では「信念」を表現するツールとして「確率」の関数を用いている ▌ベイズの定理からベイズ統計学の枠組みが見えてきました 事前確率の分布がデータによって更新されることで事後確率分布になる 【次回予告】 ベイズ統計学における「尤度」についてしっかりと理解しましょう stanによるベイズ推定の第一歩を踏み出しましょう 02 確率の基本とベイズの定理 59