12.7K Views
February 18, 23
スライド概要
2022年度統計学IIの講義資料です。
好きな色は緑です。
統計学 II-3 ・推測統計の導入 ・標本抽出 ・点推定 ・標本分布 ・区間推定 ・仮説検定 https://logics-of-blue.com/
本資料について 本資料の成り立ち 馬場が担当する学部1年生向け統計学IIの講義資料抜粋 統計学を初めて学ぶ、文系の学生が受講する想定 本資料の取り扱い あくまでも、本来の講義資料の抜粋なので注意 (計算演習・講義内クイズ・前回講義の復習 口頭での説明内容等は省略) SNSなどでスライドのスクショを張り付けるのは、 避けてほしい (文脈がわからないと、誤った理解を促すため) 2
本資料について 本資料の使い方 想定①:講義の受講者が復習に利用する 想定②:未受講者が統計学入門資料として利用する ※想定②の場合は、下記参考文献も参照すること 参考文献 馬場真哉,2022,翔泳社 『Pythonで学ぶあたらしい統計学の教科書 第2版』 倉田博史・星野崇宏,2009,新世社 『入門統計解析』 鈴木武・山田作太郎,1996,内田老鶴圃 『数理統計学』 3
本資料の範囲 10.統計的仮説検定の導入 11.統計的仮説検定の解釈 12.母平均に関する検定1 13.母平均に関する検定2 14.独立性の検定 15.期末テスト
統計学 II 第10回:統計的仮説検定の導入
内容 1.二項検定の初歩 2.母平均に関する𝒕検定の初歩 3.統計的仮説検定を利用する注意点 6
二項検定の初歩 7
内容 1.二項検定の初歩 2.二項分布 3.二項検定 8
内容 1.二項検定の初歩 2.二項分布 3.二項検定 9
二項検定の初歩 統計的仮説検定とは(ざっくり) ⚫ データを使って判断のサポートをする手法 (あくまでサポートするだけなので注意) ⚫ 確率の考え方を使うのが特徴 ⚫ 単に「仮説検定」や「検定」と呼ぶこともある ⚫ 統計的仮説検定にはたくさんの手法がある データや目的に合わせて手法を使い分ける 二項検定 統計的仮説検定の一種。母比率の検定と呼ぶこともある 問題設定がイメージしやすいので、最初に紹介する 色んな検定があるが、まずは二項検定を 10
二項検定の初歩 ここからの進め方 ちゃんとした用語の定義などは、後ほど説明 まずはざっくり検定の流れを説明 11
二項検定の初歩 ちょっと怪しい推論 SSR排出率が2%のガチャがある 10連ガチャを回しても、当たりキャラが出ない ↓ このガチャは当たりキャラが一人も入ってない。不正だ! ガチャで当たりが出ないことはよくあるよ 今回の事例 ガチャを回しても当たりが1回も出なかった →当たり率は2%とより小さいのではないだろうか? →「当たり率が2%より小さい」と言えるかどうか調べる 参考:ワンランク上を目指す人のためのPython実践活用ガイド(2022).技術評論社 第7章7-5節(馬場執筆箇所)
二項検定の初歩 帰無仮説・対立仮説 帰無仮説:ガチャの当たり率は2%と等しい ○○は××と等しい 対立仮説:ガチャの当たり率は2%より小さい ○○は××と異なる(大きい/小さい) 帰無仮説との矛盾の度合いを測ることで 自分の主張したいことを支持する 13
二項検定の初歩 有意差 意味の有る差 正直、かなりあいまい 「意味の有る差」ってなんだ 「意味の無い差」ってなんだ 14
二項検定の初歩 1%以上ずれてたら 有意差ありってことにしようぜ~ 10連しか回さなかったら、当たり0%になる 1連しか回さなかったら、0%はよくある そのやり方だと、回す数を減らすと 有意差が出やすくなりそうだ くっ…… 15
二項検定の初歩 じゃあ200連以上回して当たり0なら 有意差ありってことにしとこうぜ! 200連回して当たり0より、 2000連回して当たり1の方がひどくない? 1億連回して、当たり1でも有意差無しだと ちょっと違和感があるな くっ…… 16
二項検定の初歩 意外と難しい有意差の考え方 統計的仮説検定では確率を計算して判断をサポートする →「仮に○○だと想定したら」という仮定をおいて 確率を計算する 確率を計算しよう 1. 「当たり率が本当に2%だとしたら」という仮定を置く (他にもいろいろな仮定があるが、後述) 2. 実際の結果、あるいはそれより極端な結果が 発生する確率を計算する 17
クイズ 表が出る確率が2%のコインを 100回投げて、 表が1回も出ない確率は? 確率を計算しよう SSRの当たり率が2%のガチャを100回実行したとき、 当たりが1回も出ない確率は? ① 1%未満 ② 1~5% ③ 6~10% ④ 11~15%
クイズ(回答) 表が出る確率が2%のコインを 100回投げて、 表が1回も出ない確率は? 確率を計算しよう SSRの当たり率が2%のガチャを100回実行したとき、 当たりが1回も出ない確率は? ① 1%未満 ② 1~5% ③ 6~10% ④ 11~15% 100回程度当たらなくても仕方ない よくあること
クイズ(回答) 計算方法 当たりが出る確率が2%ということは、 はずれが出る確率は98%! 98%で起こることが100回連続で起こる確率を計算 0.98 × 0.98 × 0.98 ×… 0.98 × 0.98 0.98を100回掛け合わせる 答えはおよそ0.133なので13%ほど 20
クイズ(回答) 計算方法 当たりが出る確率が2%ということは、 はずれが出る確率は98%! 98%で起こることが100回連続で起こる確率を計算 スマホの電卓機能を使って 0.98の100乗を計算すると一瞬 0.98 × 0.98 × 0.98 ×… 0.98 × 0.98 (期末テストではスマホ利用不可) 0.98を100回掛け合わせる 答えはおよそ0.133なので13%ほど 21
二項検定の初歩 確率の閾値について SSRの当たり率が2%のガチャを100回実行したとき、 当たりが1回も出ない確率はおよそ13% とりあえずこの確率が5%未満なら 有意差ありってことにしとこうぜ(テキトー) 5%という数値には根拠がないが、 経験的に5%という数値が多く使われる この閾値を有意水準と呼ぶ 22
二項検定の初歩 確率の閾値について SSRの当たり率が2%のガチャを200回実行したとき、 当たりが1回も出ない確率はおよそ1.8% かなり低い確率じゃん じゃあ有意差ありってことにしとこうか なんか雑だが、このように判断することは しばしば行われているようだ 便利な判断基準だが、乱用には注意 23
二項検定の初歩 確率の閾値について SSRの当たり率が2%のガチャを200回実行したとき、 当たりが1回も出ない確率はおよそ1.8% 98%で起こることが200回連続で起こる確率を計算 0.98 × 0.98 × 0.98 ×… 0.98 × 0.98 0.98を200回掛け合わせる 答えはおよそ0.018なので1.8 %ほど 24
二項検定の初歩 ひとまずの結論 SSRの当たり率が2%のガチャを100回実行したとき、 当たりが1回も出ない確率はおよそ13% SSRの当たり率が2%のガチャを200回実行したとき、 当たりが1回も出ない確率はおよそ1.8% SSRの当たり率が2%だと想定したとき、 実際の結果、あるいはそれより極端な結果が 発生する確率が5%未満なら、 当たり率が2%とは違う(有意差あり)ってことにしておこう (この5%を有意水準と呼ぶ) (この5%という数値に根拠はない。1%などでもOK) (有意水準を1%にしたら、200回ガチャでも有意差無し)
内容 1.二項検定の初歩 2.二項分布 3.二項検定 26
二項分布 確率の計算と二項分布 前期で登場した二項分布を使って確率を計算する 二項分布とは 確率分布の1種。正規分布のようにパラメータを持っている →パラメータを変えることで、様々な確率分布を作れる 二項分布の確率質量関数 Bin 𝑋 𝑛, 𝜃 = 𝑛C𝑥 ∙ 𝜃 𝑥 ∙ 1 − 𝜃 𝑛−𝑥 パラメータは𝑛と𝜃の2つ 27
二項分布 二項分布のパラメータ𝜃, 𝑛の意味 表が出る確率が𝜃であるコインを𝑛回投げた時、 𝑋回の表が出る確率 Bin 𝑋 𝑛, 𝜃 = 𝑛C𝑥 ∙ 𝜃 𝑥 ∙ 1 − 𝜃 𝑛−𝑥 成功確率:𝜃 試行回数:𝑛 28
二項分布 二項分布に従う確率変数の期待値と分散(参考) 成功確率:𝜃 試行回数:𝑛 Bin 𝑋 𝑛, 𝜃 = 𝑛C𝑥 ∙ 𝜃 𝑥 ∙ 1 − 𝜃 𝑛−𝑥 期待値 𝐸 𝑋 = 𝑛𝜃 分散 𝑉 𝑋 = 𝑛𝜃 1 − 𝜃 証明は少し難しいので省略 (興味のある学生は https://logics-of-blue.com/stats-calc-note/ )
二項分布 確率を計算しよう(復習) 1. 「当たり率が本当に2%だとしたら」という仮定を置く 2. 実際の結果、あるいはそれより極端な結果が 発生する確率を計算する 今までと全く同じ確率の計算を 二項分布を使ってもう一度行う 30
二項分布 今までの議論 SSR排出率が2%のガチャがある でも、当たりキャラが出ない! →「当たり率が2%より小さい」と言えるかどうか調べる 二項分布を使って議論 Bin 𝑋 𝑛, 𝜃 = 𝑛C𝑥 ∙ 𝜃 𝑥 ∙ 1 − 𝜃 𝑛−𝑥 パラメータ𝜃が「当たり率」である →「パラメータ𝜃が0.02より小さいと言えるか」を調べる 二項検定はパラメータ𝜃が ある特定の値と異なるかどうかを調べる
二項分布 二項分布で確率計算 SSRの当たり率が2%のガチャを100回実行したとき、 当たりが1回も出ない確率はおよそ13% 数値を 代入 Bin 𝑋 𝑛, 𝜃 = 𝑛C𝑥 ∙ 𝜃 𝑥 ∙ 1 − 𝜃 Bin 0 100,0.02 = 𝑛−𝑥 0 ∙ 1 − 0.02 C ∙ 0.02 100 0 100−0 = 13% 「パラメータ𝜃が0.02だ」と考えて確率を計算 → 𝜃 = 0.02を代入 ガチャを100回実行した → 𝑛 = 100を代入 1回も当たりが出なかった → 𝑋 = 0を代入 32
二項分布 二項分布で確率計算 SSRの当たり率が2%のガチャを200回実行したとき、 当たりが1回も出ない確率はおよそ1.8% 数値を 代入 Bin 𝑋 𝑛, 𝜃 = 𝑛C𝑥 ∙ 𝜃 𝑥 ∙ 1 − 𝜃 Bin 0 200,0.02 = 𝑛−𝑥 0 ∙ 1 − 0.02 C ∙ 0.02 200 0 200−0 = 1.8% 「パラメータ𝜃が0.02だ」と考えて確率を計算 → 𝜃 = 0.02を代入 ガチャを200回実行した → 𝑛 = 200を代入 1回も当たりが出なかった → 𝑋 = 0を代入 33
内容 1.二項検定の初歩 2.二項分布 3.二項検定 34
二項検定 二項分布から見た二項検定 母集団分布を二項分布だと考える 二項分布からの単純ランダムサンプリングで 「当たり回数」というデータが得られると考える 二項検定は母集団分布のパラメータ𝜃が ある特定の値と異なると言えるかどうかを調べるための 手法だと言える 35
二項検定 とあるガチャを100回実行したとき…… 100回中、1回当たったよ! 100回中、 3回も当たったよ! 100回中、 1回も当たらない…… 母集団:知りたいと思っている集団全体 →今回の例では、無数のガチャ結果
二項検定 とあるガチャを100回実行したとき…… 1回も当たらない…… 標本:手に入れた一部のデータ →今回は1回も当たらなかったとする
二項検定 とあるガチャを100回実行したとき…… 3回当たった! たまたま 「たくさん当たる」 こともある
二項検定 とあるガチャを100回実行したとき…… 3回当たった! 無数のガチャ結果から ランダムに1回の結果を取得
二項検定 単純ランダムサンプリング 1回も当たらない…… 試行回数𝑛 = 100、 成功確率𝜃 = 0.02の 二項分布が母集団分布 母集団についての仮定+ 標本抽出の仮定を組み合わせたモデル 40
二項検定 確率を計算しよう 1. 「当たり率が本当に2%だとしたら」という仮定を置く さらに、母集団分布が二項分布であり、 そこから単純ランダムサンプリングで標本が得られた という仮定を置く 2. 実際の結果、あるいはそれより極端な結果が 発生する確率を計算する この確率を𝑝値と呼ぶ SSRの当たり率が2%のガチャを100回実行したとき、 当たりが1回も出ない確率はおよそ13% 𝑝値が有意水準(5%)以上なので差があるとは言えない →ガチャ不正の根拠を得ることはできなかった 41
二項検定 確率を計算しよう 1. 「当たり率が本当に2%だとしたら」という仮定を置く さらに、母集団分布が二項分布であり、 そこから単純ランダムサンプリングで標本が得られた という仮定を置く 2. 実際の結果、あるいはそれより極端な結果が 発生する確率を計算する この確率を𝑝値と呼ぶ SSRの当たり率が2%のガチャを200回実行したとき、 当たりが1回も出ない確率はおよそ1.8% 𝑝値が有意水準(5%)未満なので有意差ありと判断 →このガチャは不正だという理由付けの1つになる 42
二項検定 確率計算のおまけ 例えば300回ガチャを実行して当たりが1つ出たとする →この場合は「当たりが1つ出る確率」と さらに極端である「当たりが1つも出ない確率」の 合計値を利用する →これが「実際の結果、あるいはそれより極端な結果 が発生する確率」の意味 実際の計算は難しいので省略 43
二項検定 終わりに 有意差の有無を判断するには、 中間テストまでずっとやってきた 「母集団」や「標本」などの議論が必要なんだな~と いうイメージは持ってほしい データを入力して、 即座に判断が「ポン」とできる便利な道具 ……というわけではないので注意 44
二項検定で登場した用語など 有意差 意味の有る差 メモ 便宜的にこう呼ぶ 帰無仮説・対立仮説 帰無仮説の例:母集団のパラメータは××と等しい 対立仮説の例:母集団のパラメータは××と異なる 帰無仮説が棄却されたら「有意差あり」と判断する 判断の流れ 帰無仮説を想定したうえで、モデルを用いて、 実際の結果や、より極端な結果が発生する確率を計算。 その確率が「有意水準」を下回る場合には、 帰無仮説を棄却して有意差ありと判断する。 有意水準は5%がしばしば使われるが1%などでも良い
母平均に関する𝒕検定の初歩 二項検定とはまた異なる仮説検定の紹介 詳細は2回後の講義で説明する 初回講義ではおおざっぱな判断の流れを 理解することを目指そう 46
内容 1.統計的仮説検定の流れ 2.検定統計量 3.𝒑値 47
内容 1.統計的仮説検定の流れ 2.検定統計量 3.𝒑値 48
母平均に関する𝒕検定の初歩 標本 ある湖で魚Aを100尾釣った 魚Aの体長の平均が約11cmだった 魚A 疑問 魚Aの母集団における平均体長は 10cmより大きいと言えるか?
母平均に関する𝒕検定の初歩 1.母集団についての仮定を置く(正規母集団+無作為標本) モデルを作る 気温やエサの量など無数の要因で体長が変化したことを 正規分布という「数理的表現」で置き換える 『正規母集団から、単純ランダムサンプリングによって、 標本が得られたというモデル』をこれから利用する データから何かを判断する際に、 仮定を置いていることを意識すること 仮定を置くことで判断が楽になる 50
母平均に関する𝒕検定の初歩 単純ランダムサンプリング 母集団分布は正規分布 母集団についての仮定+標本抽出の仮定 →この仮定を置いていることに注意 51
母平均に関する𝒕検定の初歩 1.母集団についての仮定を置く(正規母集団+無作為標本) 2.帰無仮説と対立仮説を設定する 帰無仮説:母集団の平均体長は10cmと等しい ○○は××と等しい 対立仮説:母集団の平均体長は10cmより大きい ○○は××と異なる(大きい/小さい) 帰無仮説との矛盾の度合いを測ることで 自分の主張したいことを支持する 52
母平均に関する𝒕検定の初歩 1.母集団についての仮定を置く(正規母集団+無作為標本) 2.帰無仮説と対立仮説を設定する 3.有意水準を決定する 𝑝値がどれくらい小さい時に、 帰無仮説を棄却するか決める 多くの場合は0.05が使われる 53
母平均に関する𝒕検定の初歩 1.母集団についての仮定を置く(正規母集団+無作為標本) 2.帰無仮説と対立仮説を設定する 3.有意水準を決定する 4.検定統計量を求める(後述) 5. 𝑝値を計算して、 𝑝値が有意水準を下回るか調べる 54
内容 1.統計的仮説検定の復習 2.検定統計量 3.𝒑値 55
検定統計量 今回は検定統計量として𝑡値を使う 信頼区間の計算でも登場した指標 𝑡値が大きければ、有意差があるとみなせる 𝒕値と有意差の関係性は? 56
検定統計量 平均体長が10cmよりも有意に大きいと言える条件は? 案1:平均値が10cmから離れていたら、有意差あり 青は有意差ありそう 赤は有意差なさそう 10 ↓ データのばらつきも 加味すべき 0 平均15 平均15 57
検定統計量 平均体長が10cmよりも有意に大きいと言える条件は? 案2:平均値が10cmから離れ、ばらつきも小さい 青は有意差ありそう 赤は有意差なさそう 10 ↓ サンプルサイズも 加味すべき 0 平均15 平均15 58
検定統計量 平均体長が10cmよりも有意に大きいと言える条件は? 条件1:平均値が10から離れている 条件2:ばらつき(不偏分散)が小さい 条件3:サンプルサイズが大きい 平均値 − 10 平均値の差 𝑡値= = 標準誤差 分散 ÷ サンプルサイズ 𝑡値が大なら有意差ありと主張できそう 59
内容 1.統計的仮説検定の復習 2.検定統計量 3.𝒑値 60
𝒑値 𝑡値が大ならば、有意差がありそう 「𝑡値が大きい」というのは、どのようにして判断する? 例えば、𝑡値が3だったとして、 その数値は大きい? 小さい? 「確率」に基づいて判断する 確率を計算するときに、𝑡分布を使う 61
𝒕値を「大きい」とみなすかどうかの判断 標本の𝒕値が3の時、この𝑡値が大きいとみなせるか判断したい Step1 標本を、正規母集団から得られた無作為標本と想定 母集団分布のパラメータとして、 帰無仮説(母平均=10)が正しいと仮定 →このモデルでは、標本の𝑡値は𝑡分布に従う 62
𝒕値を「大きい」とみなすかどうかの判断 標本の𝒕値が3の時、この𝑡値が大きいとみなせるか判断したい Step1 標本を、正規母集団から得られた無作為標本と想定 母集団分布のパラメータとして、 帰無仮説(母平均=10)が正しいと仮定 →このモデルでは、標本の𝑡値は𝑡分布に従う 𝒕値 𝑡値= 標本の平均値 − 10 標本から計算された不偏分散 ÷ サンプルサイズ 63
𝒕値を「大きい」とみなすかどうかの判断 標本の𝒕値が3の時、この𝑡値が大きいとみなせるか判断したい Step1 標本を、正規母集団から得られた無作為標本と想定 母集団分布のパラメータとして、 帰無仮説(母平均=10)が正しいと仮定 →このモデルでは、標本の𝑡値は𝑡分布に従う Step2 このとき、偶然で𝑡値が3を超える確率を計算する →これが𝑝値 Step3 𝑝値が有意水準(今回は0.05)よりも小さければ、 標本の𝑡値は十分大きいとみなせるので「有意差あり」と判断
母平均に関する𝒕検定の初歩 1.母集団についての仮定を置く(正規母集団+無作為標本) 2.帰無仮説と対立仮説を設定する 3.有意水準を決定する(今回は0.05) 4.検定統計量を求める(今回は𝑡値) 5. 𝑝値を計算して、 𝑝値が有意水準を下回るか調べる 65
統計的仮説検定を利用する注意点 66
統計的仮説検定を利用する注意点 「絶対正しい」結果がわかるわけでは無い 「絶対に母平均は10と異なる」といったことはわからない 判断を間違える可能性もあるんだけど、 「判断を間違える確率をコントロールしたい」 という意図で用いる手法 利用には細心の注意が必要 67
統計的仮説検定を利用する注意点 メモ 2つの過ち 帰無仮説か対立仮説、どちらかが正しいはず 第一種の過誤 帰無仮説が正しいのに、誤って棄却してしまう 第二種の過誤 帰無仮説が間違っているのに、誤って採択してしまう 統計的仮説検定では、第一種の過誤を 犯す確率をコントロールすることを目指す 68