仮説検定の考え方

要点整理

数学Iの「データの分析」のまとめとして、仮説検定という考え方を学びます。ここでは「代表値(平均値・中央値・最頻値)」の内容はすでに知っている前提で話を進めますが、計算そのものは難しくありませんので、安心して読み進めてください。

仮説検定は何のための道具か

たとえば、友達が「このコイン、投げると表が出やすい気がする」と言ったとします。実際に20回投げてみたら、16回も表が出ました。このとき、次の2つの可能性が考えられます。

• 可能性A:このコインは本当は公正(表と裏が同じ確率で出る)なのに、たまたま表が多く出ただけ。
• 可能性B:このコインは公正ではなく、表が出やすいように偏っている。

16回も表が出たのは事実ですが、公正なコインでも「たまたま」16回表が出ることはあり得ます。では、どのくらい「たまたま」が起こりにくければ、「これは偶然とは考えにくい、コインが偏っているのだろう」と判断してよいのでしょうか。この判断を、勘や気分ではなく、確率を基準にして行う方法が仮説検定です。

仮説検定の4つのステップ

仮説検定は、次の4つのステップで進めます。1つずつ、意味を確認しながら見ていきましょう。

ステップ1:帰無仮説を立てる

まず、本当に主張したいこと(この例では「コインは表が出やすい」)とは逆の内容、つまり「差はない」「偶然によるものだ」という仮説を立てます。これを帰無仮説と呼びます。先ほどの例では、

帰無仮説:このコインは公正である(表が出る確率は $0.5$ である)

とします。なぜわざわざ逆のことを仮説にするのか、不思議に思うかもしれません。理由は、「偶然によるものだ」という仮説であれば、公正なコインを何度も投げるシミュレーションによって、その仮説のもとでの確率を具体的に計算できるからです。「コインは表が出やすい」という主張だけでは、どのくらい出やすいのか(表が出る確率が $0.6$ なのか $0.7$ なのか)が決まらず、確率の計算ができません。

ステップ2:有意水準を決める

次に、「これぐらい確率が低ければ、めったに起こらないことだと判断しよう」という基準を、実験を始める前にあらかじめ決めておきます。この基準となる確率を有意水準といい、ギリシャ文字 $\alpha$(アルファ)で表すことがあります。よく使われる有意水準は $5\%$($0.05$)や $1\%$($0.01$)です。

ステップ3:帰無仮説のもとで、実際に観測された結果(かそれ以上に極端な結果)が起こる確率を求める

帰無仮説(コインは公正である)が正しいとしたら、実際に観測されたこと、つまり「20回中16回以上表が出ること」がどれくらいの確率で起こるのかを求めます。ここで「ちょうど16回」ではなく「16回以上」を考えるのがポイントです。ちょうど16回だけの確率を考えると、実は17回や18回のような、もっと極端な(コインが偏っていることをより強く示す)結果を見落としてしまいます。「16回以上表が出るくらい偏った結果になる確率」をまとめて考えることで、観測結果がどれくらい珍しいことだったのかを正しく評価できます。

数学Iの段階では、この確率を手計算の公式で求めるのではなく、コンピュータによるシミュレーションの結果(相対度数)を使って求めます。たとえば、公正なコインを20回投げる実験を200回繰り返すシミュレーションを行うと、次のような結果が得られたとします。

表の出た回数 $x$	$x$ 回以上表が出た相対度数
$13$ 回以上	$0.132$
$14$ 回以上	$0.058$
$15$ 回以上	$0.021$
$16$ 回以上	$0.006$
$17$ 回以上	$0.001$

この表の「相対度数」とは、200回のシミュレーションのうち、その回数以上表が出た割合のことです。たとえば「$16$ 回以上」の相対度数が $0.006$ ということは、公正なコインを20回投げる実験を200回繰り返しても、16回以上表が出ることは平均して200回中1回程度しか起こらない、非常に珍しいことだとわかります。

ステップ4:確率と有意水準を比べて結論を出す

最後に、ステップ3で求めた確率(これを $p$ としましょう)と、ステップ2で決めた有意水準 $\alpha$ を比べます。

$p < \alpha \quad \text{のとき} \quad \text{帰無仮説を棄却する}$

$p \geq \alpha \quad \text{のとき} \quad \text{帰無仮説を棄却しない}$

$p < \alpha$(確率が有意水準より小さい)のときは、「帰無仮説が正しいとしたら、めったに起こらないはずのことが実際に起きてしまった」と考えます。そこで、「帰無仮説の方が疑わしい」と判断して帰無仮説を否定します。これを帰無仮説を棄却するといいます。帰無仮説が棄却されると、最初に主張したかったこと(コインは表が出やすい)の方が正しそうだ、という結論になります。

一方、$p \geq \alpha$(確率が有意水準以上)のときは、「その程度のことなら、偶然でも十分に起こりうる」と考え、帰無仮説を否定する根拠が不十分です。このときは帰無仮説を棄却しないといいます。

注意しておきたいこと

ここでとても大切な注意点があります。帰無仮説を「棄却しない」ことは、帰無仮説が「正しいと証明された」ことを意味しません。単に「今回のデータだけでは、偶然ではないと言い切るだけの十分な証拠が得られなかった」というだけです。仮説検定は、何かを100%正しいと証明する道具ではなく、「確率的に見てどちらの考え方が自然か」を判断するための考え方だということを覚えておきましょう。

例題

例題1(基本)

問題

あるコインを20回投げたところ、表が16回出ました。このコインは表が出やすい(公正でない)と言えるでしょうか。有意水準を $5\%$ として、仮説検定の考え方で判断しなさい。ただし、公正なコインを20回投げる実験を200回繰り返すシミュレーションを行うと、次の表のような結果が得られたとします。

表の出た回数 $x$	$x$ 回以上表が出た相対度数
$13$ 回以上	$0.132$
$14$ 回以上	$0.058$
$15$ 回以上	$0.021$
$16$ 回以上	$0.006$
$17$ 回以上	$0.001$

解答・解説を見る

ステップ1:帰無仮説を立てる

主張したいこと(コインは表が出やすい)とは逆に、次の帰無仮説を立てます。

帰無仮説:このコインは公正である(表が出る確率は $0.5$ である)

ステップ2:有意水準を確認する

問題文より、有意水準は $\alpha = 0.05$($5\%$)です。

ステップ3:確率を求める

帰無仮説(公正なコイン)のもとで、20回中16回以上表が出る確率を、与えられたシミュレーションの表から読み取ります。表より、

$p = 0.006$

です。

ステップ4:確率と有意水準を比較する

$p = 0.006$ と $\alpha = 0.05$ を比べます。

$0.006 < 0.05$

より、$p < \alpha$ が成り立ちます。

結論

$p < \alpha$ なので、帰無仮説を棄却します。「このコインは公正である」という仮説のもとでは、16回以上表が出ることは200回中1回程度しか起こらない、非常にめったに起こらないことです。それが実際に起きたということは、「たまたま偶然」と考えるよりも、「このコインは表が出やすいように偏っている」と考える方が自然です。したがって、有意水準 $5\%$ で、このコインは表が出やすい(公正でない)と判断できます。

例題2(標準)

問題

ある人が「目隠しをしても、2種類の飲み物の味の違いを飲み分けられる」と主張しています。実際に10回のテストを行ったところ、8回正解しました。この主張は正しいと言えるでしょうか。有意水準を $5\%$ として判断しなさい。ただし、まったくの当てずっぽう(五分五分の確率で正解する)で10回答える場合を200回シミュレーションしたところ、10回中8回以上正解したのは200回中11回で、相対度数は $0.055$ でした。

解答・解説を見る

ステップ1:帰無仮説を立てる

主張したいこと(味の違いを飲み分けられる)とは逆に、次の帰無仮説を立てます。

帰無仮説:この人は味の違いを飲み分けられておらず、当てずっぽうで答えている(正解する確率は $0.5$ である)

ステップ2:有意水準を確認する

問題文より、有意水準は $\alpha = 0.05$($5\%$)です。

ステップ3:確率を求める

帰無仮説(当てずっぽう)のもとで、10回中8回以上正解する確率は、問題文で与えられたシミュレーションの結果より、

$p = 0.055$

です。

ステップ4:確率と有意水準を比較する

$p = 0.055$ と $\alpha = 0.05$ を比べます。

$0.055 \geq 0.05$

より、$p \geq \alpha$ が成り立ちます。

結論

$p \geq \alpha$ なので、帰無仮説を棄却しません。「当てずっぽうで答えている」という帰無仮説のもとでも、10回中8回以上正解することは200回中11回、つまり $5.5\%$ ほどの確率で起こり得ます。これは有意水準の $5\%$ よりわずかに大きく、「めったに起こらないこと」とまでは言い切れません。したがって、有意水準 $5\%$ では、この人が本当に味の違いを飲み分けられるとまでは判断できません(偶然の可能性を否定しきれない、ということです)。

ここで注意したいのは、「飲み分けられない」と断定したわけではないという点です。あくまで「今回の10回のデータだけでは、偶然ではないと言い切るだけの十分な証拠がなかった」という結論にとどまります。

例題3(応用)

問題

ある人が「自分には透視力があり、裏返しにされた20枚のカードの絵柄を見なくても当てられる」と主張しています。実際に20枚のカードで試したところ、15枚を正解しました。この主張について、(1) 有意水準 $5\%$ の場合、(2) 有意水準 $1\%$ の場合、それぞれで仮説検定の考え方を用いて判断しなさい。ただし、まったくの当てずっぽう(五分五分の確率で正解する)で20枚答える場合を200回シミュレーションすると、次の表のような結果が得られたとします。

正解した枚数 $x$	$x$ 枚以上正解した相対度数
$13$ 枚以上	$0.132$
$14$ 枚以上	$0.058$
$15$ 枚以上	$0.021$
$16$ 枚以上	$0.006$
$17$ 枚以上	$0.001$

解答・解説を見る

帰無仮説を立てる

主張(透視力がある)とは逆に、次の帰無仮説を立てます。

帰無仮説:この人には透視力がなく、当てずっぽうで答えている(正解する確率は $0.5$ である)

確率を求める

帰無仮説のもとで、20枚中15枚以上正解する確率を、与えられた表から読み取ります。

$p = 0.021$

この $p=0.021$ の値は、有意水準を変えても変わりません。有意水準を変えるということは、「どのくらい確率が低ければ偶然でないと判断するか」という基準の厳しさを変えることだからです。

(1) 有意水準 $5\%$ の場合

$\alpha = 0.05$ と比較すると、

$0.021 < 0.05$

より $p < \alpha$ です。したがって帰無仮説を棄却します。「当てずっぽう」という帰無仮説のもとでは、15枚以上正解することは200回中4回程度しか起こらないめったにないことなので、偶然とは考えにくく、「透視力がある」という主張を支持する結果だと判断できます。

(2) 有意水準 $1\%$ の場合

$\alpha = 0.01$ と比較すると、

$0.021 \geq 0.01$

より $p \geq \alpha$ です。したがって、この厳しい基準では帰無仮説を棄却しません。$2.1\%$ という確率は、$1\%$ という厳しい基準からすれば「絶対に起こらないとまでは言えない」程度の確率だからです。

(1)と(2)から分かること

同じデータ(15枚正解)であっても、有意水準を $5\%$ にするか $1\%$ にするかによって、結論が変わってしまいました。有意水準を小さくするほど、「よほど珍しいことが起きない限り帰無仮説を疑わない」という、より慎重な(厳しい)判断基準になります。このように、仮説検定の結論は、あらかじめどの有意水準を選ぶかによって変わり得るものであり、その選び方自体もとても重要だということが分かります。だからこそ、有意水準はデータを見る前に、あらかじめ決めておく必要があるのです。

練習問題

問題

ある人が「2種類のミネラルウォーターの味の違いを飲み分けられる」と主張し、10回のテストを行ったところ、9回正解しました。有意水準を $5\%$ として、この主張は支持されるか判断しなさい。ただし、まったくの当てずっぽうで10回答える場合を200回シミュレーションしたところ、10回中9回以上正解したのは200回中2回程度で、相対度数は $0.011$ でした。

答え

帰無仮説「この人は当てずっぽうで答えている(正解する確率は $0.5$ である)」のもとで、10回中9回以上正解する確率は $p = 0.011$ です。有意水準 $\alpha = 0.05$ と比べると、

$0.011 < 0.05$

なので $p < \alpha$ となり、帰無仮説を棄却します。当てずっぽうでは200回中2回程度しか起こらないめったにないことが実際に起きたので、偶然とは考えにくく、この人が味の違いを飲み分けられるという主張は支持される、と判断できます。