第4回 正規分布・統計的推定と検定
1.正規分布
前回の授業では二項分布とポアソン分布という2つの離散分布と矩形分布と正規分布という2つの連続分布について学びました。正規分布については今回の授業でさらに詳しく学びます。正規分布は自然界で起こる現象の多くがその分布に当てはまること、特に平均値に関する分布が当てはまることから、統計学では最も重要な分布となっています。
それではまず、正規分布の特徴を以下に列記します。
平均μ、分散σ2の正規分布はN(μ,σ2)と表記され、以下のことがいえます。
- 平均μを中心にして、左右対称である。すなわち平均とメジアンは一致する。そして、平均より大きい値あるいは小さい値を取る確率はどちらも1/2である。
- 曲線は平均μの近傍で高く、両側に行くにしたがって単調に低くなる。
- 平均μは曲線の位置を決める。平均μのみ異なる2つの曲線は左右に移動させれば重ねることができる。(参考図)
- 標準偏差σは曲線の形を決める。σが大きければ曲線は扁平になる。(参考図)
- μ-σとμ+σの間の確率変数を取る確率は約0.68である。(参考図)
- μ-2σとμ+2σの間の確率変数を取る確率は約0.95である。(参考図)
- μ-3σとμ+3σの間の確率変数を取る確率は約0.997である。(参考図)
- 0.95(95%)の確率でμ-1.96σとμ+1.96σの間の確率変数をとる。(参考図)
正規分布の特徴を具体的に考えてみましょう。20〜24歳の男性の身長は人間生活工学研究センターの調査(1992-1994)によると、平均(μ)170.5cm、標準偏差(σ)5.9cmでした。このことから2σ以上平均より背の高い人、すなわち182.3cm以上の人は全体の2.2%になります。平均から標準偏差以内、すなわち164.6〜176.4cmに全体の68%が属します。全体の95%は158.9〜182.1cmに属します。
2.標準正規分布
正規分布を示す関数は複雑なので、計算機のない時代には自分の調べたい正規分布を標準正規分布になおして、正規分布表をみて、自分の調べたい正規分布がどのようになっているかを求めました。平均μ、標準偏差σの正規分布N(μ,σ)の確率変数xを標準正規分布N(0.1)に直すには次のzを求めます。
z=(x−μ)/σ
zは標準正規分布に従うので、例えばz≧1となる確率は約16%、-1≦z≦1となる確率は68%です。正規分布表には通常、zの上側確率(z値より大きい値を取る割合)が載っています。例えばz=1.45のところを読むと、0.0735とありますから、z≧1.45となる確率は7.35%であるということがわかります。
それではある正規分布が得られたときに、ある確率変数より大きい値を取る確率を求めてみましょう。前の身長の例(平均170.5cm,標準偏差5.9cm)を例にしましょう。まず標準正規分布に直す式は
z=(x-170.5)/5.9となります。
例えば、180cm以上の人は全体の何%でしょうか。
z=(180-170.5)/5.9=1.610ですから、正規分布表で1.61を読むと0.0537です。
したがって、180cm以上の人は全体の5.37%います。
このようにすれば、正規分布に従う分布において、ある確率変数を取る確率を標準正規分布になおして求めることができます。しかし、現在ではパソコンで統計解析するので、わざわざ標準正規分布になおして求める必要はなくなりました。
3.二項分布とポアソン分布の正規分布での近似
計算機の発達していない時代では二項分布とポアソン分布の計算はかなり面倒でした。いまでもnの大きい二項分布は正規分布に近似した方がよい場合もあるかもしれません(あまりに大きい階乗を計算するとエラーになることもあるし、桁落ちして誤差が大きくなりやすいので)。しかし、たいていの用途ではパソコンで統計解析するときには、二項分布やポアソン分布のままで計算できるでしょう。
4.標本平均の分布
統計的推測のために母集団から抽出した標本数nの標本から求めた標本平均の分布は次の性質を持ちます。
- 標本平均の期待値は母平均μに等しい。
- 標本平均の分散は母分散の1/nに等しい。
- nが十分に大きいときは大きさnの標本の標本平均は正規分布に近似できる。
統計的解析においては、たいてい母集団の平均を推測するために、標本を集めるのがほとんどですからこのような標本平均の分布は特に重要です。母集団がたとえ正規分布にかなりはずれた分布をしていても平均について論ずるならば、ある程度の数の標本を集めれば、標本平均は正規分布に近似できます。
5.統計的推定と検定
推定:統計的に標本の統計量から母集団の母数を推測することを統計的推定といいます。
例: 視聴率調査を200人に対して行い、番組Aの視聴率を推定した。
検定:統計的に標本の統計量から母集団の母数に関する予想の真偽を検証することを統計的検定といいます。したがって、イエスかノーかを判定することになります。
例: 視聴率調査を200人に対して行い、番組Aの視聴率が20%以上あるのかを検定した。
例: A社とB社の車の排気ガスに含まれる窒素酸化物はA社の方が多いのかを検定した。
6.統計的推定
1.点推定 1つの値で母数を推定します。
例: 朝酌川で無作為に数地点を選び、鯉を釣った。鯉の体重の標本平均は5.0kgなので、朝酌川の鯉の平均体重を5.0kgと推定した。
2.区間推定 母数をある幅を持つ信頼区間とともに推定します。
例:朝酌川で無作為に数地点選び、鯉を釣った。サンプル数100匹の鯉の体重の標本平均5.0kg、標準偏差2.0kgなので、朝酌川の鯉の平均体重は95%の信頼区間をつけて、5±0.39kgと推定した。このとき、母集団(朝酌川のすべての鯉)の母平均は95%の確率で5±0.39の範囲にはいる。
信頼率は統計量を使用する目的に応じて決定します。95%信頼区間の場合、100回のうち5回、区間推定の値に母集団の平均が含まれない(すなわち推定を誤る)ということが起こります。信頼率を高める、例えば100%にしたらよいのではと考える人もいるかもしれませんが、そのときには信頼区間はきわめて大きくなり、役に立たなくなります。例えば、視聴率の100%信頼区間は0〜100%だというようなもので、疑いはできませんが、この数値では何の役にも立ちません。信頼率は必要に応じて設定します。
7.統計的検定
例: あるさいころを5回振ったところ、5回とも奇数だった。二項分布から5回とも奇数になる確率は1/32(0.03125)である。このような低い確率が出ることからこのさいころは奇数と偶数が同じ確率で出ると考えるよりも、奇数が出やすいと結論した。
上の例では、母数について奇数と偶数が同じ確率で出るという予想をたて、それを否定しているので、これは統計的検定です。検定の手順は次のようになります。
1.帰無仮説の設定
統計的検定によって否定したい仮説を立てます。これを帰無仮説といいます。前述の例ではこのさいころは奇数と偶数の目が同じ確率で出るというのが帰無仮説になります。
2.対立仮説の設定
もし帰無仮説が棄却されたときに採用される対立仮説を設定します。前述の例では奇数と偶数の目が同じ確率では出ないというのが対立仮説です。もしくは奇数の目が偶数の目より出やすいという対立仮説を立てることもあります。
3.統計的検定に必要な統計量を集めます。そして、必要な値を計算し、所定の方法で帰無仮説が棄却できるかどうかを判定します(これについては次回の授業で詳しく学ぶ)。
対立仮説を証明したいのに、帰無仮説のようなものを持ち出すのはまどろっこしく感じるかもしれません。しかし、統計的にできるのは帰無仮説の否定だけです。その理由は以下の2つです。
★ 「甲は乙より速い」といっても、どのくらい速いのか、甲が乙に勝つ確率はいくらなのか、がはっきりしない。これを明確に規定できなければ、数量的に取り扱えない。
★ 仮に仮説を数量的に規定できても、それが真実であることを統計的には証明できない。統計的にできることは、仮説に対する「反証」を提示することだけである。
さいころの例でいえば、さいころで奇数と偶数が同じ確率で出るとしたら、今回の結果のように奇数が5回出ることはきわめてまれであると考えます。したがって、元の仮定である「このさいころでは奇数と偶数が同じ確率で出る」は疑わしいと結論するわけです。統計的検定ではこのように数値的に明確な仮説から得られる確率を実際に得たデータと比較して、どのくらいありそうかを判断します。だから、はじめから、この確率でこのさいころでは奇数が出るとしても、証明しようがないのです。
8.第1種の誤りと第2種の誤り(有意水準と検出力)
1.第1種の誤り
帰無仮説が正しいにもかかわらず、これを否定する過誤を第1種の誤りといいます。さいころの例では、本当はさいころは正しくできているのに、たまたま5回続けて奇数が出ることもあり、このときに第1種の誤りを犯すことになります。
第1種の誤りを犯す危険率を有意水準といい、αで表すことがあります。有意水準を小さくして、検定すれば、第1種の誤りを犯す危険は小さくなります。さいころの例でいえば、、10回続けて奇数が出なければ、帰無仮説を否定しないとすれば、有意水準0.001で検定したことになり、そういうことは1000回に1回しかないので、帰無仮説を否定できると結論できます。
2.第2種の誤り
しかし、5回続けて奇数の出るさいころが正しいさいころであるよりは、奇数の出やすいさいころと考える方がありそうです。このように帰無仮説が誤りであるにもかかわらず、これを否定しない過誤を第2種の誤りといいます。第1種の誤りを減らすために有意水準を小さくすれば、第2種の誤りの危険率、すなわち検出力βは低下します。帰無仮説をH0、対立仮説をH1とすると、2種類の誤りと検定結果には下の表のような関係があります。
|
本当に成り立っているのは |
| H0 |
H1 |
| 検定結果 |
H0 |
正しい
(その確率:1−α) |
第2種の誤り
(その確率:β) |
| H1 |
第1種の誤り
(その確率:α) |
正しい
その確率:1−β=検出力 |
宿題
1.第1回の宿題で調べたデータおよび第2回の宿題c.について95%信頼区間、99%信頼区間をつけて、母集団の平均を区間推定せよ。
2.第2回の宿題で調べたa.とb.について、正規分布で近似して、確率分布を求めよ。
3.今回は統計的検定のさわりだけを説明した。その説明を使って、前回の宿題3.a.とb.を検定せよ。a.の帰無仮説は2つのスーパーの卵の重さは同じである、b.の帰無仮説は2人の間に実力差はないとする。有意水準(第1種の誤りを犯す危険率)は5%とする。
階級数15のヒストグラムを見ると一番わかりやすいですが、どうやら正規分布に一番近いようです。
第1回の宿題の例をみてみましょう。
1.第1回の授業の宿題で調べたデータの母集団は何か?また、標本は何か?さらにこの母集団は有限母集団か、仮説的無限母集団か?
a.2つの別々のスーパーから10個入りの卵(M寸)を買い、両店の卵の重さは同じなのかを調べる。ここでは、卵の重さをはかり、平均と標準偏差を計算する。ここで得た平均と標準偏差から正規分布となる母集団のグラフをだいたいで書いてみる。そこから両店の卵の重さが同じかを考えて見よ。(同じようなデータであれば、卵でなくてもよい。複数の人間で班をつくって、調査してかまわない。)
3.次回の授業ではあるデータが正規分布あるいは二項分布に基づくと仮定して、統計的に推定あるいは検定を行う。例えば、平均m、標準偏差σの正規分布では平均から3σ以上離れた値の出現する確率は0.3%しかない。このことから逆にそのような値が得られたら、元の平均と標準偏差が怪しいと考えることもできる。このような考え方を統計的推定あるいは検定という。
b.全く実力の同じ者が勝負をすれば、勝つ確率は2分の1であるといえる。逆に実力が違えば、勝つ確率はその実力差に応じて変わると考えられる。このときn回勝負したときに、x回勝つ確率は二項分布に従うと見なせる。
2人で行う勝負(じゃんけん、将棋、相撲なんでもよい)を20回以上行え。もし実力が同じだとした場合、その結果の得られる確率を求めよ。その確率から、両者の実力に差があるのか、ないのかを考えて見よ。(2人1組の班で調査してもかまわない。相手がコンピューターでもよい)
b. a.で求めた確率分布のヒストグラムの上に、先週、調べたデータから作ったヒストグラムをトレーシングペーパーで書き写したものを重ねて、2つの違いを検討せよ。もし、大きく異なるときはなぜかを考えてみよ。
a. それぞれ二項分布、ポアソン分布に従っているとして、確率分布を求めよ。なおポアソン分布の計算で用いる母平均μは調査したデータの平均を用いたらよい。
2.先週の宿題で調べたデータについてa.は二項分布、b.はポアソン分布で予想される分布とどの程度離れているかを以下の手順で検討せよ。