有意水準はなぜ慣例的に5%なのか？

検定の考え方でも記載しましたが、有意水準は5%が慣例的に使われています。これに関する納得できる説明は聞いたことがあるでしょうか？

主観的か客観的か？

主観的とは、「個々人の見方・感じ方」と考えてよいです。一方、客観的はその逆で、「特定の立場にとらわれない見方」です。さて、ここで下表を見てください。

5%は10%よりも起こりにくい	客観的
5%は起こりにくい	主観的

「5%は10%より起こりにくい」というのは、数値的に5<10ですから、誰が評価しても明らかです。一方、「5%は起こりにくい」というのは、どのような状況における5%なのかや、個々人の感じ方で変わります。すなわち、確率同士を比較して「どちらが起こりやすい/起こりにくい」というのは客観的ですが、確率そのものが「起こりやすい/起こりにくい」は主観的なのです。

有意水準5%が最初に提唱されたのは？

実は有意水準の5%に合理的な理由がある訳ではなく、R.A.Fisherという人が最初にそれを提唱したからです。その理由は、「5%に該当する標準正規分布の棄却限界値が約2で便利だから」というものです（正規分布は別記事で説明します）¹。

5%の解釈

しかし慣例的に使われている5%にもある程度納得したいので、ここではコイン投げの賭けを例に5%を解釈します。なお、5%は20回に1回の頻度なので、感覚的には「結構起こるんじゃない？」と感じるかと思いますが、下記の例では印象が異なると思います。

あなたは賭けをしていて、参加料は1投げ1万円、コインの表が出たら2万円をもらえるとします。コイン投げは6回行われますが、何回連続で裏を出されると「コインを投げている人がイカサマをしている」と感じますか？なお、「イカサマをしていない」場合、コインの表裏の出やすさは等しいと考えられますので、表と裏の出る確率はそれぞれ1/2=50%です。

1回目が裏	1/2=50%
1, 2回目が裏	1/2×1/2=25%
1, 2, 3回目が裏	1/2×1/2×1/2=12.5%
1, 2, 3, 4回目が裏	1/2×1/2×1/2×1/2=6.25%
1, 2, 3, 4, 5回目が裏	1/2×1/2×1/2×1/2×1/2=3.125%
1, 2, 3, 4, 5, 6回目が裏	1/2×1/2×1/2×1/2×1/2×1/2=1.5625%

いかがでしょうか？多くの人が、5回連続で裏が出ると、「さすがにイカサマをしているのでは？」と疑いませんか？なお、5%は4回連続で裏が出る確率（6.25%）と5回連続で裏が出る確率（3.125%）の間の確率です。

このように、そもそも「確率自体の解釈は主観的」ですから、多くの人が「起こりにくい」と感じる値を慣例的に使うことは理にかなっていると考えられないでしょうか？全く根拠なく5%を用いるよりも、このようなイメージを持っておけば納得して5%を使えます。

なお、p値の計算の別記事で述べますが、正確には「両側有意水準を用いる場合は5%、片側有意水準を用いる場合は2.5%」が慣例です。また、p値の正確な定義は「得られた結果かそれ以上に極端な結果が帰無仮説の下で起こる確率」ですので、実際には6回中5回連続で裏が出ても、両側有意水準5%の二項検定で帰無仮説（コインを投げている人はイカサマをしていない）は否定されません。ここでは、あくまで「5%は多くの人が疑いを持つ位の確率」ということを感じてもらうことを意図しています。

ひとまず、「5%というのは多くの人が疑いを持つ位の確率」と考えていただければと思います。