有意差信者に告ぐ

「有意差」という言葉を何か万能の魔法の呪文のように唱えるアホがいますが
そんな呪文に惑わされないように解説しておきます。


　まず押さえて欲しいのは、推測統計や検定という手法の基本は何かと言うと、ランダムサンプリングされたデータを通して、『サンプリング元となる母集団の状態の推測をする』という事です。

　この基本を押さえず、『検定とは数式にデータ群を当てはめる行為』としか認識していない人が、平気でランダムサンプリングでないデータを検定にかけたり、何でもいいから有意差が出ればＯＫ、なんてしょうも無いことを言い出すのです。


　で、検定における「有意差」つまり”意味のある差”は、『偶然ではない差』すなわち『必然である差』と捉えても良いのですが、この『必然である差』とは、単に
『サンプルの差が母集団の値に差が有る事による必然的な差である』
という意味なんです。

　言葉を変えれば、
「同じ調査を（ランダムサンプリングではなく）全数調査でやった場合でも群間で差がでたでしょうね」
　という事を高い確率で支持しているだけです。


　では、ここで問題。
　ランダムサンプリングデータの有意差で示唆された母集団の差は、必然か偶然か？


　迷わず「必然！」と答えた人、　『統計的に有意差教』に足踏み入れちゃってますよ。

　答えは、「必然か偶然か不明」です。
　くどいようですが、検定における『有意差』とは、母集団による差か、母集団からのサンプリング過程で偶然生じる値のずれによる差かを示したものであり、『母集団の差』自体の偶然性・必然性を示唆しているわけではないのです。


　ここを、あたかも『有意差＝母集団の差の必然性』のように短絡的に捉えてしまうからこそ、「なんでもいいから有意差が出れば関係性が証明される」なんて変な主張を当然のように繰り返すのです。


　ちょっと考えて見ましょう。
　（実際の検定手法に当て嵌めた場合一致しないかもしれませんが、理念的な話として）
　例えば、2000人の人をくじ引き、つまりランダムに２群に分けます。
　両群の身長平均を出して比較した時、完全にイコールになるでしょうか？

　モチロン完全にイコールになる確率は０ではありませんが、大抵はイコールにならないと想像できるでしょう。
　では、この”偶然”による差が仮にたった1cmだったとします。
　もし、この２群をランダムサンプリングしたら、この”偶然の差”により、『有意差』が得られるでしょうか？

　もちろん、10人ずつぐらいではダメでしょう。
　しかし、バカバカしい話ですが、999人ずつランダムサンプリングしたらどうでしょう？
　これくらい取れば、おそらく『有意差』が得られてしまいます。
　
　検定はあくまで「サンプルから想定される母集団の比較」です。ですから、サンプルが増えて母集団の推定精度が高まれば高まるほど、サンプル間の差が小さくとも、『有意差』が得られやすいようになっています。
　100±10と97±10では、母集団に差があるとは言えませんが
　100±1と97±1となれば、母集団に差があると言えるのです。


・母集団間に本質的な差が無いからといって、ぴったり同じにはならない。
・偶然生じる母集団間の小さな差でも、サンプルを増やせば『有意差』として現れる
この２つの現実をちゃんと把握しているのなら
「なんでもいいから、有意差が出れば血液型と性格の関係が示せる」
なんて乱暴な事は到底言えないはずです。

　もし、母集団の差が血液型と性格の関係によるもの、と言いたいならば、もうワンステップが必要です。　
　．．．と言うと、『でも、心理学者は有意差で関係を論じているじゃないか』と口を尖らせている姿が目に浮かびますが、そんな人はきっと「科学的方法論」というものが全く見えていないのでしょう。

　このあたりの事は、また今度まとめますが、腑に落ちない人はそれまでちょっと考えてみてください。

　ヒント
　・「検定」の英語は「test」である。テストとは？
　・心理学では「発見の手続き」として検定を使用している？それとも．．．