ABOFAN式検定解釈の間違い [kikulog「血液型と性格」関係]
次のステップに進む前に、前回の話をもう少し分かりやすく（？）まとめてみます。
おそらくは、ABOFAN氏が「有意差」というものに過剰に抱く幻想の核心がここにあるような気がするからです。
また、皆さんもこれを十分押さえておかないと、ABOFAN氏の幻想につられて、検定に対して誤った捉え方をしてしまう危険があります。
【前回の要約と念押し】
検定における「有意差」とは
『母集団の差が、（偶然ではなく）必然である』事を示すのではなく
サンプル間の差が、（偶然ではなく）母集団の差に基づく事を示すのです。
そして危険率が5%とか、1%とか、0.5%とか、0.1%とか言うのは
『母集団に差が有るのが（偶然ではなく）必然であると言える確率』ではなく
そのサンプルから母集団に差があると推測する場合の”確からしさ”を示すのです
「有意差」とか「危険率」というのは
『母集団の差の価値』まで判断できてしまう魔法の計算方法ではなく
母集団全てを把握するのがほぼ不可能という状態での不完全な調査において
その不完全さを補償し、なるべく誤った判断をしないがための枷なのです。
おそらく、ABOFAN氏は、これらの間違った方の解釈をしているものと予測されます。
【彼の勘違い】
「有意差」とは、母集団を評価する十分条件ではなく
母集団を評価するための必要条件でしかないのです。
ですから
『血液型と性格の関係を調査し、有意差が認められない』という事例に関する批判は
「有意差”すら”認められないのならば、関係性の有無を論ずる意味が無い」
と言う意味であり、逆に言えば
「関係性の有無を論ずるなら、有意差”ぐらい”無くては始まらない」
と考えるべきなんです。
しかし、理解不足のだれかさんは
『だったら有意差さえ認められれば、血液型と性格の関係が証明できるんだな』
と短絡的に解釈してしまう上に、
そんなものを「共通のルール」として他人にも承諾させようとやっきになるから始末に終えません。
（しかも、「心理学者がそう言った」と、自分の理解不足を棚に上げて）
「自動車免許を修得できるのは18歳以上です。16歳のあなたは試験を受けられません」
と言われているのに
「じゃぁ、18歳になれば無条件で免許くれるんだな」
と主張しているのと同じです。
【ラプラスの魔物のつもりで思考実験】
ここまでねじくれたバカはほっておいて、私達はもう少し思考を深めてみましょう。
もし仮にあなたが
「母集団の代表値を一瞬で知る事ができる超能力」
があるとしましょう。
あなたにはＡ型母集団とＢ型母集団についての、気質αについての平均が
どんどん頭に流れ込んできます。
誰かが生まれ、誰かが死ぬたび各母集団の平均値は変わります。
A:60/B:50→A:55/B:51→A49:B55→A:40/B:62
各群の人が死ぬ時、生まれる時に伴い、各群の値は変動します
そして、Ａ型母集団とＢ型母集団には、大抵差が出現します（一致するのはごくまれです）。
ですから、その時点時点で、超能力の無い普通の人間が、
母集団を知ろうとして適切なサンプリングと検定をすればおそらく「有意差」が出ます。
しかし、それをもってして「血液型は気質αに影響する」と判断して大丈夫でしょうか。
母集団の実体や変遷を知覚しているあなたは
「気質αは血液型に関係無く変動している」と判断するでしょう
では A:60/B:57→A:61/B:56→A59:B57→A:59/B:58 だとどうでしょう。
差は小さいですが、常にA>Bで変動も小さいです。
これならば「血液型は気質αに影響する」と判断するでしょう。
【まとめ？】
「血液型は気質αに影響する」と判断するためには
「サンプル間で（とにかく）有意差が出て、母集団間に（とにかく）差がある」
事が分かっただけでは不十分で、さらに
「母集団間で一貫した方向性の差がある」
事が必要なのです。
となると、かの人は何を言い出すかおおよそ予測が付きます。
「有意差があり、かつ同じ方向性のデータが複数あればいいんだな」
でしょうね。
そのパターンはABOFANのHPで既に見ました。
でも、それは単に「経験則」の範を出ない安易な考え方なんです。
人間というものは、「都合の良いものしか見えなくなる」傾向があります。
「この薬を使って100人が治りました！」
と言われると、その薬は良く効く薬であるかのように「誤った把握」をしがちですが
実は「この薬を使った他の１万人は治らなかった」かもしれないのです。
じゃぁどうすべきか？
それはまた今度にしますが
・ 検定という手法で、未知の何かを発見する
・ 当てはまりの良い既存のデータを並び立てる
という思考傾向が間違いの元だと言っておきましょう。
というか、
「完全なランダムサンプリング」は、現在過去未来、全ての場所の全ての人を抽出対象しなくてはいけない
とかいった、ぶっ飛んだ解釈をしている時点でお話にならないのですがね．．．
おそらくは、ABOFAN氏が「有意差」というものに過剰に抱く幻想の核心がここにあるような気がするからです。
また、皆さんもこれを十分押さえておかないと、ABOFAN氏の幻想につられて、検定に対して誤った捉え方をしてしまう危険があります。
【前回の要約と念押し】
検定における「有意差」とは
『母集団の差が、（偶然ではなく）必然である』事を示すのではなく
サンプル間の差が、（偶然ではなく）母集団の差に基づく事を示すのです。
そして危険率が5%とか、1%とか、0.5%とか、0.1%とか言うのは
『母集団に差が有るのが（偶然ではなく）必然であると言える確率』ではなく
そのサンプルから母集団に差があると推測する場合の”確からしさ”を示すのです
「有意差」とか「危険率」というのは
『母集団の差の価値』まで判断できてしまう魔法の計算方法ではなく
母集団全てを把握するのがほぼ不可能という状態での不完全な調査において
その不完全さを補償し、なるべく誤った判断をしないがための枷なのです。
おそらく、ABOFAN氏は、これらの間違った方の解釈をしているものと予測されます。
【彼の勘違い】
「有意差」とは、母集団を評価する十分条件ではなく
母集団を評価するための必要条件でしかないのです。
ですから
『血液型と性格の関係を調査し、有意差が認められない』という事例に関する批判は
「有意差”すら”認められないのならば、関係性の有無を論ずる意味が無い」
と言う意味であり、逆に言えば
「関係性の有無を論ずるなら、有意差”ぐらい”無くては始まらない」
と考えるべきなんです。
しかし、理解不足のだれかさんは
『だったら有意差さえ認められれば、血液型と性格の関係が証明できるんだな』
と短絡的に解釈してしまう上に、
そんなものを「共通のルール」として他人にも承諾させようとやっきになるから始末に終えません。
（しかも、「心理学者がそう言った」と、自分の理解不足を棚に上げて）
「自動車免許を修得できるのは18歳以上です。16歳のあなたは試験を受けられません」
と言われているのに
「じゃぁ、18歳になれば無条件で免許くれるんだな」
と主張しているのと同じです。
【ラプラスの魔物のつもりで思考実験】
ここまでねじくれたバカはほっておいて、私達はもう少し思考を深めてみましょう。
もし仮にあなたが
「母集団の代表値を一瞬で知る事ができる超能力」
があるとしましょう。
あなたにはＡ型母集団とＢ型母集団についての、気質αについての平均が
どんどん頭に流れ込んできます。
誰かが生まれ、誰かが死ぬたび各母集団の平均値は変わります。
A:60/B:50→A:55/B:51→A49:B55→A:40/B:62
各群の人が死ぬ時、生まれる時に伴い、各群の値は変動します
そして、Ａ型母集団とＢ型母集団には、大抵差が出現します（一致するのはごくまれです）。
ですから、その時点時点で、超能力の無い普通の人間が、
母集団を知ろうとして適切なサンプリングと検定をすればおそらく「有意差」が出ます。
しかし、それをもってして「血液型は気質αに影響する」と判断して大丈夫でしょうか。
母集団の実体や変遷を知覚しているあなたは
「気質αは血液型に関係無く変動している」と判断するでしょう
では A:60/B:57→A:61/B:56→A59:B57→A:59/B:58 だとどうでしょう。
差は小さいですが、常にA>Bで変動も小さいです。
これならば「血液型は気質αに影響する」と判断するでしょう。
【まとめ？】
「血液型は気質αに影響する」と判断するためには
「サンプル間で（とにかく）有意差が出て、母集団間に（とにかく）差がある」
事が分かっただけでは不十分で、さらに
「母集団間で一貫した方向性の差がある」
事が必要なのです。
となると、かの人は何を言い出すかおおよそ予測が付きます。
「有意差があり、かつ同じ方向性のデータが複数あればいいんだな」
でしょうね。
そのパターンはABOFANのHPで既に見ました。
でも、それは単に「経験則」の範を出ない安易な考え方なんです。
人間というものは、「都合の良いものしか見えなくなる」傾向があります。
「この薬を使って100人が治りました！」
と言われると、その薬は良く効く薬であるかのように「誤った把握」をしがちですが
実は「この薬を使った他の１万人は治らなかった」かもしれないのです。
じゃぁどうすべきか？
それはまた今度にしますが
・ 検定という手法で、未知の何かを発見する
・ 当てはまりの良い既存のデータを並び立てる
という思考傾向が間違いの元だと言っておきましょう。
というか、
「完全なランダムサンプリング」は、現在過去未来、全ての場所の全ての人を抽出対象しなくてはいけない
とかいった、ぶっ飛んだ解釈をしている時点でお話にならないのですがね．．．
たくさん検定をすれば、母集団での効果は0でも、どこかで有意になっても何の不思議もないので（効果0でも5＆水準なら20回に1回は有意になるわけで）、どれだけ検定したのか、有意でなかったものも含めて全体像を提示してもらうことも必須ですね。
by Ice (2008-08-24 03:01)
それも一つの大事な考え方であり、「メタ分析」もそのためにあるのでしょう。
ただし、私が言おうとしているのはもっと根本的な事で、”そもそも要因の影響が全く無くても母集団間の差はまず0にならない”のですね。
であれば、単にデータをいじって計算上”有意差”が出たとしても、それは要因の影響という「意味」を保証する物ではないとなります。
このあたりはTAKESANさんも使おうとしているようですが、どうもABOFAN氏の理解があさっての方に言っているようですねぇ。
by Judgement (2008-08-25 23:19)