検定に「自由な発想」は必要か？ [ABO FAN Blog]
え～、「有意差信者に告ぐ」の続きとして「検定の正しい使い方」について書こうと思います。
ABOFAN氏の検定の使い方が何故ダメなのか，その根本的な原因について“理解したい人”は読んでみてください。
え～、最近は，「アレな人のアレな文章の解説」とかいったかなりマニアックで不毛な話ばかりで，「これって他人が読む価値あるのかい？」と感じっぱなしでした。
ですので，今回は少しは皆さんの頭の片隅に入れておく価値のある話をしたいと思います。
なお，最初は『前提からおかしい人』にも分かるよう書こうと思ったのですが，書いているうちに非常にまわりくどくなったので，とりあえずは普通の人を想定して書く事にします。
ちなみに、これから話す検定の考え方についての元ネタは、ABOFAN氏のお嫌いな「心理学者が心理学徒に向けて書いた統計の本」ではなく、著名な物理学者ですので悪しからず。
【競馬】
皆さんは競馬はやりますか？（やった事がない人も想像してみてください）
競馬に参加するには「馬券」を買わなくてはいけません。
ただし，どんな馬券を買うかは個人の自由です。
でも，お金を出して馬券を買う以上，やっぱり当てたいので，皆色々予想するわけです。
（中には全く当てずっぽうに買う人もいるかもしれませんけど）
そして，馬券を買った後は，もう結果を天に任せるしかありません。
どの馬券が当たりになるかは，ただただ「レース結果」という事実から判断されるだけです。
どんなにその人の頭の中では「合理的」なものであっても、結果として「外れる予想」には価値がありません。
【科学の方法】
科学でやっている事も競馬の仕組みによく似ています。
まずは仮説を作り（予想して馬券を買って）、それが正しいか確かめる（レースの結果と照合する）、そんな感じ
競馬の目的が予想そのものではなく、あくまで予想を当てる事と同様で、科学の目的は「いかにも説得力のあるすばらしい仮説を立てる」事ではなく、「仮説が正しいか客観的な方法で評価する」事なのです。
※ここで言う「仮説」は，未検証の予測を示します。
その方法のひとつが実験です。
実験は，研究者が「予想が正しければ結果が大きく変化するよう」状況を調整して実施する事はできますが，その結果については「予想と一致するか否か」のみが評価基準です（そこに研究者の願望とか解釈とかを加えてしまっては客観的な結果とは言えなくなりますよね）。
【検定】
検定を使用するのは，まさにさっき述べた「予想と一致するか否か」を評価する時です。
（競馬における「写真判定」のようなもの，と考えるといいかもしれません）
検定は英語でtest。まさに，仮説をtestするためのもので，その目的は「予測と結果の適切な（客観的な）照合」です。仮説による予想が当たっているかいないか（母集団に差があるか無いか）を，サンプルデータの変動の中から客観的に示せる範囲で示すのが「検定」の役割と言えます。
結果の評価においては，検定に後付の解釈を付けるのは不要です。
結果が上手くいかなかったからといって，研究者が検定の使い方を勝手に変えたり，都合のいいように解釈する事は許容されません（ただし，考察において「もう一度やり直す事」を前提に，検定が上手くいかなかった理由を解釈する事はかまいません）。
だから，以下のような「検定」の用い方は問題外です。
・「この検定ではだめだったけど，こっちの検定では有意差が出るぞ」
→外れ馬券が，次のレースの結果と一致したから払い出ししようとするようなもの。
・「こうデータを組み合わせると有意差が出るぞ」
→レース結果が出てから，買っていた馬券を改ざんするようなもの。
・「ここに有意差がでたから，それに合わせて仮説変えちゃえ」
→レース結果が出てから，当たり馬券を買おうとするようなもの。
【科学の方法・再び】
もう一度科学の方法に戻ります。
科学的な結果を得るための流れを以下のようにまとめてみました。
１ とりあえず事象を観察する
２ 観察から法則性を予測する
３ 予測を「科学的に検証可能な仮説」に補正する
４ 仮説を客観的かつ確実に検証できる方法を考える
５ ４の方法により仮説が正しいか確かめる
この５ステップはさらに以下の３つに集約できます。
１・２ 科学的に検証するためのネタを作る作業（直感でＯＫ）
３・４ 科学的に検証する方法を考える作業（論理性が必要）
５ 科学的な検証（客観性が必要）
１・２の場面においては，「科学性」はさほど求められません。
それこそ「自由な発想」，「自由な分析」大いに結構です。
ただし，あまりにも現実と相反する予測は，検証するまでもなく間違っているので、ワザワザ改めて検証するのは無駄な手間になってしまいます。
そこで，少なくとも「検証する価値がある予測」にするために，先行研究を調べたり，既にあるデータを使って考えたりするわけです。
その際，データや変数が多くなると把握するのが困難になりますが，それを補助するために相関，因子分析，多変量解析，クラスター分析等を使うのもいいかもしれません。また，あくまで「発想」を得るための作業なので，使う材料はなんでもいいんです。ランダムサンプリングのデータである必要はないし，サンプル数の少ないデータでもいい。小さな差であっても，「工夫すれば差が大きくなる」と想定してもいいのです。
でも、これらの作業はあくまで研究者の主観に基いて行われるため、「科学的な検証」とは言えません（と私は考えています）。
また、ここで「検定」を使う事は無意味です（仮説が正しいか客観的に判断するのは，仮説がちゃんとできてからですし、主観的な操作がされたデータから「有意差」が出ても、なんの確証にもなりません）。
まぁ，「自由な分析」ですから，使う分にはかまいませんが、それで誰かに何かを主張できる根拠となるとは考えないでください。
で，発想がまとまったら，ようやく３→４→５と論理性・客観性が求められる「科学的な検証」のステップに進められるのです。そして、この「科学的な検証」の場で使用する「検定」は，あくまで客観的な判断基準の１つですから，『自由な発想で』と好き勝手に用いるなんていうのは，とんでもない見当違いなのですね。
【例：非常に悪い分析パターン】
１ 何か差がありそうなデータを見つけました
２ 試しに検定かけたら有意差が出ました
３ その有意差についてこう解釈しました
４ その解釈は有意差があるのだから正しいはずです。
（問題点）
・ １で，２をクリアするに有利なデータを恣意的に抽出しているのででダメ
・ ２の前に仮説があるのではないから，仮説検定として成り得ないからダメ
・ ３－４は，どうみても循環論法なのでやっぱりダメ
こういうのは、回答を見て問題を作った人が，その問題でテストを受けて満点取って「私は成績優秀だ」と言うようなものですね。
【最後に】
なお，私も科学哲学者ではないので，間違いが無いとは言いません。
間違いの指摘や補足説明の要求には応答したいと思います。
ただ．．．
・本論に噛みつかず，例示の解釈の方に噛みつく
・見当外れの例示をして「これから見れば違う」と言う
・見当外れの事例を出して「これを説明しろ」と要求する
・理解しようとしていないからこそ浮かぶ疑問を，正当な疑問のように提示する
・具体的な説明無しに「この人は科学を知らないのでしょう」と決めつける
・具体的な説明無しに「それは違うはずです」とぼやく
・一般化を否定する理由を述べず「それは個人の感想でしょう」と決めつける
・極端な拡大解釈や曲解をして「矛盾がある」と言う
・およそ常人には理解できない文章を「論理的な反論」と提示する
．．．といったような、“理解する気はさらさらないが否定したい人”が，「言論の自由」のみを頼り、良く考えもせず無闇に虚勢を張るパターンはもう飽きましたので、それはいいかげんやめてほしいなぁ。
でも，やるんだろうなぁ．．．きっと
ABOFAN氏の検定の使い方が何故ダメなのか，その根本的な原因について“理解したい人”は読んでみてください。
え～、最近は，「アレな人のアレな文章の解説」とかいったかなりマニアックで不毛な話ばかりで，「これって他人が読む価値あるのかい？」と感じっぱなしでした。
ですので，今回は少しは皆さんの頭の片隅に入れておく価値のある話をしたいと思います。
なお，最初は『前提からおかしい人』にも分かるよう書こうと思ったのですが，書いているうちに非常にまわりくどくなったので，とりあえずは普通の人を想定して書く事にします。
ちなみに、これから話す検定の考え方についての元ネタは、ABOFAN氏のお嫌いな「心理学者が心理学徒に向けて書いた統計の本」ではなく、著名な物理学者ですので悪しからず。
【競馬】
皆さんは競馬はやりますか？（やった事がない人も想像してみてください）
競馬に参加するには「馬券」を買わなくてはいけません。
ただし，どんな馬券を買うかは個人の自由です。
でも，お金を出して馬券を買う以上，やっぱり当てたいので，皆色々予想するわけです。
（中には全く当てずっぽうに買う人もいるかもしれませんけど）
そして，馬券を買った後は，もう結果を天に任せるしかありません。
どの馬券が当たりになるかは，ただただ「レース結果」という事実から判断されるだけです。
どんなにその人の頭の中では「合理的」なものであっても、結果として「外れる予想」には価値がありません。
【科学の方法】
科学でやっている事も競馬の仕組みによく似ています。
まずは仮説を作り（予想して馬券を買って）、それが正しいか確かめる（レースの結果と照合する）、そんな感じ
競馬の目的が予想そのものではなく、あくまで予想を当てる事と同様で、科学の目的は「いかにも説得力のあるすばらしい仮説を立てる」事ではなく、「仮説が正しいか客観的な方法で評価する」事なのです。
※ここで言う「仮説」は，未検証の予測を示します。
その方法のひとつが実験です。
実験は，研究者が「予想が正しければ結果が大きく変化するよう」状況を調整して実施する事はできますが，その結果については「予想と一致するか否か」のみが評価基準です（そこに研究者の願望とか解釈とかを加えてしまっては客観的な結果とは言えなくなりますよね）。
【検定】
検定を使用するのは，まさにさっき述べた「予想と一致するか否か」を評価する時です。
（競馬における「写真判定」のようなもの，と考えるといいかもしれません）
検定は英語でtest。まさに，仮説をtestするためのもので，その目的は「予測と結果の適切な（客観的な）照合」です。仮説による予想が当たっているかいないか（母集団に差があるか無いか）を，サンプルデータの変動の中から客観的に示せる範囲で示すのが「検定」の役割と言えます。
結果の評価においては，検定に後付の解釈を付けるのは不要です。
結果が上手くいかなかったからといって，研究者が検定の使い方を勝手に変えたり，都合のいいように解釈する事は許容されません（ただし，考察において「もう一度やり直す事」を前提に，検定が上手くいかなかった理由を解釈する事はかまいません）。
だから，以下のような「検定」の用い方は問題外です。
・「この検定ではだめだったけど，こっちの検定では有意差が出るぞ」
→外れ馬券が，次のレースの結果と一致したから払い出ししようとするようなもの。
・「こうデータを組み合わせると有意差が出るぞ」
→レース結果が出てから，買っていた馬券を改ざんするようなもの。
・「ここに有意差がでたから，それに合わせて仮説変えちゃえ」
→レース結果が出てから，当たり馬券を買おうとするようなもの。
【科学の方法・再び】
もう一度科学の方法に戻ります。
科学的な結果を得るための流れを以下のようにまとめてみました。
１ とりあえず事象を観察する
２ 観察から法則性を予測する
３ 予測を「科学的に検証可能な仮説」に補正する
４ 仮説を客観的かつ確実に検証できる方法を考える
５ ４の方法により仮説が正しいか確かめる
この５ステップはさらに以下の３つに集約できます。
１・２ 科学的に検証するためのネタを作る作業（直感でＯＫ）
３・４ 科学的に検証する方法を考える作業（論理性が必要）
５ 科学的な検証（客観性が必要）
１・２の場面においては，「科学性」はさほど求められません。
それこそ「自由な発想」，「自由な分析」大いに結構です。
ただし，あまりにも現実と相反する予測は，検証するまでもなく間違っているので、ワザワザ改めて検証するのは無駄な手間になってしまいます。
そこで，少なくとも「検証する価値がある予測」にするために，先行研究を調べたり，既にあるデータを使って考えたりするわけです。
その際，データや変数が多くなると把握するのが困難になりますが，それを補助するために相関，因子分析，多変量解析，クラスター分析等を使うのもいいかもしれません。また，あくまで「発想」を得るための作業なので，使う材料はなんでもいいんです。ランダムサンプリングのデータである必要はないし，サンプル数の少ないデータでもいい。小さな差であっても，「工夫すれば差が大きくなる」と想定してもいいのです。
でも、これらの作業はあくまで研究者の主観に基いて行われるため、「科学的な検証」とは言えません（と私は考えています）。
また、ここで「検定」を使う事は無意味です（仮説が正しいか客観的に判断するのは，仮説がちゃんとできてからですし、主観的な操作がされたデータから「有意差」が出ても、なんの確証にもなりません）。
まぁ，「自由な分析」ですから，使う分にはかまいませんが、それで誰かに何かを主張できる根拠となるとは考えないでください。
で，発想がまとまったら，ようやく３→４→５と論理性・客観性が求められる「科学的な検証」のステップに進められるのです。そして、この「科学的な検証」の場で使用する「検定」は，あくまで客観的な判断基準の１つですから，『自由な発想で』と好き勝手に用いるなんていうのは，とんでもない見当違いなのですね。
【例：非常に悪い分析パターン】
１ 何か差がありそうなデータを見つけました
２ 試しに検定かけたら有意差が出ました
３ その有意差についてこう解釈しました
４ その解釈は有意差があるのだから正しいはずです。
（問題点）
・ １で，２をクリアするに有利なデータを恣意的に抽出しているのででダメ
・ ２の前に仮説があるのではないから，仮説検定として成り得ないからダメ
・ ３－４は，どうみても循環論法なのでやっぱりダメ
こういうのは、回答を見て問題を作った人が，その問題でテストを受けて満点取って「私は成績優秀だ」と言うようなものですね。
【最後に】
なお，私も科学哲学者ではないので，間違いが無いとは言いません。
間違いの指摘や補足説明の要求には応答したいと思います。
ただ．．．
・本論に噛みつかず，例示の解釈の方に噛みつく
・見当外れの例示をして「これから見れば違う」と言う
・見当外れの事例を出して「これを説明しろ」と要求する
・理解しようとしていないからこそ浮かぶ疑問を，正当な疑問のように提示する
・具体的な説明無しに「この人は科学を知らないのでしょう」と決めつける
・具体的な説明無しに「それは違うはずです」とぼやく
・一般化を否定する理由を述べず「それは個人の感想でしょう」と決めつける
・極端な拡大解釈や曲解をして「矛盾がある」と言う
・およそ常人には理解できない文章を「論理的な反論」と提示する
．．．といったような、“理解する気はさらさらないが否定したい人”が，「言論の自由」のみを頼り、良く考えもせず無闇に虚勢を張るパターンはもう飽きましたので、それはいいかげんやめてほしいなぁ。
でも，やるんだろうなぁ．．．きっと
コメント 0