SSブログ

正しい「タイプ1エラー」(暫定版) [ABOFAN問答集]

 なんかボヤボヤしているうちに、自ら決定打を放ってしまいました(決定打が出るまでチクチクいたぶる予定だったのに...)。
 とりあえず、ちょっと帰省してくるので2~3日はまず更新できません。
 ただ、ABOFANクンがあまりにも間違った知識を偉そうに撒き散らかすので、「正しい理解」をざっと書いておきます。
 急いで書いた分、文章が乱雑な部分もありますがご容赦を。
 年末年始、時間があればもうちょっとマシな形で書き直します。


【概況】

 FSMさんは『本来相関がない場合でも、5%水準であれば、100個のうち5個は有意差が出てしまう(出てしまってもおかしくない)』という事を言っていました。

 しかし、ABOFANクンは、何故かそれを否定します。
 正直、FSMさんも私もTAKESANさんも謎に包まれます(おそらく、あの掲示板をウオッチしていた人の中である程度統計を知っている方も)。

 最初は、「5%でも“絶対”5個とは限らない」といった、「相手の発言を極端に厳密化して文句を言うという、いつもの屁理屈的なイチャモンかと思われました。
 だって、さすがのABOFANクンと言えども、あれだけ統計・統計と言って、何か意見が対立するたびに「お前は統計を知らない」呼ばわりするのだから、まさかまさか検定の基礎とも言えるような「タイプ1エラー」について間違って理解しているとまでは、誰も(少なくとも私は)予想がつきませんでしょう。

 しかししかしの予想外。
 彼は「有意差」について根本的な部分で勘違いしており、その勘違いのまま、10年かそこら「有意差」を振り回して「血液型と性格は統計的には正しい」と言い続けてきた事が判明してしまいました。

 どのように間違って理解しているか、それが明らかな発言を抜粋してみましょう


【無知丸出しの発言集】

a.例えば、サンプル数が少なければ、ほとんど差は出ません。(#228)

b.「有意水準5%」というのは、タイプ1エラーが5%(以下)の確率で起こるということです。しかし、それだからと言って、どんな場合でも「100個質問項目があれば、5個ぐらいは本来相関がなくても相関が一見出ちゃう」のではありません。(#234)

c.FSMさんは、『100個「有意差のある」質問項目があれば、5個ぐらいは本来相関がなくても相関が一見出ちゃう』と言いたいのかもしれません。確かに、統計学的にはそういうことも言えるでしょう。しかし、巨大サンプルでは、疑似相関がもっと盛大に出ると考えられるので、これまた妥当とは思えません。(#234)

d.本来相関がない場合なら、何%水準でも、間違いは100%ということですよ。(#240)

e.5%水準なら、有意差があった場合でも、本来関係がない場合(つまり間違い)が5%ということになります。逆に95%は正しいことになります。(#240)

f.本来相関がない場合なら、有意水準が何%だろうが、タイプ1エラー(間違い)は100%ということですよ。(#252)

g.サンプルサイズが大きくなれば、100%に近い確率で「疑似相関」が検出されると思いますが? (#277)

h.有意水準5%で検定を行い、有意差が出たとした場合、本当は母集団に差がない確率(タイプ1エラー)が5%です(#335)

i.有意水準5%で検定を行い、有意差が出たとした場合、「母集団に差がなくても、標本には差が有意に出てしまう確率が5%」です(#335)

j.(本来相関がない場合なら)有意差が出たとした場合、その有意差が出た結果はすべて間違っていることになります。要するに、その結果は100%間違っていることになります。(#335)

k.有意差の有無を無視して、任意の100項目を選択した場合、「5個は有意差が出てもおかしくない」のではありませんよ。しつこいようですが、有意差の出ている任意の100項目を選択した場合、「5個は誤って有意差が出ていていてもおかしくない」ということです。(#335)


【...なんだこりゃ】

 ...こんな阿呆が今まで偉そうに「統計」という言葉を使いまくっていたかと思うと、目頭が熱くなる。
 ハッキリ言って、このレベルの理解の間違い方については(普通の人相手であれば)
 「それは間違いです。統計の本を読んでキチンと理解してください」
 と言えば済み、言われた方も統計の本を読み返し
 「あ、確かに間違ってました。失礼しました」
 と言えば済む話なんですが...。

 彼はおそらく既に「統計の本」を読んだ上で間違っているのだ。
 しかも、FSMさんの方が統計の概念的に正しい事を言っているのにかかわらず、それを否定し、あろう事か「統計的検定をおわかりになってないようですね」とまで言い放つ。

 読んでも分からなかった人に、「読んで理解しろ」と言っても無理。
 読んだはずの統計の本に沿っている「正しい理解」を言下に否定するほど、自分の「間違った理解」を正しいと信じている人には、「統計を理解する素質ゼロ」としか言えない。

 まぁ、そんなABOFANクンは置いておいて、統計をよく知らないけど知りたい人のために正しい知識を書いておこう。


【正しい知識】

(いずれも、新曜杜『統計用語辞典』から引用)
----------------------------------
『統計的仮説検定』
実験や調査をおこなって集められた資料(以下,観測資料という)にもとづいて,何が主張できるかを合理的に判断するための手法の1つ.(中略)
【仮説と対立仮説の区別】現在の仮説検定の理論では,当面の研究課題に応じて立てた,検定したい仮説(これを検定仮説,帰無仮説などという)のほかに,もう1つの仮説(これを対立仮説という)を立てるのが一般的である, (後略)

『第一種の誤り』
統計的仮説検定の理論で用いる概念の1つ.第一種の過誤,タイプⅠの誤り,アルファ過誤などともいう.
観測資料にもとづいて統計的仮説を棄却するかどうかを判断する手順を定式化したものが,統計的仮説検定である.仮説として,検定したい仮説(検定仮説という)とそれと対立する仮説(対立仮説という)とを考える.ところで,判断が常に正しいという保証はなく,誤った判断を下す可能性もあるが,仮説検定の理論では,誤りを2種類に区別する.
検定仮説を棄却する(対立仮説を採択する)ことが誤った判断になっている場合を,第一種の誤りといい,検定仮説の採択(対立仮説の棄却)が誤った判断になっている場合を第二種の誤り,タイプⅡの誤りとかベータ過誤という.(後略)

『有意水準』
統計的仮説検定の手順において,合理的な棄却域を設定するさいに用いられる第一種の誤りの確率αのこと.検定仮説が真である場合の統計量の分布と,対立仮説が真である場合の統計量の分布とを勘案して棄却域を設けるが,検定仮説が真である場合に観測資料の出現が稀な区間を,棄却域とする.稀な度合を低くおさえれば棄却域は狭くなる.あらかじめ定めた稀な度合を有意水準という.厳密には,検定仮説が真である場合に棄却域の区間内の値が出現する確率が,あらかじめ指定した値(指定した値を有意水準という)以下になるように棄却域を設定する.(中略).有意水準のことを危険率ともいう.
----------------------------------


【これ以上説明の必要があるとは思えないが】

 上記のように、一般的な検定では「検定仮説(帰無仮説)」が真であるかを調べる作業をおこなうわけです。
 で、「検定仮説(帰無仮説)」が真であるならば中々得られないサンプルが取れたとき、「検定仮説(帰無仮説)が真であるとは考えがたい」と判断して、検定仮説と反対の対立仮説の方が真であるだろうと判断するわけです。

 で、書いてあるとおり
 『検定仮説が真である場合に棄却域の区間内の値が出現する確率が,あらかじめ指定した値(指定した値を有意水準という)以下になるように棄却域を設定する』
 つまり、有意水準5%と言うのは(相関の話にしましょう)
 『母集団からランダムサンプリングしたデータに見られる相関の値が、“検定仮説が真で有る(=母集団の相関が0)”場合に5%以下の頻度でしか生じないものであれば、“検定仮説が真”を棄却する』という基準なわけです。

 それを逆に言えば、FSMさんの『本来相関がない場合でも、5%水準であれば、100個のうち5個は有意差が出てしまう(出てしまってもおかしくない)』となるわけです。FSMさんの発言は、統計の概念そのままと言っていいでしょう。


【どうせ分かろうとしない人にはわからないんだろうなぁ】


 ああ、なんかバカバカしくなってきた。
 そんなの、そこらの統計の本を普通に読めば分かる事だろうに
 なんでバカひとりのために、統計概論をしなければならんのだ。
 しかも、どうせそのバカは、こんな「普通の話」をしても通じない可能性が高いときたもんだ。

i.有意水準5%で検定を行い、有意差が出たとした場合、「母集団に差がなくても、標本には差が有意に出てしまう確率が5%」です(#335)
k.有意差の有無を無視して、任意の100項目を選択した場合、「5個は有意差が出てもおかしくない」のではありませんよ。しつこいようですが、有意差の出ている任意の100項目を選択した場合、「5個は誤って有意差が出ていていてもおかしくない」ということです。(#335)

 何度読んでも頭がグラグラする。変にイレコになっている。
 じゃぁ、その「有意差が出たとした場合」とか、「有意差の出ている」とかは、何でどう判断したんだ?
 「母集団に差がなくても、標本には差が有意に出てしまう確率が5%以下」という事になるんじゃないのか?
 
 多分、ABOFANクンの間違いは、事前確率である有意水準を、事後確率と勘違いしているところにあると予測される(詳細は後日)。


【覚え書き】

A 母集団の相関0
  1 有意差無し(正しい判断)  
  2 有意差有り(タイプ1エラー)
B 母集団の相関0以外
  1 有意差有り(正しい判断)
  2 有意差無し(タイプ2エラー)

Aの個数=Na
Bの個数=Nb
タイプ1エラー=α
タイプ2エラー=β とする

有意差が出る数
(Na*α)+(Nb*(1-β))
有意差群の中に含まれる「母集団の相関0なのに有意差」の割合
(Na*α)/(Na*α)+(Nb*(1-β))

『有意差の出ている任意の100項目を選択した場合の、「誤って有意差が出ている」確率』
は、NaとNbの比率で大きく変わる。


ABOFANクンは...
A-2だけを取り出して「100%間違っている(#335)」と言う(極めて意味不明)。
そして、その100%間違っている有意差が、有意差の中に5%混じるという(へ?)
A-2:B-1=5:95(????)。


...絶対頭おかしい。

nice!(0)  コメント(9)  トラックバック(0) 
共通テーマ:学問

nice! 0

コメント 9

FSM

こんばんは。

i のコメントが書かれたとき、私は最初、「『同じ質問項目』について、『異なる標本のセット』を100セット用意すると、5セットは有意差を出してしまう」、とABO FANさんが主張しているのだと思ったのですよね。なので、「細かいなあ」とか「独立な質問項目なら」と返事を書いたのですが、まさか k というコメントで返されるとは…(ちなみに k は #352ですね)。

「計算ができる=理解している」ではないということがよくわかる事例だと思います。

「詳細」、期待しております。(^^)

by FSM (2008-12-28 03:00) 

ウッちょん

こんばんは。先日は私の阿呆かつ差し出がましいコメントにお付き合いいただき、有り難うございます。

統計なんぞ記憶の彼方に飛び去ってしまった私にとっても非常に分かり易い解説で、たいへん感謝しております。
ところで、非礼ついでにふとした疑問なのですが、ABOFAN氏のkコメントにあるような、「有意差の出ている標本から、それがタイプ1エラーである確率を知る」方法は存在するのでしょうか。もしあるのなら(たぶんあるんでしょう)、「血液型性格判断の可否」のような文脈では是非とも示されるべきデータだと思うのですが。

# あっ、もしかして「詳細」ってこれのことだったりして
by ウッちょん (2008-12-29 00:09) 

Seagul-X

こちらにお邪魔するのはたぶん初めてだと思います。

統計についてろくに知らない私でも唖然とする発言の数々ですね。
この件に限らず思うのですが、なにかを理解していることを示すのは難しくても、「理解していないこと」はたった一言でバレてしまうんですよね。

まるで、地球がまるいことを理解していると主張しながら実はわかっていないひとが、「地球はまるいから裏側の人は落ちないように地面にしがみついてるんですよね」とぽろっとこぼすかのような。
でもって、こぼした本人は理解していないので何がおかしいかまったくわかっていない。

まー、突っ込むほどの知識はないので、勉強させていただきがてら生暖かく ROM らせていただいてます。

by Seagul-X (2009-01-06 12:47) 

Judgement

すいません、まだ執筆中です。でも、そろそろ形になりそうです。
とはいえ、年末年始で掲示板の方では正直な所これ以上詳細に書く意味も無いくらい、ABOFANクンは乱れまくりで、統計理解の問題どころではない感じ。

>FSMさん
もう一度まとめ直して思ったのは、FSMさんはABOFANクンに対し、非常に親切に対応されているなぁという事。
ただ、ABOFANクンは、そのような対応をされればされるほど、あなどって不誠実になる様がありありと出てきて、なんかいたたまれなくなります。
でも、私がしゃしゃり出たら暴走が加速した感じがして、なんというか申し訳ないとも思っています。
お詫びといってはなんですが、今がんばってFSMさんが明らかにしてくれた事の詳細をまとめておりますので。

>ウッちょんさん
突き詰めていくと「統計」の問題ですらないのですが、彼のような人がいると、それが反面教師になって、正しい知識を目指す気持ちが向上するので、その点はABOFANクンに感謝しております。
「有意差の出ている標本から、それがタイプ1エラーである確率」は基本的に分からないと思います。例えば1の目が出ているサイコロを見て、たまたま出たのか、イカサマサイコロなのか、事後的に判断する事は少なくとも「出てしまったサイコロの目」を眺め続けても分かりませんよね。
 ただし、同じ検証を続ければ、少なくともタイプ1エラーによるものだったかどうか推測する事は可能です。
 とはいえ、条件は「同じもの」である事と、結果の取捨選択をしない事。
 別なサイコロを「似たものだから」と振ってみるのは意味が無いし、同じサイコロを振っても「1の目以外が出た結果」を除外するのも意味が無いわけです。
 このあたりが、「血液型と性格の関係がある」と主張する人のデータにありがちな問題です。

>Seagul-Xさん
どうもはじめまして...かな。
「地球」の例え、秀逸ですね。そうなんですよね。
しかもABOFANクンの場合
「地球はまるいから裏側の人は落ちないように地面にしがみついてる」
と言った事に対し「分かってないよね」と言ったら
「あなたは地球が丸いという事を知らない愚か者だ」
と言い返される、そんな感じ。
だから、彼とからむのは正直オススメしません。
私は趣味としてやってますが、多分何も得るものはないだろうと思ってます。
by Judgement (2009-01-08 00:19) 

トンデモブラウ

FSMさんは、地が現れる前・・・(ゲフンッ)君子豹変す、の前のJudgementさんと同等のやわらかなで紳士的な対応ですね。
頭が下がります。
忍耐力溢れる大人風の対応で、A氏のカキワリの裏側を余すところなく暴いていただいて、なかなか面白いやりとりでした。(すでに過去形?)

Judgementさんの業績も偉大です。(私はかなり得られるものがありました。)
性格とか心理学とかの端っこに触れられたし、A氏のおかげもあるのかな、Judgementさんの趣味に適ったということで。
キリスト教的に無駄な人間はいない、という証でしょうか。
by トンデモブラウ (2009-01-08 08:59) 

disraff

根本的にA氏の考え方は二分法なんですよね。
うわべ確率や統計のタームを弄んではいても、結局「ある」か「ない」のどちらか、常に100%か0%でしか物事を捉えられないのでしょう。

「5%(なり何なり、相手が指定した水準)で検定して有意なデータセットを見つけられさえすれば、それ即ち“100%、関係がある”という科学的証明なり」
「“100%、関係はある”と証された上は、いかなるデータであっても“100%、関係が現れている”はずなり。もし出ないならば、その解析は“100%、間違い”なり」

…みたいな“論理回路”を持っているものと推測します。
(たぶん実際はもっと凄いでしょう)

そもそもホワイトノイズな母集団に対して5%水準での無作為抽出・検定を100回やって5回程度のタイプ1エラーに遭遇しないとしたら、それは事象の出現確率の評価法が間違っているということになると思うんですが:)。


by disraff (2009-01-08 09:30) 

ウッちょん

Judgementさん、お返事有り難うございます。

確かに、仰る通りですね。何となく、「標本間の差の大きさが大きければ大きいほどそれがタイプ1エラーである確率は低い」みたいなことを考えていましたが、標本1セットから確率の値を決められないというのも、いわれてみれば「そりゃそうだ」でした。

そうなると、「正規分布を仮定すれば……」なんていう風にアイデアが膨らんできます。まあ、ここから先は自分で本でも借りてきて勉強しようと思います。貴重な機会と、理解への足がかりを提供してくださったJudgementさん(と、ABOFANさん)に感謝します。

ABOFANさんは、「自分の理解がどこまで正しいのか」を把握されてないんでしょうね。というか、そんなこと考えたことがないんでしょう。でも、皆から言われるので、さすがに「どうやら自分の理解度は低いらしい」という認識は持ちつつあるんじゃないかと。この認識を受け入れられるか否かが、「できない子」が「できる子」になれるか否かの「第一関門」なんですよね。

# そのまえに「母語が理解できるか」というのもありますが
by ウッちょん (2009-01-08 11:55) 

FSM

こんばんは。
Seagul-Xさんのたとえはホント秀逸ですね。さっき見たら、いまでも「しがみついてる」と言ってるようですが。(^^;;

ちなみに「紳士的な対応」=「対応しているのが紳士」ではありません。(^^)
どういう反応が来るかワクワクしながら書いてたりします(我ながら底意地悪いなあと思う^^;;)。
最初はちょっと狙ったりもしてましたが、そのうちフツーに対応すれば楽しい反応に出会えるのがわかってきたのですよね。

Jさんと役割分担ができて面白い展開になってきているのではと思います。
by FSM (2009-01-08 23:49) 

Judgement

 例の掲示板に、聞き覚えのある方の名前が増えてきたようですね。
 そんな状況も踏まえ、とりあえずは、あの掲示板でやりとりに入れ込むと、手持ちのネタが山ほど有るのに、なかなか完成させてここにUPできないので、あちらは手短にして、こちらにボリュームを増やしたいと思います(何せ私はABOFANクンに「質問は無い」というお墨付きもらいましたので「いつまでも質問に答えない」という例のいちゃもんは適用されませんし)。
 早速2つ新ネタをUPしたので、興味の有る方は気合を入れて読んで下さい

>トンデモブラウさん
...何か言った?
 でも、あの人分かりやすいよね。
 少しでも自分に迎合する可能性がありそうに見える人には擦り寄ろうとするし、そうでないと分かると掌返すんだよね。多分、彼の頭の中(だけ)では、「ちがやまるさん」はいざと言う時(例の同意ネタで)”自分側”に入れられると思っているから、態度が少し違うんだろうね。
>キリスト教的に無駄な人間はいない、という証でしょうか。
はい。反面教師も必要です。

>disraffさん
そうなんですよね根本的には。
でも実は、その2文法が主体によって変わる変則四分法なんですよね。
自分の主張:「1%でもその可能性があれば」→ 「ある」・「ない」
相手の主張:「1%でもそうでない可能性があれば」→ 「あるとは言えない」・「ないとは言えない」
>…みたいな“論理回路”を持っているものと推測します。
>(たぶん実際はもっと凄いでしょう)
うん。まず”論理回路”の”論理”の意味からして違うでしょうから。

>ウッちょんさん
 そうなんですよ。
 正しい知識、というのは意外と身に付きにくく、「間違ってみて」初めて深く理解できる、という事があります。他人のかわりに「間違ってみせる」ABOFANクンは、結構貴重。
  もし、ABOFANクンの主張が正しそうに聞こえたら、「ああ、もっと勉強しておこう」と判断できるリトマス試験紙のような。
 私だって偉そうなもの言いをしますが、大抵は本やネットで「正しいか」確認してから言わないと不安なんですよ。

 「知らざるを知る」は私の好きな言葉です。
 「知識が足りない馬鹿」は、それを知り、補う事で利口になります。
 でも、「知識が足りない事を知らない馬鹿」は、いつまでたっても馬鹿のまま。

>FSMさん
 ご苦労様です。
>どういう反応が来るかワクワクしながら書いてたりします
同感です。
というか、私はそれが目的の全てみたいなもんですが。
長年のウオッチで「どんなベクトルであしらおうとするか」大抵のパターンは掴めていますが、例えば「曲解するんだろうなぁ」とか、「話をずらすんだろうなぁ」とか、「自己弁護に走るんだろうなぁ」とまでは予想はついても、その曲解の結果や、ずらした先の話や、自己弁護の内容とかになると、常に『え、まさかそこまでおかしい事を言い出すとは...』と裏切られっぱなしです。
「役割分担」なんて光栄です。
でも確かに面白い組み合わせかもしれません。
あと、TAKESANさんのテンポ良いツッコミもあるし。
by Judgement (2009-01-09 01:56) 

コメントを書く

お名前:[必須]
URL:
コメント:
画像認証:
下の画像に表示されている文字を入力してください。

トラックバック 0

この広告は前回の更新から一定期間経過したブログに表示されています。更新すると自動で解除されます。