あまりにも酷い調査 [他ブログいっちょかみ]
InterdisciplinaryのTAKESANさんのネタ拝借第２段。前回と同じ記事で紹介されていたもう一方「B型の人は英語が得意って本当?!」にもダメ出ししてみます。
なお、２部構成になっておりますので、はじめにこちらの記事からお読みください。
【導入部】
「私の経験上そうだから、関係があるに違いない」などと、個人的経験をすぐさま一般化する人に比べれば、個人的経験による予測が正しいか、きちんと調査して検証しようとするところは少しはましですね。
だけど、どうでもいいからアンケートを取ればいいという問題でも無いんですが．．．
【驚愕のアンケート】
まぁ、文句を言う前に、マシな所から見ていきましょう。
自分の英語仲間、つまり自分の「仮説」の元になった集団を積極的に含めようとしなかったのは良い事です。既知の「AB型に偏った集団」をわざと加える事は、仮説に有利になるようデータをわざと歪める行為になりますからね。
TOEICや英検でハイスコアを持つ人の集団をターゲットにしたのは、「英語力の高い人」を客観的な基準を与える点で目の付け所は悪く無いでしょう。しかし、それを積極的に調査したのではなく、『告知して投票するよう促した』だけなんですよね．．．。
調査の意図がいきなり分からなくなってしまうのは、こういった「英語力の高い人」だけに促すのではなく、「英語の学びなおしに関心を持つ方々」にまで促しちゃっているところです。
この層は、現時点で「英語の学びなおしを必要と考える」レベルであるわけですから、「英語力の高い人」ではなく、むしろ「英語力の低い、せいぜい普通」の人達ではないでしょうか？
「英語力の高い人」を調査する、と言ったくせに、「英語力の高い人、低い人、普通の人」つまり全ての層に調査への参加を働きかけちゃっているのです。
そもそも「どこに働きかけたか」という話以前の問題があります。
『ガイドサイトのトップページの「あなたの一票」に「あなたの血液型は？」というアンケートを作成して投票できるようにした。』というのはどういう事かと言うと、ガイド（＝記事を書いている人＝古賀さんという人）が管理する『英語の学びなおし』というタイトルのエリアのトップページに投票のフォームを作った、という事です。
一応、このアンケートはAllAboutというサイトの構成上『英語の学びなおし』を目指して閲覧しないと目にしないページでは有るとは言えます。だから、『英語の学びなおし』というフレーズに興味が無い人が投票に参加する確率は非常に低い事は認めてあげてもいいでしょう。
しかし、『英語の学びなおし』に興味を持ち、自発的にこのページに辿り着いた人は、「TOEICハイスコアな人」どころか、せいぜい「TOEICハイスコアになれたらいいな」と思っているような、ほぼ確実に「TOEICハイスコアでない人」ばかりのはずです。
本当の「TOEICハイスコアな人」は、投票に来てくれるかどうか不明。そして、「TOEICハイスコアでない人」が“頼まなくても”目にする可能性が高い場所へのアンケートの設置。さらには、よせばいいのにその「TOEICハイスコアでない人」への働きかけまでしちゃっている。
結局、「英語力の高い人の血液型比率を調べました」と言いつつも、実際に想定される調査対象の母集団は「英語力が高くはない人」と言うような調査方法になってしまっているわけです。
※しかも、おそらくは１人で何度も投票する事ができそうな．．．
羊頭狗肉ぅ！！
多少なりとも「自分の目的に合った調査がしたい」と望む人ならば、まず絶対にしないであろう調査方法である事にびっくりです。
【しょぼい結果】
『Ａ型31％ Ｏ型30％ Ｂ型25％ AB型14％』だそうですよ。いったい何の比率なんでしょうねぇ。
と思いきや、比率を示す円グラフのキャプションに何か書いてあります。
オイオイオイオイッ
「間違い無い」のは『語学に関心を持つ人が投票に参加したこと』ぐらいでしょ。
『必ずしも英語力の高い人だけが投票したとは限りませんが』と言うけど、「英語力の高くない人」にまで投票するよう積極的に働きかけたのは、ほかならぬアンタ自身だよね。
そもそも、「英語力の高い人」には『呼びかけただけ』であって、その人たちがワザワザ投票に来てくれたかなんて一切保障されていないはずですよ。
だから、正確には、『必ずしも英語力の高い人が投票したとは限りません』だよ。
これを、『英語が得意な人の血液型比率』と呼ぶのはあまりにも不適切ダロ。
それはさておき、なんだか「差」を算出して、あたかもそれが「血液型による差」のように示していますが、実際は偶然だかなんだか分からない微々たる差。
ABOFANクンだったらお得意のカイ二乗検定にかけるところだろうけど、「多くの方が参加してくださいました」と言うものの、投票総数を明らかにする気は無いようなのでそれすら不可能。
※と思っていたら、既に触れていました。やはり、総数が分からなくて困った模様。
まぁ、正直何の血液分布を調べたのかすら分からないデータという、ランダムサンプリング以前の以前の以前の問題ですから、検定の事を考えてもしょうがないのですが．．．。
で、特定の血液型でその差がプラスの方向になった事だけで、「Ｂ型は英語の得意な人が多い」と決め付けちゃったり、『「ＡＢ型は英語に向いている」という私の仮説も証明されました』とはしゃいじゃったりしています。
．．．もう、ため息しか出ません。
このようなクズデータで恥ずかしげも無くこんなご大層な記事を書けたものだ、と感心するばかりです。
【いったい何から導いた結論なのだろう？】
『この差によって導き出される結論』は要約すれば次のとおりだそうです
・ Ｂ型は“英語の得意な人”が多い
・ ＡＢ型は“英語に取り組んでいる人”の割合が多い→“英語に向いている”
・ Ａ型は“英語に継続的に取り組んでいる人”の割合が少な目
・ Ｏ型は人口比と“英語の得意な人”の割合が完全に一致
結果だけ見たら、いったい何種類の調査をしたんだと思いますよ。
・ 血液型別の英語の得意な人の数の調査
・ 血液型別の現在英語に取り組んでいる人の数の調査
・ 血液型別の英語に取り組んだ期間の調査
・ 「英語に取り組む事」と「英語に向いている事」の関連性の調査
最低限、これくらいの調査は必要ですよね。
でもみなさん、驚かないでください！（って、みんなもう知っているんだけど）
これらの結論は「『英語でもやりなおそっかな』と思っている人が訪れがちなページに設置された、血液型を聞くだけのアンケート」から導かれているのですよ．．．．。
【アンケートこそ蛇足だったのでは】
で、その後、「血液型と英語の関係はどうなっているのか」の話になりますが、ダメデータを元にした考察は、批評する意味も無いでしょう。
というか、この人は他に「星占いで英語力アップってホント!?」って記事も書くくらいだから、『血液型』だって深い考えがあったわけじゃなく、「なんか最近ブームみたいだし、それに便乗して英語の学びなおしにも興味を持ってもらう記事を書こう」程度の動機だったんじゃないかな。
だったら、クズデータのダメ分析をしてみせて自分の信憑性を大暴落させるぐらいなら、初めから「巷のステレオタイプ的な血液型類型にこじつけた話」だけで記事を構成すりゃ良かったんじゃないのかなぁ、と思う。
（どうせ、血液型ブームに流されている人はデータなんて気にやしないだろうし）
ところで、以下の文章は許せませんねぇ。
そもそも「英語力の高い人」という前提自体が、「ガイドの期待と憶測と思い込み」でしかないはずなのに、「アンケートにより～。ここからはガイドの分析です。」と言う事で、あたかも「ここから」以前はガイドの思惑とは無関係に客観的に導かれたものであるように錯覚させる言い回しですね。
【逃げるなら最初から言うな】
「血液型と性格の関係」の肯定的な話で嫌なのは、最後は必ず「逃げる」というところ。
一見「良心的な注意書き」に見えますが、その本質は「逃げ」でしょう。
散々好き勝手に血液型で決め付けて人間を評価しても、最後にこれを言っておけば、後で批判されても「決め付けているわけじゃないですよ」と逃げれるわけです。
小汚いおためごかしですね。
あと、「統計的なもので」ってどこが？って気がします。
それと、「男子は理系が得意で、女子は文系が得意」って、それも”大雑把な傾向”なんかじゃなく、単なる偏見だ。
おいおい、「経験則で個人的に感じている」レベルの主張しかできないくせにそりゃないでしょ。
正しくは『血液型による性格診断自体に科学的根拠がないとされているにもかかわらず、未だに関係あるという主張も根強くあります。』ですね。
「“血液型に関係無く”継続的に努力を続ければ英語力は必ずアップします。諦めず、続けることが大切なのです。」
ではないのでしょうかねぇ
【おわりに】
TAKESANさん談
「それにしても、前者の記事、推定も検定も、誤差も、何も考えていないですね。このレベルのものは、さすがにそうは見かけない。どんなにダメなのでも、かたちだけ独立性の検定をしてみせたりするものですが、これは群を抜いています。」
たしかに、ABOFANクンですら扱いを決めあぐねそうな物件でよすね。
まともに取り扱ってあげる価値もないかもしれません。
しかし、あえてこれを扱った『調査の雑さ加減』を教えたかったのではなく（誰でも分かる）
この記事に隠された、別の問題点を指摘したかったからです。
それについては、次の記事で．．．
なお、２部構成になっておりますので、はじめにこちらの記事からお読みください。
【導入部】
まずこの調査を始めたきっかけは、英語仲間と血液型について話していた時に、ＡＢ型の人がやたらと多いことに気付いたことです。
ご存知の通り、ＡＢ型は日本の人口の１割弱。私自身はＡＢ型なのですが、普段の生活の中でＡＢ型の人に出会う確率はやはり10人に1人くらい。絶対的に少数派なのです。ところが、英語を熱心に勉強している人に限っては、ＡＢ型の人がとても多い。そこで、血液型と英語力には何か関係があるのでは？ と感じたのです。「ＡＢ型は英語学習に向いている」そんな仮説を立てた私は、その仮説を証明すべく早速リサーチを開始しました。
「私の経験上そうだから、関係があるに違いない」などと、個人的経験をすぐさま一般化する人に比べれば、個人的経験による予測が正しいか、きちんと調査して検証しようとするところは少しはましですね。
だけど、どうでもいいからアンケートを取ればいいという問題でも無いんですが．．．
【驚愕のアンケート】
調査方法は、アンケートで英語力の高い人の血液型比率を調べました。
ガイドサイトのトップページの「あなたの一票」に「あなたの血液型は？」というアンケートを作成。血液型を選んで投票できるようにしました。
次 に、TOEICや英検でハイスコアを持つ人たちが集まるmixiのコミュニティで告知させてもらい、血液型を投票してもらうようお願いしました。ガイドメ ルマガでも告知し、英語の学びなおしに関心を持つ方々にも投票を呼びかけました。公正さを保つため、私の英語仲間に個人的に投票をお願いすることはしませんでした。
まぁ、文句を言う前に、マシな所から見ていきましょう。
自分の英語仲間、つまり自分の「仮説」の元になった集団を積極的に含めようとしなかったのは良い事です。既知の「AB型に偏った集団」をわざと加える事は、仮説に有利になるようデータをわざと歪める行為になりますからね。
TOEICや英検でハイスコアを持つ人の集団をターゲットにしたのは、「英語力の高い人」を客観的な基準を与える点で目の付け所は悪く無いでしょう。しかし、それを積極的に調査したのではなく、『告知して投票するよう促した』だけなんですよね．．．。
調査の意図がいきなり分からなくなってしまうのは、こういった「英語力の高い人」だけに促すのではなく、「英語の学びなおしに関心を持つ方々」にまで促しちゃっているところです。
この層は、現時点で「英語の学びなおしを必要と考える」レベルであるわけですから、「英語力の高い人」ではなく、むしろ「英語力の低い、せいぜい普通」の人達ではないでしょうか？
「英語力の高い人」を調査する、と言ったくせに、「英語力の高い人、低い人、普通の人」つまり全ての層に調査への参加を働きかけちゃっているのです。
そもそも「どこに働きかけたか」という話以前の問題があります。
『ガイドサイトのトップページの「あなたの一票」に「あなたの血液型は？」というアンケートを作成して投票できるようにした。』というのはどういう事かと言うと、ガイド（＝記事を書いている人＝古賀さんという人）が管理する『英語の学びなおし』というタイトルのエリアのトップページに投票のフォームを作った、という事です。
一応、このアンケートはAllAboutというサイトの構成上『英語の学びなおし』を目指して閲覧しないと目にしないページでは有るとは言えます。だから、『英語の学びなおし』というフレーズに興味が無い人が投票に参加する確率は非常に低い事は認めてあげてもいいでしょう。
しかし、『英語の学びなおし』に興味を持ち、自発的にこのページに辿り着いた人は、「TOEICハイスコアな人」どころか、せいぜい「TOEICハイスコアになれたらいいな」と思っているような、ほぼ確実に「TOEICハイスコアでない人」ばかりのはずです。
本当の「TOEICハイスコアな人」は、投票に来てくれるかどうか不明。そして、「TOEICハイスコアでない人」が“頼まなくても”目にする可能性が高い場所へのアンケートの設置。さらには、よせばいいのにその「TOEICハイスコアでない人」への働きかけまでしちゃっている。
結局、「英語力の高い人の血液型比率を調べました」と言いつつも、実際に想定される調査対象の母集団は「英語力が高くはない人」と言うような調査方法になってしまっているわけです。
※しかも、おそらくは１人で何度も投票する事ができそうな．．．
羊頭狗肉ぅ！！
多少なりとも「自分の目的に合った調査がしたい」と望む人ならば、まず絶対にしないであろう調査方法である事にびっくりです。
【しょぼい結果】
『Ａ型31％ Ｏ型30％ Ｂ型25％ AB型14％』だそうですよ。いったい何の比率なんでしょうねぇ。
と思いきや、比率を示す円グラフのキャプションに何か書いてあります。
図１ 英語が得意な人の血液型比率
公開アンケートのため、必ずしも英語力の高い人だけが投票したとは限りませんが、語学に関心を持つ人が投票に参加したことは間違いありません
オイオイオイオイッ
「間違い無い」のは『語学に関心を持つ人が投票に参加したこと』ぐらいでしょ。
『必ずしも英語力の高い人だけが投票したとは限りませんが』と言うけど、「英語力の高くない人」にまで投票するよう積極的に働きかけたのは、ほかならぬアンタ自身だよね。
そもそも、「英語力の高い人」には『呼びかけただけ』であって、その人たちがワザワザ投票に来てくれたかなんて一切保障されていないはずですよ。
だから、正確には、『必ずしも英語力の高い人が投票したとは限りません』だよ。
これを、『英語が得意な人の血液型比率』と呼ぶのはあまりにも不適切ダロ。
それはさておき、なんだか「差」を算出して、あたかもそれが「血液型による差」のように示していますが、実際は偶然だかなんだか分からない微々たる差。
ABOFANクンだったらお得意のカイ二乗検定にかけるところだろうけど、「多くの方が参加してくださいました」と言うものの、投票総数を明らかにする気は無いようなのでそれすら不可能。
※と思っていたら、既に触れていました。やはり、総数が分からなくて困った模様。
まぁ、正直何の血液分布を調べたのかすら分からないデータという、ランダムサンプリング以前の以前の以前の問題ですから、検定の事を考えてもしょうがないのですが．．．。
で、特定の血液型でその差がプラスの方向になった事だけで、「Ｂ型は英語の得意な人が多い」と決め付けちゃったり、『「ＡＢ型は英語に向いている」という私の仮説も証明されました』とはしゃいじゃったりしています。
．．．もう、ため息しか出ません。
このようなクズデータで恥ずかしげも無くこんなご大層な記事を書けたものだ、と感心するばかりです。
【いったい何から導いた結論なのだろう？】
『この差によって導き出される結論』は要約すれば次のとおりだそうです
・ Ｂ型は“英語の得意な人”が多い
・ ＡＢ型は“英語に取り組んでいる人”の割合が多い→“英語に向いている”
・ Ａ型は“英語に継続的に取り組んでいる人”の割合が少な目
・ Ｏ型は人口比と“英語の得意な人”の割合が完全に一致
結果だけ見たら、いったい何種類の調査をしたんだと思いますよ。
・ 血液型別の英語の得意な人の数の調査
・ 血液型別の現在英語に取り組んでいる人の数の調査
・ 血液型別の英語に取り組んだ期間の調査
・ 「英語に取り組む事」と「英語に向いている事」の関連性の調査
最低限、これくらいの調査は必要ですよね。
でもみなさん、驚かないでください！（って、みんなもう知っているんだけど）
これらの結論は「『英語でもやりなおそっかな』と思っている人が訪れがちなページに設置された、血液型を聞くだけのアンケート」から導かれているのですよ．．．．。
【アンケートこそ蛇足だったのでは】
で、その後、「血液型と英語の関係はどうなっているのか」の話になりますが、ダメデータを元にした考察は、批評する意味も無いでしょう。
というか、この人は他に「星占いで英語力アップってホント!?」って記事も書くくらいだから、『血液型』だって深い考えがあったわけじゃなく、「なんか最近ブームみたいだし、それに便乗して英語の学びなおしにも興味を持ってもらう記事を書こう」程度の動機だったんじゃないかな。
だったら、クズデータのダメ分析をしてみせて自分の信憑性を大暴落させるぐらいなら、初めから「巷のステレオタイプ的な血液型類型にこじつけた話」だけで記事を構成すりゃ良かったんじゃないのかなぁ、と思う。
（どうせ、血液型ブームに流されている人はデータなんて気にやしないだろうし）
ところで、以下の文章は許せませんねぇ。
アンケートにより、英語力の高い人の割合が多い血液型は Ｂ型→ＡＢ型→Ｏ型→Ａ型 の順になることが分かりました。なぜこのような差が出るのでしょう？ ここからはガイドの分析です。
そもそも「英語力の高い人」という前提自体が、「ガイドの期待と憶測と思い込み」でしかないはずなのに、「アンケートにより～。ここからはガイドの分析です。」と言う事で、あたかも「ここから」以前はガイドの思惑とは無関係に客観的に導かれたものであるように錯覚させる言い回しですね。
【逃げるなら最初から言うな】
「血液型と性格の関係」の肯定的な話で嫌なのは、最後は必ず「逃げる」というところ。
以上、血液型と英語力との関係について分析してきましたが、この結果はあくまで統計的なもので、個人にそのままあてはまるものではありません。「男子は理系が得意で、女子は文系が得意」的な、大雑把な傾向だとご理解下さい。
一見「良心的な注意書き」に見えますが、その本質は「逃げ」でしょう。
散々好き勝手に血液型で決め付けて人間を評価しても、最後にこれを言っておけば、後で批判されても「決め付けているわけじゃないですよ」と逃げれるわけです。
小汚いおためごかしですね。
あと、「統計的なもので」ってどこが？って気がします。
それと、「男子は理系が得意で、女子は文系が得意」って、それも”大雑把な傾向”なんかじゃなく、単なる偏見だ。
血液型による性格診断自体、科学的根拠がないという主張も根強くあります。ただ経験則として、血液型による性格の違いはある程度言えるのでは、と個人的に感じています。
おいおい、「経験則で個人的に感じている」レベルの主張しかできないくせにそりゃないでしょ。
正しくは『血液型による性格診断自体に科学的根拠がないとされているにもかかわらず、未だに関係あるという主張も根強くあります。』ですね。
どんな血液型の人でも継続的に努力を続ければ英語力は必ずアップします。諦めず、続けることが大切なのです。
「“血液型に関係無く”継続的に努力を続ければ英語力は必ずアップします。諦めず、続けることが大切なのです。」
ではないのでしょうかねぇ
【おわりに】
TAKESANさん談
「それにしても、前者の記事、推定も検定も、誤差も、何も考えていないですね。このレベルのものは、さすがにそうは見かけない。どんなにダメなのでも、かたちだけ独立性の検定をしてみせたりするものですが、これは群を抜いています。」
たしかに、ABOFANクンですら扱いを決めあぐねそうな物件でよすね。
まともに取り扱ってあげる価値もないかもしれません。
しかし、あえてこれを扱った『調査の雑さ加減』を教えたかったのではなく（誰でも分かる）
この記事に隠された、別の問題点を指摘したかったからです。
それについては、次の記事で．．．
コメント 0