ダニング=クルーガー効果は単なる「統計上の誤差」に過ぎないのか?(2020年発表の衝撃的な論文を読み解く)
The Dunning-Kruger effect may just be a data artefact (2020)
The Dunning-Kruger effect may just be a data artefact (2020)
「能力の低い人ほど自分を過大評価する」という心理学的法則として有名なダニング=クルーガー効果ですが、実はこれ、単なる統計的な観測誤差(データ・アーティファクト)に過ぎないのではないかという指摘が注目を集めています。2020年に発表されたこの議論は、私たちの「自己評価」に対する認識を根底から覆す可能性を秘めています。
記事が余計なことばかり書いてあって、核心部分を理解するのがかなり難しい。特にシミュレーションのコードは公開されていないし、提示されたシミュレーション上のグラフと元のグラフが実質的に同じ(違いが見当たらない)となると余計にね。
知覚された曲線が異なる傾斜になるのは明らかだよ。だって誰も自分を最高か最低のパーセンタイルだなんて評価しないから、両端にバイアスがかかるのは当然だ。
で、両方のケースで知覚と実際の差を描けば、バイアスがあろうとなかろうと、みんなが知っている同じ曲線が得られるってわけだ。
少なくとも会話の中で使われる以上は明らかに実在するものだし、厳密な定義に合致するかどうかという点では逃げ道があるだろうけど、僕らもそういう人たちのことは知ってるよね。最近の「バイブ・コーディング」の流行りを見ればどこにでもいるし。これって、「論点先取(begging the question)」みたいに、みんなが何を言いたいかは分かっているのに、誰かが「いや、実際には技術的な意味はこうだ」って割り込んでくるような現代の厄介な議論になっていくのかな?
たとえ事実でなかったとしても、「トゥルーシーネス(真実らしさ)」(1) のような感覚があるよね。
大衆の意識から消えることはないと思う。ストックホルム症候群みたいに、実際には存在しないのに世間の精神(ツァイトガイスト)に深く根付いてしまったものと同じだよ。
厳密な学術的定義と日常会話での使い方は、ずっと前から食い違ってる。たぶん最初からずっとね。
特定の初心者が自信過剰で自分の手に負えない状況にあるとき、私たちはそれを「ダニング=クルーガー」と呼ぶ。
逆に、特定の人が自信不足で、自己評価以上にうまくやっている場合、日常会話ではダニング=クルーガーとは呼ばれない。インポスター症候群と呼ばれたり、そもそも名前が付けられなかったりする。
研究者たちもそれを否定しているわけじゃないんだ。彼らが発見したのは、初心者のほうが熟練者よりもパフォーマンスの自己評価に幅があるということ。だから初心者のグループには、自分の能力をひどく過信している人が現れる可能性が高いけれど、同時に自分を過小評価している人もいるわけだ。
実際には、専門家も初心者も同じくらいの頻度で自分のスキルを過小評価したり過大評価したりしていることが示された。専門家はその範囲が狭いだけなんだ、と彼らは書いている。
これは、初心者の中に自分のスキルを過大評価する人がいる、という一般的な認識を直接否定するものではないよね。だからこそ、みんなこの言葉をその意味で使っているわけで。
だから、被験者全体を平均化すれば統計的にはプラマイゼロになるという話は信じられる。でも、ダニング=クルーガーの一般的な使い方を、グループの平均値に適用するものだと考えたことは一度もない。この言葉はいつも、初心者グループのロングテールの外れ値にいる、「自分が何を知らないのかさえ分かっていない人」に対して使われてきたんだから。
再現性の危機だね。心理学研究の半分以上は再現できないし。
正直なところ、もう心理学を科学だとは見なせないレベルまで来ているよ。
核心となる主張は「ランダムなデータでも実際にはかなりうまく効果を模倣できる」という点だね。これは納得感がある。1から6の数字を推測させてからサイコロを振らせると、低い目が出た人は結果を過大評価しがちで、高い目が出た人は過小評価しがちになる。結局のところ、ランダムなデータがどれだけ正確にその効果を模倣できているかがポイントなんだ。
この実験の生のデータセットってどこかで公開されてる?4つのビン(グループ)に集計されたデータじゃなくて、自己評価スコアと実際のスコアをプロットした散布図を見てみたいんだけど。
数年前にも似たような議論があったよ。当時出された反論がこれ [2022]: https://andersource.dev/2022/04/19/dk-autocorrelation.html (https://andersource.dev/2022/04/19/dk-autocorrelation.html)
ダニング=クルーガー効果(DK)で一番面白いのは、この議論があっても変わらない点なんだけど、DKを引用する人たちの多くが「能力の低い人の方が高い人よりも自分の能力を過信している」という内容だと勘違いしていることだよね。著者らはそんなこと一度も言っていないのに。DKの結果を適用しようとして、まさに自分自身がDKに陥っているようなものだよ。
素晴らしい記事だね。ストックホルム症候群やスタンフォード監獄実験といった主要な心理学の現象が辿ってきた歴史を考えれば、ある程度予想できたことかもしれない。
傲慢な人間がいるのは確かだけど、だからといってわざわざ独自の「効果」として名前をつけるまでもないんじゃないかな。見積もりがなぜ外れるのか、どういう仕組みでそうなるのか、その理由は結局のところ誰もが何かしら分かっているわけだし。