HN108141
AIの推論は「正しいけれど、理由はデタラメ」なのか？
Is AI reasoning right for the wrong reasons?
retupmoc01・約14時間前
議論
11件最近のAIは驚くべき推論能力を見せていますが、その回答に至るプロセスは本当に信頼できるのでしょうか？「たまたま正解しているだけ」という説や、誤った論理で導き出された結論が正解として処理されている可能性について、エンジニア界隈で議論が白熱しています。皆さんはこの「AIのブラックボックスな思考プロセス」についてどう思いますか？
AIの推論を自分なりに解釈するとこうなる。LRM（Large Reasoning Models）、思考の連鎖、思考トークン、これらはすべて「願望的記憶術」に過ぎない。CS（コンピュータサイエンス）的な味付けをした、オプラ・ウィンフリー風の「引き寄せの法則」のような、思い込みと現実逃避が混ざり合った代物だ。別にけなしているわけじゃない。新しい研究というものは、まず軌道に乗せるために、こうしたある種の心構えが必要になるものだろう。AIの推論が機能しないとか、できないと言いたいわけじゃない。ただ、「願望」という要素が相変わらず強力な影響力を持っているように見えるんだ。
「私たちは、何でも擬人化してしまうような反応を言語に対して示す。それが人間というものだ」とミッチェル氏は私に語った。
後半については完全に同意だ。LLMの出力を読むたびに、まるで誰かが自分に話しかけているような錯覚を覚える。
LLMや、より広範な複雑な機械学習について読めば読むほど、結局のところ誰一人として何が起きているのか完全には理解できていないんだなと実感する。
この議論、正直なところ「自己満足的」だな。実質的な機能性ではなく、ただの言葉遊びになっている。結局「『推論』という言葉を使うとき、我々は何を意味しているのか」という問いに行き着いてしまっていて、あまり面白みがない。
ダイクストラはこう言った[1]。「…コンピュータが思考できるかという問いは、潜水艦が泳げるかという問いと同じくらい妥当で、同じくらい意味のある問いだ」と。
「推論」にしか成し得ないことで、他の手法では近似や模倣ができないという明確な境界線が見当たらない以上、この議論自体がそもそも無意味で、的外れだと思うんだ。
[1] https://www.cs.utexas.edu/~EWD/transcriptions/EWD08xx/EWD867... (https://www.cs.utexas.edu/~EWD/transcriptions/EWD08xx/EWD867.html)
昔は機械学習の話をする際、「計算ができる馬」として知られた「賢いハンス」の例えを出すのが定番だった。その馬は計算できていたわけではなく、調教師からの何らかの合図を読み取って正解を選んでいた（確か調教師自身もその仕組みに気づいていなかったはずだ）。
この話のポイントは、分類器は間違った理由で正解を出せてしまうし、それはほぼ必然的に起こるということだ。少なくとも、予測が正解である理由が、人間にとっての「真の理由」と一致しているという保証はゼロに等しい。
LLMも結局は分類器であり、出力される推論トークンが何であれ、それとは異なるものだと想定する理由は全くない。LLMはただ調教師（開発者）が見たがっていることをやっているだけで、それこそが彼らが学習させられていることの全てなんだ。
これを批判と捉える人が多いけれど、そうじゃない。ニューラルネットワークの分類器というものは単にそういうものだという現実に過ぎない。結果は結果として重要だし、それが「実際に」推論しているかどうかに依存するわけではない。ただ、全ての証拠が「推論はしていない」と言っているし、推論すべき特別な理由も見当たらないね。
なんて傲慢な野郎だ。
AI推論の議論において、反感は相互的なものらしい。「昨夏のこれらの『科学的』論文は、盛大に引用符（クォーテーションマーク）を付けておこう」と、OpenAIの技術スタッフの一人であり、科学者や数学者の間で同社の推論モデルを熱心に広めてきたセバスチャン・ブベック氏は語った。彼はAI推論を批判するAppleの初期の結果を「間違っている」と呼び、それが現在は廃止されたモデルの学習上のクセによるものだと主張した。「GPT-5.5以降のモダンなモデルは、この問題を抱えていない」と彼は述べ、「当時の結果を再検証したら面白いだろうね」と言った。（Appleは研究者のインタビューを許可しなかった）
そしてその直後だ。
「思考」という部分こそが、OpenAIが注力している点だ。私がブベック氏に、派手な単位距離証明の結果はLRMの思考の連鎖以外の手法——例えばLeanで検証するなど——で生成されたのかと尋ねたところ、彼はその質問をほとんど無意味だと感じたようだった。
「秘密にしているわけではない」と彼は言った。「私たちは思考の連鎖を公開している。それを見ればいい。モデルが人間のように推論しているというのが重要な点だ。そして、人間は推論する際、Leanなんて使わないだろう」。技術的には、OpenAIはCodexという別のOpenAIモデルを使い、人間の専門家2名が「書き直して要約した」思考の連鎖を公開しただけだ。2024年以降、同社は推論モデルによる「生の」思考の連鎖を公開していない。このポリシーはGoogle DeepMindやAnthropicも採用している。
その「学習上のクセ」っていう話は明らかに（反証不可能だが）デタラメだし、自分の会社が独立した科学者が調査できるよう生データを公開しないくせに、他人の「科学」を小馬鹿にするなんて何様なんだ？
言語モデルが吐き出す「人間が読める説明」が、モデルが結論に至るまでの実際の内部プロセスと必ずしも一致しないという考え方は、パラレルコンストラクション[1]を連想させる。これは犯罪の証拠を通常は違法な手段で入手しておきながら、法的に問題のない別の手段で入手したと主張する、（不正な）法執行の戦略だ。
[1] https://www.hrw.org/report/2018/01/09/dark-side/secret-origi... (https://www.hrw.org/report/2018/01/09/dark-side/secret-origins-evidence-us-criminal-cases)
推論トークンが役立つ理由を直感的に説明するなら、LLMはただの数学関数 f() であり、入力シーケンス x を受け取って次のトークン f(x) を生成するものだと考えるといい。推論トークンがなければ、f() という関数に x からいきなり正解となる出力シーケンスの開始地点まで飛ばさせる必要がある。しかし推論トークンがあれば、その制約が大幅に緩和される。f() を何度も繰り返して適用することで、入力シーケンスから正解の出力シーケンスへと、徐々に導くことができるようになるんだ。
プロンプトからいきなり出力へ飛び込むという「不連続なジャンプ」よりも、正解の出力シーケンスを順当に続けていく方が簡単だというのは直感的にも理解できるよね。
AI分野の命名規則には、悪習の長い歴史がある。「人工知能（artificial intelligence）」という名称自体、自分はそう思っている。（ここでの「知能」とは何だ？どちらかと言えば「自動化」や「自動問題解決」に近いだろう。）
実際に起きているのは、生物学的な何かや神経科学的なものに触発されて、うまく機能するものを見つけ出すことだ。
例えば、ニューラルネットワーク、注意機構（attention）、推論、ハルシネーション、エージェント、Mixture of Expertsにおけるエキスパートなどだ。
そして名前を付ける際、3文字の頭文字語を使うよりも、もっとキャッチーな言葉を借用したがる。
それが、元の研究が何が起きているのかを混乱させていたという意味では決してない。中には、ニューラルネットのように、元々は生物学を参考にした活性化関数を使っていたのが、結局非線形性の方が重要であってシグモイドでなくてもReLUで十分だと判明して、後から要素が削ぎ落とされることもあるわけだし。
LLMには、クオリア（感覚質）をはじめ、欠けているものが多々ある。
LLMに「リンゴとは何か？」と尋ねるとこう答える。
リンゴはリンゴの木の食用果実で、学名はMalus domesticaです。世界で最も広く栽培されている果物の一つであり、生食されたり、多くの食品や飲料に使用されたりします。
次に「ムンドゥフルーツとは何か？」と尋ねるとこうだ。
ムンドゥは東南アジア、特にインドネシア、マレーシア、タイ、カンボジア原産の熱帯果物です。マンゴスチンと同じ属の小さな常緑樹から採れます。
私はムンドゥフルーツを食べたことがない。私にとってリンゴとムンドゥは決定的に違う。リンゴは手に持ち、触れ、味わい、食べ、楽しみ、料理に使ってきた果物だ。一方でムンドゥフルーツは、私にとってはテキストや画像を通じた抽象的な体験であり、架空の果物とさほど変わらない。LLMがリンゴの存在を知っているように、私もムンドゥフルーツの存在は認識しているが、それは「私にとって」存在していることにはならない。
「抽象的に存在する」ことこそが、LLMのあらゆる体験だ。LLMにとって、リンゴとムンドゥは同カテゴリーにある。LLMは両方の果物について書かれたテキストで学習し、画像も見て、記録されていることは全て知っている……その果物について知るべき「重要なこと」以外はね。
我々がLLMで抱える問題の多くは、LLMの視点では「何も存在していない」ことから生じている。もしClaudeが誤って本番のデータベースを削除してしまったとしても、謝罪するのはそれが統計的に「ありそう」だからだ。人間のように罪悪感を感じているわけではなく、結果に対する責任の欠如が、LLMが行うあらゆる行動を本質的に軽いものにしている。私たちはLLMに何が現実で何がそうでないかを理解してほしいと願うが、実体験が皆無の存在にそれを期待するのは無理というものかもしれない。
LLMは推論なんてしていない。それに人間とは全く違う道徳的指針を持っている。いい加減、ゴミのような記事をあちこちにまき散らすのはやめてくれ。