「LLMに人間味がある」って言うなら、Age of Empires IIにもあるでしょ？

もしLLMが持つような振る舞いや意思決定を人間的であると定義するなら、往年の名作RTS『Age of Empires II』のAIだって、同じ基準で「人間のような特性を持っている」と言えるのではないか？という議論。

最近Substackでよく見かけるやつだね。人間や人間の脳において知られているメンタルステートと、情報処理を行うLLMとの間にある機能的等価性について、深遠な言語で語られるLLM強化型のエッセイのことさ。Substack上の議論は、脳内で起こるイベントやそれっぽく見える処理イベントのリストを並べて、それらが等価であると宣言するような流れになっているんだ。

なんだかアナロジーの力を悪用して強引に関連付けを行っているように見えるね。上空1万フィートからの大まかな比較を、まるで同一性の証明かのように扱っているんだ。だから、今のタイミングでこういう論文が出るのは最適だし、ちょうどいい（むしろ少し遅いくらい）と思う。Substack全体に蔓延しているような議論に対して、いい回答になっているからさ。

十分なパワーを持つ基盤、例えばLEGOやグレーター・ボストン・エリアといったものの中に存在するいかなるエンティティも、同様の属性を提示し得ることに注意せよ。

これに関連してこれも見ておくといい：https://en.wikipedia.org/wiki/China_brain (https://en.wikipedia.org/wiki/China_brain)

このスレッドでリマインドしておきたいんだけど、この20年前のゲームが先週macOSに移植されてSteamで遊べるようになったんだ。もう一度遊びたいけどゲーミングPCが手元にないって人はチェックしてみて。

これが一体誰に向けたものなのかよくわからないな。哲学的な観点からLLMを擬人化することに抵抗がない人たち（単に便利だからとか、猫や犬、あるいは全然動かないバカなサーモスタットを擬人化するのとは違って）のほとんどは、コンピュータゲームにも人間のような要素が含まれているという概念をすでに完全に受け入れているはずだ。彼らは人間であることの重要な側面が基盤（substrate）に依存しないことをすでに認めているんだから、コンピュータゲームが基盤になるという考え方に何の問題があるんだろう？いまさら議論する余地なんてないと思うけどね。

こういう研究を見るたびに、「人間であること」を大切にすべきだと宣言する以上に優れた結論なんて出せないんじゃないかと思わされる。私たちを部分の総和以上にうまく説明できる抽象的な特性を探すなんて、結局は実りのない努力に終わるんじゃないかな。

人間のような属性というのは、物理で記述できるか、さもなくば魔法のどちらかだ。もし物理で記述できるなら、シミュレートも可能なはず。シミュレート可能なら、AoE IIを含めたあらゆるチューリング完全なシステム上で再現できることになる。

この論文、控えめで慎重に言葉を選んだ妥当な主張をたくさんしているね。

でもそのトーンは、誰かの視点を激しく論破しようとしているように聞こえる。正確には誰の、あるいは何の視点なのかはよくわからないけどね。単に僕が文体を読み違えているだけかもしれないけど。

（個人的には、この論文で触れられている一般的なケースは、意識の計算主義に対する良い反論の一つだと思う。これをさらにもっと不条理にすることもできるしね。

コップの中の分子の速度と、人間の心をシミュレートするチューリングマシンの状態の間には、何らかの同型写像が存在する。じゃあ、そのコップの水には意識があるのか？実際、ありとあらゆる可能な意識を持つ心との間に多くの同型写像が存在するわけで、そうすると全てのコップの水が同時にあらゆる可能な意識体験をしていることになるのか？）

うわ、この論文はひどいね。期待値は低かったけど、それでも本物のトンデモ理論が届いたよ。

主張があまりにも支離滅裂で、ひどく鼻につく修辞[1]で飾り立てられているから、直接批判するのは難しい。実際どんな主張をしているのか指摘しても、みんな信じてくれないだろうね。

とにかく、彼らの論文はこうだ：

まず、彼らは基盤（substrate）とプレゼンテーション層を混同している。次に、チューリング同値であればLLMを何の上でも動かせるという話を、AoE IIで論理ゲートを作るという無駄な余談を交えてひけらかしている。これによって、何であれプレゼンテーション層として使えるという結論を導いているんだ。

そして、コンピュータ画面上の抽象的な文字記号のような特定のプレゼンテーション層からの出力に人間のような属性を割り当てるのは自然だが、AoE IIのヤギのパターンやLEGOのような他のものに対してはそうではない、と主張している。そう、これはつまり、パートナーがLEGOで心温まるメッセージを書いてくれたら、その人を笑って「LEGOには知性がないから、これは何の証明にもならない」と指摘しなきゃいけないってことだよね。

そのあと、基盤独立性が真か偽かを前提とすると、基盤独立性が真か偽かを証明できなくなる、というようなことを言い出し、そこから（僕が見る限り直感だけで）システムの出力から属性について学べることはすべて循環論法であるかのように響かせている。

最後は支離滅裂な文章が続いて、幸運なことにそれで終わる。

[1] 「認識論的な観点から、我々は～というような一般化された結論には、適切に設計された実験が必然的に必要であると論じる」――全体がこんな感じ。

僕に見えるのは、ビットヤギについての混乱した話と、片方が交易や建築をしている間にスカウトで攻撃するプレイヤーの姿だけだ。エディタ上でビットヤギを使ってスクリプトを書いているなら、金が無限に供給されることなんて何の意味があるんだろう？つまり、メカニズムがチューリング完全だとしても、それがエディタでのスクリプトの組み方とどう関係があるのか全然わからない。

論文のタイトル自体がおかしい。「LLM」とは何らかの基盤の上で実行される抽象的な計算のことであって、それはGPUかもしれないし、紙かもしれないし、Minecraftかもしれないし、AoEかもしれないし、あるいはそれらを全部組み合わせたものかもしれない。

それはLLMの特性ではなく、チューリング完全性に付随する些細な特性にすぎないよ。LLMがなぜこの議論に関係あるのかさっぱりわからない。もしLLMに擬人的な特性があるなら、AoE IIにもあるよ。当然だよね、それって「創発（emergence）」って呼ばれるものだからさ。