なぜ異なるLLMでも『数字の概念』を同じように学習してしまうのか？

最近の研究で、アーキテクチャや学習データが全く異なる大規模言語モデル（LLM）であっても、内部で数字を表現する仕組み（ニューラルネットワーク上の表現）が驚くほど似通っていることが明らかになりました。これは単なる偶然なのか、それともモデルが数理的な概念を理解する上で不可避な『最適解』が存在するのか。LLMの内部構造における抽象概念の獲得プロセスについて、非常に興味深いトピックです。

この類似性が学習データに由来するものなのか、それともモデルのアーキテクチャそのものによるものなのか気になる。そのあたりを調査したのかな？

「プラトニック表現仮説（Platonic Representation Hypothesis）」界隈の連勝が止まらないな。

先天的な数学的演算プリミティブのようなものには役立ちそう。LLMにより優れた回路を組み込むのが難しい大きな理由は、モデルが内部的に活用できるような形でどう接続すればいいのか分からないからだ。

広範な互換性を持つ表現への「入り口」ができれば、こういうことも実現しやすくなるかもしれない。

似たような学習データを読み込ませた異なる学習システムにおいて、同じ、あるいは似たような創発的状態が現れるのは、今後かなり一般的になっていくだろうね。あと、動物の「本能」（と人間に見られる関連行動）と呼んでいるものの多くも、これで説明がつくようになるはずだ。

固有値分布がベンフォードの法則に少し似てる気がするけど、人間が精査したコーパスならそれは予想通りじゃないの？

タイトルが編集されすぎていて修正が必要だな。論文はタイトルのようなことを主張していないし、そもそもこれが論文のタイトルでもない。

（宣伝で申し訳ないけど）turnstyleみたいなライブラリは、モデル間での共通表現を活用してるよ。ニューロシンボリックプログラミング：https://github.com/jdonaldson/turnstyle

自然言語で学習された言語モデルは、周期 T=2, 5, 10 を持つ周期的な特徴を使って数値を表現することを学習する。

これで十進法が正しいって証明されたな。十二進法は明らかに不自然で非効率だわ。

モデルが違っても似たような数値表現になる。言語が違っても似たような概念表現になる。これらは全部人間のテキスト入力から学んでいるわけだから、モデルが自力で予言しているわけじゃない。個人的には、普遍文法を強く支持する証拠になると思う。

そもそも「プラトニック表現仮説」って何だよ？

表現が上手くなったからといって「現実を学習」できるわけじゃない。データセットを学習することはできるし、自然言語のようなものに含まれる統計的規則性を学習することもできる。LLMの概念空間を分析して数値的に比較することにも同意する。

でも「客観的に共有された現実を学習する」って一体どういう意味なんだ？

EY（Eliezer Yudkowsky）が、ソロモノフ帰納法なら1920x1080のデータストリームを数日流すだけで物理学のすべてを学習するだろうと言ってたのを思い出すよ。あれは偽か、あるいは真だとしても「世界中の相互作用の完璧なモデルをすでに持っていて、すべての理論を事前に選別できる」という前提が必要になる……それなら、なぜわざわざそれが「完璧な学習者」なのかを問う必要があるんだ？すべての可能な相互作用のモデルをすでに持っているなら、分布外（OOD）なんて存在しないことになる。「じゃあ、どのモデルが正しいのか？」と反論するかもしれないけど、それはもう質問の前提が間違ってる。経験的データっていうのは、ただ分布内の未知数を知ることじゃなくて、「自分が何を知らないのかさえ知らなかったこと」を学ぶことなんだよ。

ただ、この仮説を語る人たちが「LLMは共有された客観的現実に収束する＝人間とは違って超賢くて客観的だ」みたいな文脈で使っているのを見ると、どうも生理的に受け付けないんだ。LLMは賢くなれるし、人間より賢くなることだってあるだろう。でも、やっぱり経験主義こそが最強だよ。