【Transformerの仕組みを完全解明】Transformer回路の数学的フレームワーク（2021）

Transformerアーキテクチャの内部構造を数学的に紐解いた、歴史的な論文「A Mathematical Framework for Transformer Circuits (2021)」についてです。この研究は、Transformerがなぜこれほど強力なのか、その挙動を「回路」の視点から解析し、モデル内部の重みとアテンションのメカニズムを定式化した非常に重要な文献です。

B-Hカーブや励磁電流の話はなしか。それなら、例の別の回路で使われる、あの別の種類のトランスフォーマーの話だな。

前回のプロジェクトであるDistill Circuitsの取り組みでは、ビジョンモデルのリバースエンジニアリングを試みていたけど、トランスフォーマーや言語モデルに関して同等のプロジェクトは今のところないね。

で、あれってどれくらい成功したの？

何度も読もうとはしたんだけどさ。めちゃくちゃ長いんだよね。読む価値ある？

LLMが示している異質な能力を考えると、世間一般のメカニカル・インタプリタビリティ（機械的解釈可能性）への関心の薄さには驚かされる。これや、それに続くtransformer-circuits.pubの論文は、数年後には古典的で基礎的な研究として見なされるはず。

これは教科書に数章割いてその知見を紐解くべきレベルの論文だね…。気に入ったポイントをいくつか挙げてみるよ。

1. 「ウサギとアヒルの騙し絵」みたいな瞬間があってさ。アテンション周りの線形代数を全く別の視点で再定義して見せてくれるんだ。Q、K、V行列を重視する代わりに、それと数学的に等価で、かつ解釈可能性の観点から非常に有用な、より大きな行列セットを強調している。（だから「キー」や「クエリ」といった曖昧な例え話こそがアテンションを理解する唯一の方法だと主張する奴は信用しちゃダメだ！たぶんこの論文を読んでないんだろうから。）

2. LLM内部における「残差ストリーム（residual stream）」の重要性が示されている。最初に説明を受けた時は、学習を安定させるための単なるバイパスの連続だと思っていたけど、そうじゃなくて、埋め込みから出力までモデル全体を通るメインの通信バスのようなものなんだ。アテンションヘッドやフィードフォワードは脇に控えていて、ストリームの中に埋め込みを「追加」していく感じ。この理解の仕方のほうがLLMのアーキテクチャを理解する上でずっと腑に落ちるし、今ではアーキテクチャ図を見ると、頭の中で残差ストリームを中心にした図に描き直す癖がついちゃったよ。