LLMの思考プロセスを解き明かせ！メカニスティックな解釈可能性と因果理論の融合

LLM（大規模言語モデル）の内部で何が起きているのか？その「ブラックボックス」を解明するべく、メカニスティックな解釈可能性（Mechanistic Interpretability）の研究者たちが、因果推論理論を応用する新しいアプローチを提案しています。詳細な論文はこちらから確認できます：https://arxiv.org/abs/2301.04709

ニューラルネットが理解できない理由として考えられる一つの説は、その性質上、複雑な接続と重みが増すほどパワーが大きくなるってことだよ。

論理システムとは真逆で、ニューラルネットのアーキテクチャ自体がパラメータの「スパゲッティコード」の塊になっていて、それが全体を暗号化されたブラックボックスにしてしまっている。AIやAGIが強力になればなるほどこの傾向は強まるし、これは複雑性の曲線に例えられるんじゃないかな。

だから、こういうブラックボックスの計算を解明しようとする努力は、エントロピーを逆転させようとするような、つまり廃熱で失われた情報を復元しようとするようなものかもしれない。それが人間と人工脳の両方を理解する上での根本的な障壁になっている可能性があると思う。

（最近ふと思った個人的な仮説をつらつら書いただけだから、専門家じゃないし全くの見当違いかもしれないけどね）

関連する論文についての2MP（2 Minute Paperのことかな）があるよ：https://www.youtube.com/watch?v=l72ufA-4SzE

この記事は哲学的な意味での「推論」についてではなく、「機械論的な解釈可能性（mechanistic interpretability）」の研究について書かれているね。タイトルを言い換えるなら「ニューラルネットワークにエンコードされた『知識』が、実際の推論のような概念に対応しているかを理解できるか？」という内容で、重みや活性化を調整するような実際の実験を通した話だよ。

面白い例があって、研究者たちはモデルが時計の時刻計算とカレンダーの月日計算に同じアプローチを使っていることを確認したんだ。じゃあ、これはネットワーク内に「周期的な尺度」という根本的な概念が浮上してきたからなのか？っていう話だね。

個人的には、重みの中に推論のプロセスを探そうとは思わないな。少なくとも直接的にはね。理論上は、LLMを「すべての可能な入力文字列」から「出力トークンまたは出力トークンの分布」へのマップに置き換えれば、重みなんて不要にできるはずだ。重みや活性化のレベルで、次のトークンが『the』になるのがまともな推論の結果なのか、それともハルシネーション（幻覚）なのかを判断するなんて、想像するだけで難しい。でも、重みは無意味に存在するわけじゃなくて、学習中にモデルが見た大量のテキストをエンコードしているわけで、それが推論を駆動しているんだと思う。『以下の多項式を計算せよ……』という入力は、学習データにある『多項式を計算するには……』と関連付けられるはず。僕ならそのレベルで推論を探すね。つまり、特定のことを行うための暗記されたパターンや、汎化のためのプレースホルダー変数のようなものだ。最終的にはそんな構造も当然重みに表現されるはずだけど、それを解明するのは不必要に難しい気がする。あるいは、学習されたパターンが複雑すぎて単純な表現では表せないだけかもしれないけど。

「機械論的な解釈可能性によって、LLMがいくつかの単純な数式に還元されることはおそらくないだろう」とIcardは結論付けている。「だが、ディープニューラルネットワークを、隠れたアルゴリズムが少なくとも部分的には理解可能なシステムへと徐々に変えていくことはできるかもしれない」

この楽観論の根拠って何なんだろう？

[トピック外のためスタブ]

[[皆さんへ：釣りタイトルに対して浅い定型文の反応を投稿するのは控えてください。それらは基本的に https://en.wikipedia.org/wiki/Rubin_vase と同じようなもので、ここではもっと実のある議論を目指しています。]]