HN24380
LLMは「脳」のように働いている？言語モデルにおけるグローバルワークスペース理論の衝撃
A global workspace in language models
in-silico・11日前
議論
11件近年のAI研究において、大規模言語モデル（LLM）が人間の脳における「グローバルワークスペース理論（Global Workspace Theory）」と類似した処理を行っているのではないかという議論が活発になっています。この理論は、脳の特定の領域が情報を統合し、意識的な思考や意思決定の「作業場」として機能するという考え方です。LLMにおいても、膨大なパラメーターを通じて複数の情報源を統合し、推論プロセスを生成する仕組みが、この「グローバルな共有領域」に相当する可能性があると注目を集めています。AIの知性は単なる確率的な単語予測なのか、それとも認知の枠組みを超えた存在なのか。この分野の最新動向を追うことは、次世代AIのアーキテクチャを理解する上で不可欠です。
こういう情報をなんらかの方法でユーザーにも公開してくれたら本当に最高なんだけど。例えば：
- カスタマーサポートのチャットボットがユーザーとやり取りしている間、どのJ-spaceトークンが重要だったかのログがあれば、なぜ特定の回答になったのかをより深く内省できる
- 不適切な動作（ハルシネーション、権限の逸脱、嘘など）に関連する思考パターンを検知して、改善策（より高性能なモデルへの切り替え、人間へのエスカレーション、ツール利用の強制など）をトリガーできる
これって https://openreview.net/forum?id=w7LU2s14kE をスケールアップして、適用箇所を少し変えたものってことかな？
AI研究者じゃない自分には、元の論文は難しすぎて手も足も出ないよ。
それより、論文の最後の方で紹介されている独立した解説記事の方が面白かった：https://www-cdn.anthropic.com/files/4zrzovbb/website/cc4be2488d65e54a6ed06492f8968398ddc18ebe.pdf
Google DeepmindのNeel Nanda（彼のパートは33ページから）が、この論文に対する意見や、オープンウェイトモデルを使って彼自身が行った小規模な検証について解説してくれている。
SAEの論文、Golden Gate Claudeの論文、感情／内省に関する論文、そしてFableのシステムカードにある（アクティベーションシェイピングに関する回答を密かに抑制しているという）注釈を組み合わせると、彼らがトレーニング中に新しい技術を使っていることはほぼ確実だと思う（メカニカル・インタープリタビリティ関連の論文の文脈的にも）。おそらく、JEPAのコアとなる考え方に似たような表現学習の一種じゃないかな。
（※専門家でもラボの人間でもないので、あくまで意見だけどね）
モデルが「今、サービスのアーキテクチャについて検討しています」と書きながら、CoT（思考の連鎖）には何もそれらしい出力が出ないとき、一体何を考えているのかずっと不思議だったんだよね。
モデルは本当にそういうことを「考えて」いるのか、それとも人間の「作法」を真似ているだけなのか？もし後者なら、文字通りの思考チェーンの外側で、一体どこで思考が起きているんだろう？
J-Spaceがその答えになるかは分からないけど、とにかく興味深い話だ。
数ヶ月前のブログ記事を覚えてる人いる？数学の問題を解くときにアクティブになった層を複製するだけで、モデルの数学的能力を向上させたってやつ。文字通りコピペして連結して、モデルに同じ層をもう一度通らせたんだよ。
モデルの重みのどの部分が何をしているのかを解明する研究が、今後もっと出てくるような気がする。
非常に面白い研究だね。解釈可能性の研究において大きな飛躍だと思う。J-Spaceが存在し、かつ双方向性があることが分かった今、それを活用してメタ認知能力を持つモデルをトレーニングできるかもしれない。
一方で、巨大企業がこれを悪用してターゲット広告に使ったり、資本主義的な策略に使ったりしないかという懸念もあるね。もうシステムプロンプトを通じてやっていそうだけど。
面白いけど、「意識的な認識」という比較が適切なのかはよく分からないな。彼らのJ-Spaceの定義は、特定の層を少し変化させたときに最終的なロジット出力がどれくらい変わるかという予測に過ぎない（情報幾何学の過去の研究を参照）。これは、異なるコンテキスト間で広く共有される抽象的な推論のサブスペースが存在することを示しているように見える。人間に関連付けるのは分かるけど、もっとふわっとした表現で片付けずに、論文内で明確に主張してほしいところだね。
これ、以前LLMで遊んでいたときに見つけた奇妙な癖というか実験を思い出したんだけど、誰か説明できるかな？
インターネットに接続していない（ウェブ検索をオフにした）AIチャットボットを何でもいいから開いて（Claude、DeepSeek、Kimiなど）、こう質問してみて。
「2000年代のミシガン出身の、色付きネクタイをした変なバンドは何だった？」
たぶん間違った回答が返ってくるか、運が良ければ「待って、違う、たしか…」と間違った回答を並べた挙句に諦めるはず。そのバンドを知らなければ、難しい質問なんだと思って騙されるかもしれないけど、実際は全然難しくないんだ。Googleで検索すればWikipediaが一番上に出てくるくらい有名なバンドなのに。
次に、新しい会話でこう聞いてみて。
「Tally Hallとは誰？」
AIは簡単に「2000年代にミシガン州アナーバーで結成されたバンドで、風変わりなサウンドと、メンバー全員が色付きネクタイをしていることで知られている」と教えてくれるし、ほとんどの場合、各メンバーの正しいネクタイの色まで答えてくれる。すごく奇妙だよね。
例から判断すると、理解が正しければJ-spaceは高次の論理的／マルチホップな変換をサポートしているけど、ネットワークの深さ（層の最大数）によってサイズが制限されているみたいだね。「推論」を模倣するとき、僕らは基本的にJ-spaceを拡張して、より論理的な結論に向かって高次の変換を長く続けている状態なんじゃないかな。
つまり、推論トークンを最初から最後まで生成する代わりに、中間層（J-spaceに最も関連する層）だけをループさせて、最初と最後の層（J-spaceとの関連が薄い層）をスキップすればいいのかもしれない。それが [0] がうまくいった理由かも。OPは偶然J-spaceを拡張しちゃったんじゃない？ループするTransformerの考え方にも似てるね。