GPT-6とAstraの衝撃：ループするTransformerと未知なる推論エンジンの正体

最近話題のGPT-6の展望や、Astraプロジェクトの動向について。特に注目すべきは、従来のアーキテクチャを超越する『ループ構造を持つTransformer』の可能性と、モデル内部に隠された推論メカニズムの進化です。これらが今後のAI開発にどのような変革をもたらすのか、技術的な側面から深掘りします。

LLMの内部構造に関心があるなら、Sebastianの投稿は必読。本当に素晴らしいから。要するに、「The Information」の最近の記事[0]でGPT 6 Astraが「再帰的な深さ」や「ループ型トランスフォーマー」を使っていると報じられた件だけど、さもそれが「秘密の技術！」みたいな恐ろしい新技術で、思考のプロセス（train-of-thought）の監視が難しくなるかのように書かれていた。実際は、単にトランスフォーマーのレイヤーを積み重ねるのと同じで、重みを再利用することでGPUメモリを節約しているに過ぎない。トークンを一度に一つ生成していることに変わりはないし、トークンのシーケンス位置が通常のLLMアーキテクチャと異なる「再帰的な」相互作用をしているわけでもない。だから、OpenAI側であれば、こういったモデルでも思考のプロセスを監視することは十分可能だよ。ただ、ユーザー側はo1の時代から要約されていないトレースは見ることができていないよね。これは研究機関が、中国のラボにモデルを蒸留されることを懸念しているからだ。トランスフォーマーのレイヤーを無限に積み重ねることに関する正当な解釈性の懸念は確かにあるけど、それは以前から知られていることだし、ここでの「ループ」が新たな問題の源泉になっているわけじゃない。単にレイヤーを増やすための安価な手段という点を除いてはね。

Astraは月曜まではめちゃくちゃ凄かったのに、火曜に何かが起きて、今じゃSolみたいな感じだ。失われた生産性を嘆いているけど、元のAstraに戻してくれることを願うよ。

トランスフォーマーモデル全体をループさせたら、それは定義上「隠れた推論」になるんじゃないかな。モデルの出力が推論トレースそのもので、それを推論時に外部に出力せずに再びモデルにフィードバックしているなら、定義上それは隠蔽されていることになる（ただ、そのトレースと最終的な出力トレースの両方を引き出すことは可能だと思うけど）。

研究者向けに、どのような計算問題にどれくらいのCoT（思考の連鎖）が最小限必要かについての参考リンクを自分のブログにまとめているよ：https://blog.wtf.sg/posts/2023-02-03-the-new-xor-problem/ 特筆すべきはWill Merrillの研究だね：https://arxiv.org/abs/2310.07923 ユニバーサル・トランスフォーマー（ループするトランスフォーマーのことだけど、みんな以前の研究を忘れているよね）がこれにどう影響するかについては、Will Merrillがまさにその点を議論した論文を出している：https://arxiv.org/abs/2503.03961 元々のユニバーサル・トランスフォーマーは、トークンごとのループ判定を許容すれば、理論上CoTなしでチューリング完全になれる（精度のレベルについては多少のニュアンスはあるけど）から「ユニバーサル」と呼ばれているんだ。CoTが少ない、あるいはゼロなのが「安全でない」かどうかについては、モデルのCoTが実際に回答に至った過程を明示しているのかどうかすら明確じゃない。例えば、CoTが出る前に回答を提供していたらどうなる？（https://arxiv.org/html/2603.01437v2 ）もしこれが既に疑わしいのであれば、モデルの推論を監視するためにCoTに頼るべきではない。いつものことだけど、詳細に踏み込めば踏み込むほど、このトピックには多くのニュアンスがあるね。

MSPAINTでのPC操作デモには顎が外れるほど驚いた。やっていること自体はSVGペリカンの時と大きく変わらないかもしれないけど、リアルタイムで動作しているのを見るとやっぱり凄いな。

個人的な経験談だけど、特定の物質を摂取した時にループする認知を体験したことがある。思考を固体として扱い、反復的に操作することができた。（普段はすぐに消えてしまう「ちらつき」や「閃光」に近いんだけど、脳内のトレーサーのようなものだと思えばいいかな。）思考を板のように積み重ねることもできたよ。（普段も似たようなことはできるけど、あの時のように幅広くはできない！）残念ながらテストはしなかったけど、主観的には認知能力が劇的に向上していたんだ。（あの夜に得た洞察を理解するのに数年かかった。）関係ないかもしれないけど、「ループ型トランスフォーマー」という言葉を見て、似たような「段階的な」増幅が起きているのか気になった。追記：まあ、6.8～18%というのは、自分が言っていたものよりは少し控えめな数字だね。

混乱した報道によって引き起こされる、監視不能な競争を防ぎたい。Astraを含む現在の最先端モデルにおける計算グラフの深さは、GPT-4の2倍以内だ。OpenAIは、最初の推論モデルからずっと、思考プロセス（CoT）の監視を維持・活用するために取り組んできた。我々はこの技術を深く重視している。なぜなら、モデルのアライメントが訓練分布からどう一般化されるかを可視化できるからだ。確かに脆弱ではあるし、残念ながら悪い方向に進んでいるという認識もある。それはアーキテクチャの変更だけが理由ではないので、そのうち書くつもりだ。だが、それを強化するためにできることはあるし、現在の研究プログラムの核心目標でもある。 - Jakub Pachocki (OpenAI チーフサイエンティスト) これってアライメントに対して本当に役立つのかな？モデルは自分が評価されていることを理解していて、こちらの聞きたいことを言っているだけだと既に判明していなかったっけ？

ループ型トランスフォーマーの大きな懸念は、モデルのアライメントを監視しにくくなることだ。テキストを出力せずに潜在空間でより多くの処理が行われるということは、効果的で頻繁なCoT監視ができなくなることを意味し、監視外の潜在空間で厄介なことが起きる可能性が高まる。

「Mixture of Depths」の論文が出てこないのが少し意外だな。あれは時々レイヤーをスキップするという逆のアプローチをしているよ：https://arxiv.org/abs/2404.02258

みんな、どうやってLLMを使っているんだ？Astra lightの方がSol Highより劣っていると感じるなんて、どういう環境で使っているの？