Astraのリカレントアーキテクチャはどこまで懸念すべき？技術的な見解を整理する

Astraが採用しているリカレント（再帰型）アーキテクチャについて、どの程度警戒すべきなのでしょうか？設計上のリスクやパフォーマンスへの影響について、皆さんの意見や考察を聞かせてください。

Transformerのレベルでもっと再帰（reccurance）を取り入れるっていうアイデアはいいと思う。Chain of Thought（思考の連鎖）っていつも不格好に見えるし。人間の脳が情報を処理するやり方とは到底思えない。せいぜい、極めて大雑把な近似でしかないよね。

関連する現在進行中のスレッド：

OpenAIの新しい推論技術がAI安全性専門家に警鐘を鳴らす - https://news.ycombinator.com/item?id=49552395

ループするTransformerにおいて深ければいいというわけではない、というのが、数百もの再帰ループを持つTransformerへの過度な競争を心配しなくて済む理由の一つ

これには同意できないな。深い方が「少なくとも同等」の性能は出せるはず。余分なループは早期終了させるか、単純に何もしない（no-op）ようにすればいいだけだから。今、ループ数が多いほど性能が落ちているように見えるのは、単に学習の安定性の問題であって、克服できるものだと思う。

深ければ深いほど良くなるのはほぼ間違いないし、将来的に何百回どころか数百万回の再帰ループを目にすることになるんじゃないかな。

古典的なRNNとは対照的に、軌道全体を通して蓄積される非有界な隠れ状態というものがない

この一文がよく分からないな。古典的なRNNにおける隠れ状態は「有界」な次元だし。むしろ、技術的に隠れ状態が非有界なのはTransformerの方でしょ。

古典的な非線形RNNを並列化できない理由は色々あるけど、学習時においてRNNもTransformerも、どちらもシーケンス履歴全体に依存しているという点ではどちらも非有界だよ。もちろん、実際には最大シーケンス長を決めて学習するわけだけど。

RNN xhat[t+1]=f(x[t],h[t])

Transformer/self-attention xhat[t+1]=f(x[t],h[t],h[t-1],...,h[1])

Sebastian Raschkaがこのアーキテクチャについて投稿してたよ：

今日、タイムライン上でOpenAIのAstraモデルに関する誇大広告がすごい。どうやらこれはThe Informationの新しい記事に端を発しているようで、Astraは「再帰的深さを持つ、あるいはループするTransformer」だと書かれている。

閉鎖的なラボが何をしているのかという噂を含め、新しいアプローチや異なるアプローチについて読むのは面白いんだけど、少しだけ冷静に見てみよう。

例えば2ヶ月ほど前、私はNanbeigeのアーキテクチャ詳細を共有した。「Nanbeige4.2-3Bは、パラメーターを増やすことなく容量を増やすためにレイヤースタックを再利用するLooped Transformerを使用して、28Tトークンでゼロから事前学習されている」というものだ。

そう、その通り。Looped Transformerのアイデアっていうのは、単にTransformerブロック内のレイヤーを使い回すだけのことだよ。

Nanbeigeの場合、主なアイデアは22層のスタック（=Transformerブロック）を1回ではなく2回使うこと。つまり実質的に22層のアーキテクチャを44層に拡張しているけど、重みを複製しているわけじゃない。

単純に言うと、これはモデルサイズを（埋め込み層と出力層は一旦無視して）約2倍にするのと同義。でも、モデルをホストするためにストレージとRAMを2倍必要とするわけじゃなくて、コンポーネントを再利用するから同じサイズのまま。ただし、埋め込まれたテキストを2倍近く多くのレイヤーに通すことになるから、計算コストに関してはほぼ2倍かかる。

なぜそうするのか？Nanbeige 4.2の技術レポートによると、研究者たちは「2回パスを通すのが最も効率が良く、標準的なアーキテクチャの約75%のトークン効率を維持できた」と結論付けている。（パスを増やしてもほとんど性能向上はなく、学習がより遅く、より高価になるだけだった。）

私が知る限り、Nanbeige 4.2はこのアプローチを採用した最初の注目すべきオープンウェイトモデルだけど、このアイデア自体はNeurIPSの論文「Mixture-of-recursions: Learning dynamic recursive depths for adaptive token-level computation」まで遡る。実際、その論文では、各トークンが1回、2回、あるいはそれ以上のパスを通るべきかを学習済みのルーターが判断するという、もう少し洗練されたメカニズムを提案している。これなら簡単なトークンは早期終了して、難しいトークンには追加の計算を割り当てられるわけだ。

要するに、Astraは本当に良いモデルかもしれないけど、この「looped transformer」的な側面ばかり騒ぐべきじゃない。単なる小さなアーキテクチャの調整に過ぎないんだから。

https://x.com/rasbt/status/2095141254958858496

2018年に出たUniversal Transformersの論文（Dehghani他）を覚えてる人いる？再帰的Transformerには、Transformerそのものと同じくらい長い歴史があるよ。

これが計算量を節約する手法と比べてどれほど新しいものなのか、ちょっと疑問だね。

32層モデルを2つ繋げることが、なぜ「思考の連鎖における難易度」という点で64層モデルと同等と言えるのかがよく分からない。この推論は、各トークンの処理ステップ数が固定されているという前提に基づいているように見えるけど、私の理解では、それが元々テキストか他のデータかにかかわらず、推論されるデータの種類によって大きく異なるはずなんだけど。この場合、グラフ理論に立ち返って、64層モデルにおける分岐の可能性や、それに伴うあらゆるトレードオフを想像してしまうな。

何かここでの本質的な考え方を間違えているのかもしれない。

中間トークン（Chain of Thought）はモデルの論理パスを表現したものではない、という認識だったんだけど。ある研究では、中間トークンを単一の文字チェーンに置き換えても精度が向上したという観測結果もあったし…

つまり、OpenAIの解釈可能性（AI安全性）に対するスタンスは、今やあの『ブルース・ブラザース』のミーム状態ってことだよね。サングラスをかけた男二人が、夜中にフロントガラスが割れた車をアクセル全開で走らせながら「何かマズいことでもある？」って言ってるような。