AIがAIを育てる？進化する仮想世界で自己改善する「Dream-RSI」とは

「Dream-RSI: Recursive Self-Improvement through Evolving Worlds」は、進化し続ける仮想世界を活用して、AI自身が再帰的に自己改善（Recursive Self-Improvement）を行うための新しいフレームワークです。単なる学習を超え、環境との相互作用を通じてAIの能力を自律的に向上させるという、次世代AI研究の最前線に迫るアプローチです。

これがなぜ革新的なのか、もし理由を含めて説明してくれる人がいたらすごく助かるんだけど。

自分の勘違いでなければ、これを「RSI」と呼ぶのは誤解を招くのでは？これは現在の学習手法の最適化手法としては優れていると思うけど、システムが永遠に自己改善し続けるような意味での「RSI」とは違う気がする。

https://github.com/DanMcInerney/orchflows でこれの簡易版を /self-improve として作ってみたよ。履歴をステート元帳として使い、メモリとRSIは履歴を証拠として参照して書き換え可能にするという仕組み。ほとんどのメモリライブラリにおいて、強力で不変なステート管理が欠けているピースなんじゃないかと思ってる。

オフポリシー評価のために履歴からリプレイシミュレータを作るのは賢いやり方だね。コストのかかるロールアウトを回避できるし。でも、探索空間が広がるにつれて、ポリシーがすでに見つかった枝に過学習して停滞してしまうのをどうやって防いでいるんだろう？

自分の理解が間違っているかもしれないけど、この論文がやっていることを自分なりに解釈してみたよ。例えば、MNISTのような手書き文字認識を解く課題があるとしよう。3人のエージェントに「このデータセットの認識精度を上げるために頑張ってくれ。改良ステップは10回までね」と指示する。計算リソースは有限だから、各エージェントに無制限にステップを与えることはできない。

最終的にエージェント1は精度90%、2は80%、3は89%になったとする。当然エージェント1が勝者だよね。

でも改良プロセスを見ると、エージェント1は2ステップ目ですでに90%に達していた。つまり後の8ステップはほとんど無駄だったことになる。一方でエージェント3はステップ10まで着実に精度を伸ばしていたかもしれない。

各ステップの記録があれば、次はどうリソースを配分すべきか分かる。エージェント1にはそれほどステップを割り当てず、エージェント3にもっと多くのステップを与えれば、より良い結果が出せるかもしれない。

これが彼らが作った「検索コントローラ」の正体じゃないかな。新しい問題に対して、どうリソースを効果的に割り当てるかを自動評価して再適用する仕組み。ただ、ある問題でうまくいかなかった経路が、別の問題でも同じように停滞するとは限らないから、新しい問題への汎用性がどれくらいあるのかが疑問だね。

正直よく分からないな。具体的な例があると助かる。過去のステートの集合から「シミュレータ」を作ったというだけじゃ、何が凄いのかピンとこない。

どう見てもこれをRSI（再帰的自己改善）と呼ぶのは無理があるよ。探索ポリシーの反復的なオンライン最適化であって、再帰的な知能とは程遠い。システム環境の変化に合わせて、利用可能な計算リソースを（うまくいけば）より有望な探索空間へ再配分しているだけに過ぎない。

ずっと「AGI」や「RSI」はモデルレベルの話だと思ってたんだけど、この論文は「エージェント」とかの話をしてるよね。エージェントの群れを使ってブルートフォースで問題空間を探索するのが、果たして「AGI」と言えるんだろうか。もし間違っていたら指摘してほしい。

ちなみに、この論文は2019年に発表されたDanijar Hafnerの「Dreamer」シリーズへの参照だよ。彼はずっとこの研究を継続してアップデートしてる。https://arxiv.org/abs/1912.01603

TalkRLのポッドキャストでの解説も分かりやすくて面白いよ。
https://www.talkrl.com/episodes/danijar-hafner
https://www.talkrl.com/episodes/danijar-hafner-on-dreamer-v4/transcript

ここって「再帰的自己改善（RSI）が危険だとなぜ誰も懸念していないのか」を聞くのに適した場所かな？個人的には非常にまずいアイデアだと思うんだけど、RSI推進派の意見も聞いてみたい。