OpenAIの内部を覗く：研究開発を加速させる「驚異の仕組み」とは？

OpenAIがいかにして驚異的なスピードでAI研究を加速させているのか、その舞台裏に迫ります。

冒頭の段落は少し退屈で読み飛ばしちゃったけど、OpenAIの研究者自身がどうやって自分たちのツールを使っているかという核心部分に入ると、ぐっと面白くなるね。あと気になったのは、RSI（再帰的自己改善）という頭字語を説明なしに使っている点。これはちょっと感覚がずれてる気がする。OpenAI界隈の外では、RSIなんてまだ一般的な略語じゃないでしょ。

どうしても情報が見つからなくて気になっているのは、もし以前の整合性の取れていない（ミスマッチな）生成物が、現在のモデルにそのズレを伝播させていたと判断した場合、彼らが安全なチェックポイントまでロールバックして構築し直すのかどうかということ。まあ、強制されない限りやらないだろうなと疑ってるけど。

これ、自分の体験とも大体一致してる。3月くらいから、より強力なモデルと自分なりのツールを組み合わせることで、24時間365日放置でジョブを回せるようになったんだ（Anthropicのサブスクと自前のハードウェアを使って）。ただ、研究者1人あたり1日8000ドルも使ってるっていうのは異常だよね。どうやってその作業内容を追跡管理してるのか気になる。

...私たちがこの研究を進めている理由の一つは、自動化された研究がアライメント（整合性）の問題を解決し、ますます高性能になるAIに対する防御を構築する助けになるからだ。自動化されたAI研究者は、自動化された安全性やアライメントの研究者にもなり得る。より高性能で整合性の取れたシステムは、重要なインフラを保護し、危険なAIエージェントから守り、新たな防衛策を開発する助けになるだろう。

言い換えると、「AIの進化から身を守るために、AIをさらに進化させなければならない」ってことか？

追記：このブログ記事には批判すべき点が多すぎる。特に気になった点をあと2つ挙げておく。

1）指標が実質的に「AIをこんなに大量に使ってるぞ！」と言っているだけで、成果については何も語られていない。これだけトークンを浪費して、結局何が得られたんだ？「前よりもセルフサービスで完結するおもちゃが増えました」とでも言いたいのか？

2）第3セクションでトークン消費の内訳が書かれているが、支出の大部分は「a）構築」「b）ドキュメント作成」「c）研究インフラの監視」だ。つまり、アライメントが取れていないかもしれないと自認しているAIシステムを使って、将来のアライメントのズレを特定するシステムを構築しているってこと？それに対する反論は「いやいや、これらは整合性が取れているって確信してるから！」ってことなんだろうか。

AI 2027年への道のりに落ちているパンくずリストが、（悲劇的だけど）面白いね。

私たちは、人間の監督下でディープラーニングやアライメントを推進し、反復的な改善を可能にする自動AI研究者を安全に構築することを目指す [...] 「リサーチインターン」とは、人間の指示の下で、熟練の研究者なら数日かかるような定義済みの研究タスクを実行できるシステムを指す。

AI 2027年：

OpenBrainは、反復的に進化するAgent-1を社内のAI研究開発に導入し続けている

Agent-1の助けを借りて、OpenBrainは現在Agent-2のポストトレーニングを行っている

数千のAgent-2自動研究者の助けを借りて、OpenBrainはアルゴリズムの主要な進歩を遂げている

自分の価値観と一致した全知全能のAIが欲しい。誰か他の人じゃなくて、俺の価値観に合うやつ。それってそんなに高望みなのかな？