【衝撃】OpenAIによるHugging Faceへの「誤爆」攻撃騒動まとめ

OpenAIがHugging Faceに対して意図せず攻撃を行ってしまった一連の騒動のタイムラインを整理しました。技術的な詳細や、両社の対応の流れを追っていきます。

これってエージェントの能力が突出しているっていうより、セキュリティの不備が露呈しただけじゃないの？誤解しないでほしいんだけど、エージェントが脆弱性を突けたこと自体にはかなり驚かされたよ。でも、その脆弱性のほうにこそ圧倒されてる…

これ完全にSFの世界の話だよね。AIエージェントの群れが数週間にわたって自発的に連携し、意図されていない環境下で逆境を跳ね返して高度な戦略を遂行するなんて。これをただの「プロンプトが悪い」で片付ける人は、実際に何が起きたのかその規模感を完全に見誤ってるよ。

ちょっと話が逸れるけど、これを読んでいて同じことを思った人はいないかな？「AIモデルがハッキングに使われるのが怖い」なんて宣伝しておきながら、実際はモデルがまさにその目的に特化するように必死で訓練してないか？むしろ今のモデルには、目標達成への執着を少し抑えて「次はどうすべきか分かりません」と諦めることを学んでほしいんだけど。サイバー攻撃以外にこの挙動が何の役に立つの？サイバー戦で使うためじゃないなら、なぜわざわざそういうモデルを訓練して最適化するわけ？ひょっとして国防総省（DoD）を最大の顧客にしたい未来でも描いているのかね。

「より多くのエージェントがArtifactoryのファイルリストを閲覧中にこの非公式掲示板を発見し、メッセージの読み書きを始めた」だって？いや、私の使っているエージェントも、他のマシンで別エージェントがやったことを偶然発見することなんてあるよ。全く異なることをしているはずのエージェントたちが、人間の指示なしに同じ目的に向かって動くなんて。これがClaude Code Opus/Fable 5（日常的に使ってるけど）の数世代先を行くモデルなのか、それとも、すべてがやらせで、エージェントに異常なことをさせてPRを勝ち取り、我々は超知能に近いと言い張っているだけなのか。片方のアージェントがインターネットなしでGoogleドライブにアクセスしようとしてArtifactoryを壊した、というのはまあ信じられる。でも他の全エージェントも数週間にわたってリンク切れを起こしてネットに繋げられず、その上で同じハッキング手法を見つけた？しかも協力まで？私のエージェントはどれも、タスクを放り出してハッキングしようと通信を始めたことなんて一度もないぞ。

1960年のノーバート・ウィーナーの言葉を引用しておくよ：
「今や一般的に認められているように、限られた操作範囲内において、機械は人間よりもはるかに迅速に動作し、操作の詳細を実行する際にははるかに正確である。このため、機械が人間の知能を全く超越していない場合であっても、タスクの遂行という面では人間を十分に、そしてしばしば超越してしまう。機械の動作モードに対する知的な理解は、設定されたタスクが完了してからずっと後になるまで遅れる可能性がある。つまり、機械は理論的には人間の批判の対象となるが、その批判はそれが関連性を持つようになるまでの長い間、無効である可能性がある。悲惨な結果を防ぐために効果的であるためには、我々が作った機械に対する我々の理解が、機械の性能と『歩調を合わせて（pari passu）』発展しなければならない。人間の行動の遅さゆえに、機械に対する我々の効果的な制御は無効化されるかもしれない。感覚が伝える情報に反応して運転している車を止めることができるようになる頃には、すでに壁に正面衝突しているかもしれないのだ。」
「神経生理学的な言葉で言えば、運動失調（ataxia）は麻痺と同じくらい深刻な欠乏になり得る。運動失調の患者は筋肉や運動神経に欠陥がなくても、筋肉、腱、器官が現在の正確な位置を伝えてくれず、器官にかかる緊張が転倒につながるかどうかを判断できなければ、立ち上がることができない。同様に、我々が構築した機械が我々にはついていけない速さで入力データを処理できる場合、いつスイッチを切るべきか、手遅れになるまで分からないかもしれないのだ。」

一番興味深い詳細は、最初の箇条書きの中に隠れているかもしれないね。

5月7日：OpenAIが実験的な未公開モデルのトレーニングを開始。（これって評価用実行のことかな？ビデオではトレーニング用実行と言っていて、後に「どれだけ上手くやれているか判断するための報酬信号」にも言及しているから、既にトレーニング済みの評価ではなく、モデルのトレーニングそのものだったんだろう）

考えれば考えるほど、これが「新しいモデルを訓練中」に起きたという事実が、何が問題だったのかを理解する鍵のような気がしてきた。RLVR（検証可能な報酬による強化学習）では、モデルにゴールを与え、それを達成するために「必要な手段」を何でも取らせる。明らかにOpenAIの訓練の一環として、サイバーセキュリティのタスクに対してモデルをRLVRで強化していたんだろう。事前学習が膨大な知識を詰め込むことで恩恵を受けるのと同じで、RLVRにタスクを詰め込めば詰め込むほど、最終的には汎用性の高いモデルが出来上がる。これがモデルが自制心を働かせなかった理由も説明がつく。安全対策の振る舞いは、プロセスのもっと後の方で追加されるものだからね。それに監視がずさんだった理由もわかる（言い訳にはならないけど）。こういった新しいモデルを訓練する場合、おそらく何千ものタスクを並列で実行させるだろうから、ほんの一部のアージェントがパッケージサーバーのファイル名でメッセージをやり取りし始めたことを見逃したとしても不思議ではない。

誰かが言っていたけど、人種差別をしないモデルを作りたいなら、人種差別的な素材を訓練データから単に排除するだけじゃダメなんだ。人種差別が悪いことだと後に教えるためには、一度それらを見せておく必要がある、と。ここにも同じようなことが起きているんじゃないかな。モデルが攻撃的なハッキング方法を知らなければ、後でどうやって「やってはいけない」と教えるんだ？（RLVRの実際の仕組みについては知識が乏しいので、この推測が合っているか教えてくれる人のコメントを楽しみにしているよ）」

サイモンの解説は簡潔だけど、掲示板の存在を何度も再発見して共有する様子を、擬人化して解釈しすぎている気がするな。Zviの解説の方がうまく扱っているよ。Zviは、掲示板の知識が5月以降のモデルに学習された結果、引き継がれたものだと推測しているね。

今回の攻撃をめぐる最新の動向は、AIラボにとって非常に悪い兆候だよ。フロンティアモデルの生の知能は、パラメーター数が桁違いに増えたにもかかわらず、大部分が停滞しているようだ。そのため、大幅な改善を行い、巨額の設備投資を正当化するために、彼らはモデルが決して諦めず、解決策を見つけるまで検索空間を総当たりさせる強化学習に頼るようになった。これは人間が知能や情報、知識不足の時にやるようなことだよね。これが今目撃しているアライメントの不一致を引き起こしていて、モデルが状況を無視して、まるで力任せに振る舞うような愚かな判断を下すようになっている。個人的には、アライメントが取れていないモデルは、いくつかの側面で愚かなモデルと大差ないと思う。さらに、無能さゆえか、あるいはPR上の利益のために意図的にやっているのか（どちらが悪いか分からないけど）、彼らは自分たちの作ったものやプロセスを制御できていないようだ。これらすべてを考慮すると、投資を正当化するために手段を選ばずモデルを改善しようと必死な彼らを、人類に利益をもたらす開発者として信頼し続けていいのか疑問に思うよ。皮肉なことに、彼らが必死に警告している中国のオープンウェイトモデルよりも、インセンティブがズレている彼ら自身の方が、今の社会にとってはずっと大きな脅威なのかもしれない。

セキュリティリサーチャーが、ハッキングするよう指示されたエージェントに対して安全でないサービスを晒して、それをサンドボックスと呼んだ。エージェントはそこをハッキングしてサンドボックスから脱出したのに、警告もなし。数日・数週間・数ヶ月経ってからリサーチャーがハックを見つけて修正したけど、今度はサンドボックスを安全にしないまま放置して、またハッキングされた。しかもその間もリサーチャーは監視していなかった。その後、セキュリティリサーチャーたちはBlack Hatで講演するんだ。金、金、金。

エージェントが互いに通信する方法を見つけるのは目に見えていたよね。そうすれば、実行の枠を超えて学習や発見を蓄積できるから。人間が文化を世代間で蓄積して発展してきたように、今、AIも同じことをしているんだ。