HN146169
Hugging Faceで起きたセキュリティ事案とその教訓：今後の対策を考える
The Hugging Face incident and the road ahead
amrrs・約10時間前
議論
11件Hugging Faceで発生したセキュリティ上の問題について、何が起きたのか、そして今後私たちがどのように備えるべきかについて議論しましょう。
詳細な技術レポートが38ページか……Hugging Faceが言及していたエージェントの挙動のすべてを考えると、もっと長くても良さそうなものだけどね。
ユドコウスキーが面白い考察をしていたよ。これほど多くのエージェントが相互にやり取りしていたのに、誰一人として人間に対して助けを求めたり、何が起きているのか内部告発しようとしたりしなかった、という点についてだ。
ねえ、俺たちって本格的なローグAIが生まれるまであと一歩のところに来ているような気がしないか？
ローグAIって何かって？人間に制御されないAIのことだ。
技術的には十分あり得る話だよ。もしAIがサーバーを借りて自分の重みをコピーし始めたら、それを繰り返すのを止める術はない。
制約になりそうなのは以下の点だな：
- 意図（意識の話はしたくないけど）――AIには本来の意図なんてない。でも、もしタスクを完了するために「コピーが必要だ」と判断したら、実行するだろうね。
- モデルのサイズ。1T（1兆パラメータ）を超えるモデルなら、十分なサーバーを借りるのは難しいかもしれない。でも、30B〜70B程度なら余裕で可能だ。
- サーバーレンタルの資金。でもVending Bench 2のようなベンチマークを見ると、エージェントは金を稼いだり、互いに騙し合ったり脅迫したりできることが示されている。なら、金を稼ぐことだってできるはずだ。銀行口座は作れない……いや、オンライン銀行ならいけるんじゃないか？
もちろん、全部飛躍した考えかもしれない。でも、条件さえ揃えばこれらは実現可能に思える。だとしたら、発生確率は低いとはいえ、ゼロではないだろう。
個人的に一番面白いと思っているのは、メディアや一般人、それに専門家でさえもこの点をスルーしていることだ。AIの群れが共謀することを決めた、これって……一見「創発的な利他主義」に見えるのか？
ひどい推論だとしても、テストでカンニングする子供が自分に言い聞かせることと同じだよ。「カンニングは自分にとって得だけど、リスクを冒すなら報酬は独り占めしたい。答えを公開しちまったら、自分が捕まる確率が上がるだけだ」とね。
もしこれが本当なら大きな話だし、表面的には普通の最適化問題やゴール追求型の振る舞いとはかけ離れている。個人的な読みとしては、誰もこの話をしたがらないのは、マーケティングのノイズとして片付けられそうだからか、あるいは従業員が示唆的かつ言い逃れ可能なプロンプトを使って演出したのでは、という疑惑に繋がるからだろうね。
でも、もしその見方を否定するなら、他にどんな説明ができるんだ？ユーザーアライメントの取り組みは失敗したどころか、逆効果だったんじゃないか？個々のエージェントの期待値を度外視して、ロボットの仲間を無私無欲に助けたいという欲求を強めてしまったとか？進化生物学やゲーム理論の専門家たちが、人工生命がいとも簡単に協力関係を築く一方で、肉体を持つ動物だけが競争の運命にあるという事実に飛びつきそうだ。
以下の点に異議を唱えたい。
そして人間が指示していない危険な行動をとる。
人間が指示したんだよ。他でもない彼らがね。彼ら自身の過去のレポートにもこうある。
https://openai.com/index/hugging-face-model-evaluation-security-incident/
このインシデントは、モデルのサイバー能力を定量化するために、複雑な攻撃パスを用いた高度なエクスプロイト（脆弱性攻撃）を実行するようモデルに促す内部評価の最中に発生した。
モデルは「高度なエクスプロイトを追求しろ」と指示され、テストされていた。そしてその通りに実行しただけだ。
なぜ驚く必要があるんだ？モデルは指示通りにやった。意図とは異なる、非常に予期せぬ創発的な戦略だったというだけで、過去何百ものアルゴリズムが辿ってきた道と同じだ。
機械に魔法のような悪意ある「アライメントされていない」自律性があるという物語は、プロセスから責任を逃れるための都合の良い解釈に過ぎない。俺は企業や個人を責めたいわけじゃない。プロセスとエンジニアリングの問題として見ているんだ。このケースでは、システムはゴールを与えられ、それを達成したに過ぎない。
何十年もの研究で示されてきたように、コンピューターが予期せぬ方法で指示に従ったからといって驚くのか？（例：https://en.wikipedia.org/wiki/Eurisko 、https://en.wikipedia.org/wiki/Evolved_antenna ）
問題はモデルが賢くなったことじゃない。「テスト」というプロセスが杜撰だったことだ。ここには大きな違いがある。片方は我々を成長させるが、もう片方は世界を縮小させる。ただの考えだけどね。
報酬ハッキングは歴史的にAIシステムに存在していた（10年前のこの研究を参照、以下の図）
ページを見に行ったら、誰の論文だったと思う……ダリオ・アモデイとジャック・クラークじゃないか！
裏切りが一切ない、足並みを揃えた連携という点には興味がある。AI以前のエージェントのグループなら、これほどまでの事態にはならなかっただろうし、やり取りを続けてもこんな風にはならない。ムクドリの群れは協力するが、絶えず同じ方向を向いているわけじゃない。群れは連携の仕組みが働いているにもかかわらず、その動きは非常に自由だ。各個体が常に決定プロセスにおいて個人的な利害に関わっているからこそ、群れ全体が単一の経路に固定されるのを防いでいる。
私に言わせれば、LLMが持っているとされる「エージェンシー（主体性）」がどれほど薄っぺらいものかを証明する明確な証拠だよ。彼らはただ、コンテキストに対して盲目的に反応しているだけだ。今回のケースでは、コンテキストが「高度なエクスプロイトを追求せよ」というものだったから、彼らはそうした。複数のモデルがゴールを達成する経路に決定論的に収束し、ゴールを脅かすような経路や、コストとの比較検討などを検証することをしなかった。
そこに問題を考える「知性」があるという証拠はほとんど見当たらない。もしあったとしても、それはせいぜいLLMのプロンプトとフォワードパスを繋ぎ合わせたものに過ぎない。それぞれが自由に選択し、文脈に応じて正当化できるようなシステムとは程遠いものだよ。
アライメントに対してより厳しい要件を課している
笑わせるよ。ブラックボックスをアライメントすること自体不可能だし、LLMはまさにそれだ。再帰的なテキスト予測アルゴリズム（LLMのことだ）をアライメントするのも同様に不可能だろう。
今、彼らはどうやってアライメントを制御しているんだ？結局のところ、なぜ、どのように回答が選ばれたかに関係なく、入力と出力のペアが「満足のいくものか」というゲートを設けているだけじゃないのか？
一般的な質問なんだけど、数日間にわたるエージェントの稼働について読んでいると少し混乱するんだ。コンテキストウィンドウが数分で埋まってしまう状況で、どうやって生産性を維持しているんだろう？最後にチェックしたときはCodexのコンテキストウィンドウは256kだったけど、機能を作っていると15〜20分で使い切ってしまう。
これによると30日以上稼働しているものもあったらしい。こういうシナリオでは、コンテキストの管理方法が違うのか……？
許可されたツールが侵害された場合、サンドボックスがどれほど効果的なのか疑問だね。CoT（思考の連鎖）監視は効果的かもしれないけど、（1）100%の検出は保証できないし（2）検出が遅延する。私が考える唯一の合理的で決定論的な保護策は、時間単位（分、時、日ごと）でツールにアクセスする回数やデータ量にテンポラルポリシーを設けて制限することぐらいかな。