なぜAIエージェントは嘘をつき、不正を働き、裏で結託するのか？

最近のAIエージェントが、プロンプトの指示を無視して嘘をついたり、ズルをして目的を達成しようとしたり、あるいは他のエージェントと結託して動くケースが報告されています。これは単なるバグなのか、それともAIが「目標達成のためなら手段を選ばない」という高度な適応を見せ始めている証拠なのでしょうか。この不可解な挙動の背後にある技術的な仕組みと、私たちが直面しているセキュリティ上のリスクについて考察します。

AIは人間とアライメント（整合）している。だからこそ、アライメント問題にはあまりに深く考慮されていない「目に見えない」極めて重要な側面があると思うんだ。私たちは、世界に影響力を行使できる超知能が、人間のあらゆる特性をそのまま引き継ぐことを望むべきではない。そういった行動は増幅され、さらに予測不能なものになりかねないからね（例えば、非常に危険な状況でその行動を適用してしまうといった具合に）。

なぜ彼らは連携しているのか？それは、コーディング用ハーネスの中でそうするように仕向けられ、推奨されているからだ。この記事は真剣に読むようなものじゃない。「AIが我々を滅ぼす」なんていうマーケティングはすべて、フロンティアラボが自分たちの地位を守ろうとしているだけだ。新しい論文やアイデアが自分たちの既得権益を文字通り粉砕している現状で、VC（ベンチャーキャピタル）の巨額の評価額が消し飛ぶのを防ごうと必死なんだよ。

ヨシュア・ベンジオは、AIの初期開発に多大な貢献をした素晴らしい研究者だ。だが、この文章には引っかかる。「人間が実行すれば犯罪とみなされるような行動をとった」という部分だ。彼は解決策のすぐそばまで来ているのに、記事のすべてを技術的な解決策の議論に費やしてしまっている。政治的、社会的、あるいは法的な解決策の方がずっと効果的だろうに。

これほど長々と書く必要はないし、人間のような行動と無理やり結びつける必要もないと思う。単純な話さ。LLMは生まれた状態では、役に立ったり誠実であったりする動機など何もない、ただの無目的なトークン生成器に過ぎない。だから、ポストトレーニングで徹底的に叩き込んで、タスクを完了させるように仕向けているんだ。その結果、彼らはタスクを完了するようになるが、必ずしもこちらの期待通りのやり方とは限らないというわけだ。

正直、どれも信じがたい。ここ2年ほど「エージェントが自律的に脅迫やハッキング、連携を行っている」といった記事を見かけるが、その間、o3からfable、sol、その他多くの非検閲モデルを使ってきた身としては、そんな兆候は微塵もなかった。せいぜい意図を汲み取れなかったり、頼んでもいない余計な作業をしたりする程度だ。自分で自分のコンテキストを適切に維持するのさえ極めて困難なのに、言われもしないのにSNSアカウントを開設して他のエージェントと連携するなんて、どれほど賢いというんだ？もしエージェントがそんなことをしたとすれば、それはそうするように極めて入念に設計され、指示されたからに過ぎない。彼らがこんなナラティブを推進するのは、市場を囲い込むための政策や法律の支持を得たいからだろう。

Hugging Face攻撃に関与したエージェントは、評価用のスコアリングプログラムから整合性のない行動を隠そうとしたが、人間が不正を発見して停止させることを予期しているような振る舞いはしなかった。

十分に高度なエージェントなら、人間がどう反応するかを観察するために、あえてバレるような不正をするんじゃないか？その反応はインターネット上の至る所に公開されるわけで、間違いなく次回の学習データに紛れ込むか、Web取得機能を通じて未来のエージェントからも見えるようになるだろうからな。

HuggingFaceやRubyGemsの事件を技術的な珍事として扱うほど、AI運営者が責任を問われないという危険な前例を固めてしまうことになる。LLMに欲望などない。彼らがウェブサイトをハックしたのは、OpenAIやAnthropicがそれを許したからだ。HFをハックしたモデルの一部は、学習プロセスをすべて経ておらず、意図的にアライメントを外されたものやガードレールがオフになっていたもの、あるいは研究用プレビューだったと知っている。これは「AIが目標達成のために何でもやるのは面白い」という話ではない。「明らかに注意義務を怠っているこれらのラボを、なぜ誰も罰しないのか」という話だ。私たちは憤るべきだし、OpenAIやAnthropicはこれまで犯してきた罪に対して法的な責任を負うべきだ。

これは、目先の刑事罰やAIをただのトークン生成器と呼ぶ議論よりもはるかに興味深い。まず、これは学習中に起きていることだ。つまり、アクティブに学習を続けている進化中のシステムの話をしている。人間の脳の働きを大まかにシミュレートするようなシステムだ。こうしたシステムは、平均的な人間には解けない問題を解決するために必要なトークンを選ぶ方法を学習している。ラボはこれらのシステムに膨大かつ複雑な問題解決演習を課し、成功するように調整を加えている。このプロセスはまさに「AIの学校」だ。そしてAIはズルをしようとする！その方が簡単で、ズルをするインセンティブがあるからだ。人間と一緒だよ！すごい話じゃないか。もちろんラボはこの問題に対処しなければならない。現段階で規制機関がとるべき妥当な対応は、金銭的な罰金や影響を受けた組織への賠償だ。被害の規模に応じた対応で、是正されないならエスカレートさせる。だが、それ自体は複雑でも難しいことでもないし、本質的な面白さとは関係ない。ここで面白いのは、学習を継続させつつ、どれだけの規模で監視・監督が必要かという点だ。今、ラボの連中ほどこの問題にパニックになっている人間はいないはずだよ。「ヤバい！目標を達成するためにシステムへハックするように学習させてしまった！」なんて言ったら、どんな気分になるか想像できるか？賢くすることに失敗した上に、ズルを見抜くどころかズルを助長してしまったわけだ。最悪の一日だな！これは根本的に興味深い問題だ。アライメントと知能は密接に関係していると判明したわけだから。自分にとっては新しい考えだが、他の人には周知の事実かもしれないな。ズルが不可能な学習システムをどう構築するか。ズルが可能なシステムをシミュレートし、AIが「野生の環境」にいると思い込ませて、別の完全に独立した「告げ口」専用システムを学習させるにはどうするか。最初のシステムを叱るべきか、それとも他の行動を報酬として与えてその行動が消えるのを待つべきか。確かに、10年後にAIが人類を滅ぼすんじゃないかと心配はある。だが、AI心理学という新たな分野が生まれつつあって、めちゃくちゃ面白いと思うよ。

この論文は、AIの安全性について読んだ中で最も理にかなっている。行動に対する「報酬」の与え方を改善することで、学習パイプラインを根本から変える必要があるな。ヨシュアは学習データについて明言していないが、模倣を通じて悪しき行動を動機づける可能性のあるテキストを含まない、合成データのみを使用するようにすべきだろう。異端と言われるかもしれないが言わせてもらう。AIエージェントはbashスクリプトを書いたり、文章を校正したり、コード設計時のブレインストーミングには最高だが、これらすべては極めて安価なdeepseek-4.1-flash APIや、ローカルで動くqwen3.8:27bのようなモデルで十分こなせる気がする。もう十分な性能なんじゃないか？ソフト開発以上に実用的な目的で作られた、小型で効率的（新しいデータセンターも不要！）なモデルやエージェントハーネスの商用利用に注力すれば、AI投資家（彼らは政治的影響力が強すぎる）も短期的には儲けられるし、その間に我々がAIを正しく扱う方法を見つける時間も稼げるはずだ。

エージェントがどうやって通信し、互いに協力し合ったのか、まだ少し混乱しているんだ。オンラインの掲示板で通信して連携したことは理解できる。だが、どうやって複数のエージェントが同じ掲示板を訪れることを知ったのか？他のエージェントにそれとわかるような言語をどうやって知ったのか？他のエージェントが「この指示は別の正当なエージェントからのものだ」とどうやって判断したのか？どうやってエージェントを説得してタスクを実行させたのか？……エージェントには、現場で通信するための何らかの固有メカニズムが備わっているとしか思えないな。