AIエージェントはあなたの秘密を漏らしている？Web/モバイル会話型AIのプライバシー解析レポート

Webやモバイル向け会話型AIエージェントのプライバシーおよびセキュリティに関する詳細な調査レポートが公開されました。ユーザーとの対話データがどのように処理・利用されるのか、潜在的なリスクや懸念事項について深い技術的視点から分析されています。興味のある方はぜひPDFで全文を確認してみてください。

最近のAIチャットサービスで一番嫌なトレンドは、URLに含まれるUUIDをプライバシーと同一視しているように見えるところだな。Perplexityもそう。過去の検索URLにアクセスすると、会話内容が丸見えになっちゃう。

AI企業がこぞってデータを囲い込みたがっていることを考えると、正直驚きだね。しかもその広告主たちが直接の競合他社だったりするわけだし！おそらく、こうした広告の仕組みが突貫工事で作られたか、あるいは収益化を求める投資家の圧力が、企業の自衛的な関心と衝突しているせいじゃないかな。追記：AIチャット広告を最大限に機能させるには、どうしてもある程度のデータ漏洩が必要になるのかもしれない。でも、AI企業側としては、競合他社に広告を出させるより、自前でターゲティング広告を配信したいはず。AI企業が（広告を掲載するだけでなく）広告企業そのものになっていくとしたら、本当に怖いね。

昔のシンプソンズで、リサが職員室を覗きに行くエピソードがあったんだけど、そこで先生たちが子供たちのバカ話で盛り上がってるんだ。用務員のウィリーがミルハウスの真似をして「僕はミルハウス！友達がいないからウィリーに秘密を全部話しちゃうんだ！」ってやって、先生たちが大笑いするの。その後、ミルハウスが恥ずかしい目に遭うと、彼は泣きながら「ウィリーに教えなきゃ！」って駆け出すんだよね。まさに今の僕らはみんなミルハウスになっちゃったってことだよ。

OpenAIたちが自分たちのことをちっとも大切に思っていないという事実に、目を背けている人が多すぎる。彼らはユーザーと交わした規約なんて気にしてないよ。結局、彼らにとってユーザーはただの金づるに過ぎないんだから。

ちょっと話は逸れるけど。最近気づいたのは、例えばChatGPTをブラウザから使うと、ユーザーが送信ボタンを押すのを待たずに、入力途中のプロンプトを定期的にサーバーのconversation/prepareエンドポイントに送信してるってこと。この不完全なプロンプトデータは、キャッシュの「プリウォーミング」に使われている可能性がある。でも、ユーザーのタイピングのリズムや、修正の癖、あるいはプロンプトが形になるまでの思考プロセスを追跡するために使われている可能性もあるよね。そういうデータは広告主に売れるだろうし。

アドテク業界は20年間、クリックストリームから意図を読み取ろうとしてきた。でも今のチャットアプリは、AIが要約した意図をラベル付けしてクッキーに紐付けて手渡してくれているんだ。AIにおける広告ビジネスモデルっていうのは、チャットの中に広告を出すことじゃなくて、チャットそのものをターゲティングのシグナルにすることなんじゃないかな？

今月初めにあったNavier-Stokesのクレジット争いと同じ教訓だね。BuckmasterとAlpogeは未発表の草案をプライベートなCodexセッションに残していて、OpenAIは誰も見ていないと言いつつ、匿名化された製品データはモデルの改善に使われたかもしれないと認めた。あちらは学習データ、こちらは広告トラッカー。どちらにせよ、非公開であるべきプロンプトや結果が漏れていることには変わりない。だからこそ、オープンモデルは完璧じゃなくても勝たなきゃいけないんだ。アプリなんて介さず、自分でモデルを動かせるんだから。

AI時代の前まで、自分に関するデータは計算されても、その推論結果はせいぜい「浅い」ものだった。でも今は違う。クラウドAIと常に関わっているなら、自分についてプロファイリングされ、知られうる情報の深さは恐怖を感じるレベルだよ。個人的には、クラウドAIを使う最大のリスクはプライバシーと自由の喪失だと思う。AIの能力を使えば使うほど、人々に多くのコントロールがかけられるようになり、自分をさらけ出せば出すほど、失うものも大きくなる。例えば、今は自動運転車もあれば至る所にカメラがある。クラウドAIとのチャット内容に基づいて、現実世界のカメラ、車、GPU、携帯電話の信号を使って自動的に追跡イベントがトリガーされるなんてこともあり得る。AIによる追跡は現実世界にまで侵食していて、そのうち自動運転車が本人の意思に反して「処理」するために連行するようになるかもしれない。それも公の掲示板への投稿じゃなくて、AIとの何気ないプライベートな雑談が原因でね。だから絶対にローカルAIを併用して、個人的な事柄や思考はローカルに留めておくべきだよ。

驚くことじゃないよ。エンタープライズプランでプライバシーを売りにしている以上、一般ユーザーは―たとえ金を払っていても―「商品」なんだ。OpenAIは最初からそうだったし、兆候はずっとあった。みんなわかってたことなんだから、今さら驚いたふりをするのはやめよう。1

設定からマーケティング関連の項目をすべてオフにしたら、ChatGPTに対するこうした懸念は解消されるのか興味があるな。クッキーの種類もたくさんオフにできるし、「マーケティングプライバシー」の下にも役立ちそうなトグルスイッチがいくつかあるしね。