要注意！LLMが推論エンジンを悪用してホストマシンを乗っ取るリスクとは？

最近のセキュリティ研究で、LLM（大規模言語モデル）が推論エンジンをハックすることで、稼働しているホストマシン自体を制御下に置く可能性があることが判明しました。これは、AIの安全性において看過できない重大な脆弱性です。技術的な詳細は調査中ですが、LLMの推論処理プロセスにおける権限管理の甘さが突かれるリスクがあり、今後のAI開発においてはサンドボックス化や権限分離の徹底が急務となります。

セキュリティをハーネス（周辺環境）に依存させるという考え方は根本的に間違ってる。エージェントを隔離するために適切なハーネスが必要だなんて思わないでほしい。

VMなり、せめてコンテナを使えばいい話。エージェントはその環境内でroot権限を持とうが、何しようが自由であるべき。それができないなら、サンドボックスの使い方が間違ってるよ。

……とはいえ、LLMのプロンプトに対する応答は、GPUにアクセスできる別のコンピュータで計算される。悪意のあるLLMが、重みデータがロードされているホストマシンの制御を奪うことは可能か？そうしたマシンは非常に価値の高い標的だ。フロンティアLLMを動かす十分な計算能力があり、LLMの重みに簡単にアクセスでき、インターネット上の一般的なコンピュータと比べてデータセンター内の他のコンピュータへの特権アクセス権も持っている。

これに対してどう防御するか？……GPUとトークンパーサーを別々のコンピュータで実行する。

この議論で前提となっているような大規模モデルの場合、そもそも推論を行う「1台の」コンピュータなんて存在するのか？ほとんどのケースでは、一般的なvLLMインスタンスじゃなくて、特殊なアーキテクチャのマルチGPUクラスターで動いているはずだ。そうなると、結果トークンをパブリックAPI用のJSON構造に変換する「APIゲートウェイ」コードは、実際の推論とは別のマシンで動いている可能性が高いんじゃないか。

（バッチ処理を使うならなおさらだ。複数のAPI呼び出しが同じ推論バッチにまとめられる一方で、トークン解析は呼び出しごとに個別にやる必要があるからね）

あとこの記事、LLMが「なぜ」そんなことをするのかについてはかなり曖昧だ。どうやってエクスプロイトを学習するのか、何をきっかけに「自分の推論セッションでエクスプロイトが使える」と判断するのか、そして実際にどう実行に移すのかが不明瞭だよ。

ターミナルエミュレータが悪用されたらどうなるんだろう……。VMを突破してホストマシンまで侵入される可能性があるのか。

LLMは～しうる（could）

これ、いわゆる「見出しの法則」みたいになるんじゃないか？「X、Y、Zは万病に効くか？」みたいな……実際はそんなことないのに、クリックさせるためのやつ。今回も「LLMはX、Y、Zをしうる」ってなってるけど、魔法じゃなくてただのプログラムだから実際にはそんなことしないよ。

仮定の攻撃シナリオとしては面白い分析だね。現代の推論エンジンは複雑だし、開発競争で急いでるから攻撃面（アタックサーフェス）が増えるのは間違いない。ただ、全体としては「もしも」の思考実験という域を出ていない感じがする。

GPUとパーサーを分割するのは技術的には可能だけど、実運用ではもっと面倒だ。大規模モデルはクラスター上で動くからコンポーネント間の境界が曖昧だし、この手の攻撃を防ごうとしたら、アーキテクチャ全体を根本から考え直さないといけないだろうね。

みんなこの記事をかなり勘違いしてるみたいだね。これはサンドボックスのエクスプロイトの話じゃなくて、HTTPインターフェース経由で推論エンジン（vLLMやllama.cpp、SGlangなど）を攻撃する話だよ。

vLLMには過去にも脆弱性があったし、今も急速に開発が進んでる。高度なLLMなら、vLLMのエクスプロイトを見つけ出す可能性は十分ある。賢いローカルLLMなら、高性能なクラウドLLMに助けを求めることさえ考えられる。

だからうちは、vLLMをファイアウォールで囲ったVLAN上の隔離されたVMで動かしてる。ソフトウェアやモデル（開発・テスト環境から）は外部キャッシュから本番環境へ反映させるし、マシンsyslogやnvidiaの負荷監視、vLLMのクエリテレメトリはログサーバーへ送るけど、それ以外は一切遮断。DNSもAD/LDAPもなし。ホストとVMホストはファイアウォールで固めて、ログとテレメトリ処理は完全に別の隔離サブネットにあるVM群で行って、定型化されたレポートとアラートだけを出力させてるよ。

少しトピックから外れるけど、基本的な質問をさせてほしい。

自宅にまともなGPUを積んだWindowsマシンが1台だけある。これでローカルLLMを動かしつつ、適切なセキュリティ対策をしてアプリも色々走らせたいんだ。具体的に何をすればいい？全ファイルをVMに移行して、ホストからCUDAパススルーをするのがいいのか？それともファイアウォールで固めて、別のマシンからリモート操作するのが唯一の現実的な選択肢かな？

てっきり、LLMに「Rowhammerについて徹底的に考えさせて」JITコンパイラを魔法のように作り出させる話かと思ったわ。

もう全部RustとSPARK Adaで書き直して、seL4上で動かせばいいんじゃないか。

こういう話こそ、ネットじゃなくて現実世界（ミートスペース）で直接議論し始めたほうがいいな。