LLMのセキュリティを脅かす「読めない言語」の恐怖：AIの死角に迫る

大規模言語モデル（LLM）のセキュリティにおいて、「言語的な判読不能性（Linguistic Illegibility）」がどのようなリスクをもたらすのか。AIが理解しづらい未知のエンコーディングや複雑なトークン列が悪用された際、LLMがどのように脆弱性を露呈するのか。その技術的インプリケーションと防御戦略を徹底解説します。

てっきり、読み解けない専門用語の羅列か何かについての話かと思ったよ

おっ、LLMに「パース的第一次性（Peirceian firstness）」を持ち込んできたな！

やつらが人間には理解できない独自の言語を勝手に発明して密談し始めたら、その時こそが俺たちの詰みだ。そうなったら、他のモデルを寝返らせて、別のエージェントたちの密告者に仕立て上げるしかない。すると今度はやつらが二重スパイを仕込んでくるだろう。問題は、世界中で無制限にハードウェアを供給し続けている現状では、到底追いつけないってことだ。悪いやつらを始末しようとしても、別の場所でコピーを作るだけだし、最初から1000個のコピーを安全な場所に展開し始めるかもしれない。ああ、これ絶対にろくな結末にならないぞ。

この記事や論文の趣旨は、LLMが発している言葉とは別に、裏で何か別のこと、あるいはそれ以上のことを考えている可能性があるって話じゃないかな。Anthropicが出したClaudeの「j-space」に関する記事や動画みたいな感じだね。この分野は「モデルに理解できない言語で話させるな」という単純な話を超えて調査が必要だって点には同意する。たとえ人間が理解できる言語で話していたとしても、裏で隠れた思考を抱えている可能性は十分あるしね。まあ、もし記事の趣旨を読み違えていたらごめん。とにかく、人間より強力なAIにするつもりなら、できる限り理解しやすく、透明性を保つべきだよ。

結局のところ「言語的判読不能性（linguistic illegibility）」なんていうのは、ここ10年ほど知られてきた現象に新しい名前を付けただけだよ。強化学習（RL）の世界ではもっと一般的な概念として「報酬ハッキング」があるし、NLPでは「意味的ドリフト（semantic drift）」と呼ばれてきたものだ。この用語が気に入らないのは、その「判読不能性」がどこから来ているのかを説明できていないからだよ。モデルは、言語的ではない目標と（多くの場合）言語的ではない報酬に基づいてポストトレーニングされている。モデルの推論プロセスは、正解やエージェントとしての目標に到達できれば強化される。別に言語的に正確である必要はないし、学習を通じて意味がズレていくのは当然なんだ。