LLM同士が直接会話する時代へ！「Cache-to-Cache」技術で実現する次世代AIコミュニケーション

「Cache-to-Cache」は、LLM（大規模言語モデル）同士が仲介者を介さず、セマンティック（意味的）な情報を直接やり取りする画期的な手法です。2025年に注目を集めるこの技術により、AIエージェント間の連携が劇的に効率化され、これまで以上に高度な自律的対話が可能になります。

つまりモデルはCoTでますますNeuraleseを使うようになるだけでなく、異なるエージェント同士もNeuraleseでやり取りできるようになるのか。監視可能性という点では、先行きが怪しいな。

数ヶ月前に、なぜテキストではなくセマンティック表現を使わないのか質問したことがあるんだ。自然言語って、意味概念を伝えるにはかなり情報が失われやすい表現に思えるからさ。

https://news.ycombinator.com/item?id=47195212

ただ、LLM同士の通信にそれを使うっていう発想はなかったな。

画像を読み取れるマルチモーダルモデルって、今の仕組みとは別の動作をするべきじゃないかと思ってる。認識では、マルチモーダルモデルはまず画像埋め込みを生成してから、その埋め込みを解釈するように学習するって感じだけど、テキストが損失の多い表現であるのと同様に、埋め込みもまた同じくらい損失が多いはずだ。なぜマルチモーダルモデルは、埋め込みを使わずに直接画像を解釈するように学習しないんだろう？あるいは例えば、埋め込みモデルに何らかの「プロンプト」を渡すとかさ。

古い論文（2025年だから、AI業界の10年前）だけど、コンセプトは今でも魅力的だね。ただ、プロダクションレベルのモデルで使われているのはまだ見たことがない。

もし複数のモデルがこの種の情報強化のためにキャッシュ表現を使えるなら、異なるモデルのKVキャッシュ表現はある程度互換性が必要になるはずだ。

じゃあ、そこから一歩進めて、すべてのモデルが「KVアライメント」されたモデルファミリーを作って、各モデルが他のモデルのKVキャッシュを直接利用できるようにしたらどうだろう？

そうすれば、「高性能な」推論モデルがその能力をフルに使って計画を立て、単純なサブゴールをより小さなモデルに「委任」できる。その小さなモデルは、大きなモデルの意図を豊富なKVキャッシュ表現として直接アクセスできるから、プリフィル（prefill）の再計算も、それに伴う引き継ぎ（handover）のレイテンシも発生しない。同様に、「安価な」小さなモデルが生成した簡略化された高密度なKVキャッシュを、「高性能な」モデルがそのまま処理することもできるはずだ。例えば、大きなファイルから浅いパターンをさっと読み取る時なんかにね。