「圧縮」の正体は「予測」だった！データ圧縮の本質をエンジニア目線で解説

データ圧縮の本質的な考え方は「予測」にあります。データを効率よく圧縮できるということは、そのデータのパターンや構造を高い精度で予測できていることを意味します。情報理論の観点では、冗長性を見抜き、次に続く値をどれだけ正確に推測できるかが圧縮率の鍵となります。この概念は、現代の機械学習モデルや大規模言語モデル（LLM）が学習する仕組みとも深く関連しています。

Grant Sandersonが同じトピックについて素晴らしい動画[0]を出してるよ。現在進行中のシリーズの一部だね。[0] Compression is Intelligence Part 1 - https://youtu.be/l6DKRf-fAAM?si=yyLWq8x4sSRkWd98

この視点は「LLMは新しいアイデアなんて持てない、単なる次のトークン予測機にすぎない」っていう議論に対する直感的な反論として役立つね。学習を「膨大なパラメータ化された圧縮アルゴリズムのファミリーに対する最適化」だと捉え直してみたらどうだろう？そう考えると、そのプロセスから「新しい」「アイデア」が生まれる可能性が急にかなり現実味を帯びてくるはず！

非LZ圧縮がどう動くかを知れば、これはそれほど驚くことじゃない。つまり、確率分布をモデル化して、その確率を使ってデータを送信するのに必要な最小ビット数で情報をエンコードしているんだ。あまり明言されない結論として、LZ圧縮も暗黙のうちにこれと同じことをやっていると言える。各シンボル（リテラルや一致など）を出力する際の長さは、LZ圧縮が誘起する確率分布に変換できるからね。シンボルをエンコードするビット数は、情報量を通じてその確率と関連しているんだよ。

いや、そうとは言い切れないな。もう少しニュアンスがあって、この区別は重要だよ。データ分布が「あらゆる未来の問題を完全に代表している」なら、圧縮は予測と機能的に等価になる。でも、汎用性を求めるなら話は激変する。テスト分布は、同じサポート範囲内であっても恣意的に異なる可能性があるからだ！例えば、学習データ内の希少なエッジケースを観測したとして、（非可逆）圧縮ならそれを単純に無視するかもしれない。でも、もしその領域で汎用性を求めたいなら――敵対者がテストしてくる場合や、特定のコーナーに自由に設計したい場合など――単なるデータ圧縮じゃなくて、そのコーナーにピークを持つテスト分布での優れた予測性能が必要になる。学習データ分布が自分たちが気にすべき唯一の分布だと仮定することは、「圧縮＝予測」という主張の重い部分を暗黙のうちに引き受けてしまっている。この言明がマニフェストみたいに深く考えず繰り返されているのには、正直イライラするよ。学習データの分布には、特にデータ生成プロセスが探索的で、下流の用途が搾取的である場合、自然な要素なんて何一つないんだ。

ビジュアルと解説がすごくいいね。2025年の初め頃に、LLMは非可逆圧縮の創発的行動なんじゃないかという記事を書いたんだけど、当時は詳細を語るための知識も語彙も足りなかったな。振り返ると自分の文章は甘いなと思うし、これとGoogleの論文を見つけられて嬉しいよ。研究所の中を覗き見できたら最高だろうなあ。その投稿からもう一つ考えたのは、LLMを人間的な知性とみなすなら、彼らは「意識の流れ」を垂れ流すデバイスに近いってことだ。本質的に絶え間なく喋り続けて、使える答えにたどり着くまで時間を稼いでいるようなものさ。知性のサブセットには「言わないこと」も含まれる気がするんだけど、意識の流れスタイルの出力にはそれが不可能だから、よく考えてしまうんだよね。現行モデルと次世代モデルを差別化し得るのは、外部ツールじゃなく層の中でモデル化されたツールを呼び出す能力かもしれない。今のところ僕の理解では、モデル開発者はモデル自身に理解も制御もできない方法でそれをやってほしいと期待しているみたい。ビット・レッスン（苦い教訓）の亜種みたいな感じかな。でも、多くの決定論的ツールはニューラルネットワーク（NN）自体としてモデル化できるはずだし、推論中にLLMの内部状態を使ってそれらを利用させる方法を見つけ出せるんじゃないかと思ってる。例えば電卓とか、インデックスとか、引用機能とか。ただの愛好家の意見だけど、話半分に聞いておいてくれ。

ニューラルネットワークにおけるN次元ポリトープの創発を調べている時に、LLMと圧縮のつながりに偶然行き当たったんだ。『Toy Models of Superposition』（Anthropic, 2022）では、勾配降下法がスパースな特徴に対して効率的な幾何学的充填配置を独立して発見できることが示唆されている。LVQ圧縮は4次元格子を含む規則的な格子構造を使っているしね。これには興味深い可能性を感じるよ。学習と推論が固定された格子に依存せず、独自の表現幾何学を学習できるなら、LLMはより高い密度限界を持っているんじゃないだろうか。

これはケンブリッジ大学で教えられていた「Information Theory, Inference, and Learning Algorithms」というコースのテーマそのものだね。＞なぜ情報理論と機械学習を統一するのか？それは両者が同じコインの裏表だからだ。1960年代には、サイバネティクスという一つの分野に情報理論家、コンピュータ科学者、神経科学者が集まり、共通の問題を研究していた。情報理論と機械学習は今も同じ場所にある。脳は究極の圧縮・通信システムだ。そしてデータ圧縮と誤り訂正符号の最先端アルゴリズムは、機械学習と同じツールを使っているんだ。書籍：https://www.inference.org.uk/mackay/itila/book.html 講義：https://m.youtube.com/playlist?list=PLruBu5BI5n4aFpG32iMbdWoRVAA-Vcso6

テッド・チャンが数年前に「ChatGPT is a blurry JPEG of the web」という記事で似たような指摘をしていたよ。https://www.newyorker.com/tech/annals-of-technology/chatgpt-is-a-blurry-jpeg-of-the-web

この比較はもっとぶっ飛んだレベルにまで拡張できるよ。進化とは圧縮である。生物学のあらゆる複雑さは、考えうる最高の効率で実行されているんだから。

Ngrokのやってることは何かうまくいってるんだね。だって、samwho.comのSam Roseを捕まえたと思ったら今度はこれかよ？今のところ、僕の中では彼らの製品よりもブログの方に興味があるな。