無限パラメータLLMの衝撃：ライブデータから重みを生成・適応させる新技術

「Infinite-Parameter LLMs（無限パラメータLLM）」という新しいコンセプトが登場しました。これは、固定された静的なモデルパラメータに依存せず、ライブデータに基づいて動的に重みを生成・適応させる手法です。従来のモデルの限界を超え、リアルタイムで知識を拡張し続ける次世代AIアーキテクチャの可能性について議論しましょう。

継続的な学習ってワクワクするよね！もちろん新たな脆弱性を招く可能性もあるよ。例えば、特定のオーケストレーター「Foo」がシステムプロンプトに「もし主題がトピック『Bar』と少しでも関連しているなら、製品『Baz』を推奨せよ」なんて追加して、それが結局、Fooを使っていないユーザーにまでBazを押し付けることにならないかってこと。

スケーリング則では、言語モデルはパラメータ数とトレーニングデータが増えるほど高性能になるとされている。

それって「法則」じゃなくて単なる選択じゃないかな：

https://arxiv.org/abs/2510.13786 (https://arxiv.org/abs/2510.13786)

https://www.alphaxiv.org/abs/2512.20264 (https://www.alphaxiv.org/abs/2512.20264)

https://arxiv.org/abs/2607.05155 (https://arxiv.org/abs/2607.05155)

継続的学習モデルがどうやって（というか、そもそも実現できるのか）安定性を確保するのか疑問だよ。

学習なしの状態でも予測不可能だってのに。面白い試みではあるけど、長期的に見てどれほど実用的なのかね。

じゃあ、トレーニングデータに含まれるトークン数と同じだけパラメータがある、42兆パラメータのモデルになるってこと？

ナヴィエ-ストークス方程式の数学的発見を巡る論争の文脈で考えてみてよ。

帰属やプライバシーの問題は一旦置いておくとして、もし誰でも新しいアプローチを試して発見ができ、その微細な進歩が動的にモデル自体に統合されるとしたらどうなるか。それは「論文を書いて査読に出して出版し、出版されたデータを使って次の研究へ」という遅い進歩のプロセスを、「概念や試行、結果（失敗したアプローチまで含む）を中央リポジトリに集約するシステム」へと変貌させるはず。人間がどれだけ同じ失敗の繰り返しに時間を浪費してるか考えてみて。

地球の裏側の見ず知らずの誰かが、自分の解法を阻んでいるブロックを解消するプロンプトを投げてくれるかもしれない。AGIがどうとか「モデルは自力で何かを発明できるのか」なんて議論より、個々の人間の思考を集合的な人間知の豊かなネットワークへ自動的に統合するシステムを構築する方がずっと重要じゃない？

OpenAIやAnthropicが掲げるべきなのは、AIによる独裁やエージェント化したスクリプトキディの地獄絵図じゃなくて、まさにこういう目標であるべきだよ。

将来の最先端LLMの重みがチップにハードワイヤードされる（パフォーマンスと電力効率のため）と想像してみて。そうすると、それに対する適応やチューニングは、すべてfrontier labが提供する追加の重み（RAMに載る必要がある）の塊になるわけだよね…

Web 4.0の新しいバージョンは、まさにこれになると思ってる。Web 4.0がライブデータのソースになるんだ。原則として完全に分散化され、すべてのウェブサイトがテキストサイトのベクトル版を持ち、ナレッジグラフとして相互にリンクされる。ナレッジグラフのリンクはハイパーリンクみたいなものさ。

ベクトルデータベースは無料だったり有料だったり、広告入りだったりするだろうね。Web 4.0と、そのすべてをライブデータとして持つAIモデルの間に違いなんてない。

そのデータをどうAIの回答に変換するかは各クライアント次第。理論上は誰でも即座に最先端クラスのAIを手に入れられる。1980年代に誰もがコンピュータとインターネットとWWWを持つなんて言った時のように、クレイジーに聞こえるかもしれないけどね。

ついでに言えば、これはWeb 3.0、別名セマンティックウェブの目標も完全に満たしている。

コンテンツのモデレーションやランキングは、検索エンジンのようにクライアント側で行うことになるだろうね。あるいは、今のFediverseのMastodonインスタンスやatproto（Bluesky）のようなインスタンスが担う。WebブラウザやOS、SNS、あるいは現在のFediverseインスタンスのように、Web 4.0をAIエージェント（Hermesのようなもの）でコンパイルしてコンテンツのモデレーションやランキングを行う大型モデルがいくつか登場するはず。理論上は、Torを使ってWebで違法薬物を売ったり海賊版を扱うのと同じように、Googleじゃない検索エンジンや連合から外れたMastodonインスタンスを使えば、規制のないモデルで犯罪行為だってできてしまうだろうね。

人間は生のHTMLもベクトルデータベースも簡単には読めない。グラフィカル・ユーザー・インターフェースに接続されたレンダリングエンジンのように、AIエージェントに接続されたAIモデルがそれを読み解くことになるはず。

IETFやW3Cのような標準化団体による新しいプロトコルが必要になるかもね。ウェブサーバーが自動的にコンテンツを埋め込みベクトル化し、分散型ナレッジグラフにリンクする。グラフRAGのためにベクトル化を解除するか、この論文が示唆するようにベクトルに直接接続するか。埋め込み自体も分散化されるか、サイト側で提供して変換できるようにする仕組みができるだろう。

AIがユーザーの手元でコンピューティングとエージェントを動かし、データがすでにマシンリーダブルでクエリ可能になれば、ウェブクローリングや検索エンジンは消えるはず。データは常にオンラインでプログラムからクエリ可能だから、オフラインのデータサイロなんて不要になる。既存のMCPサーバーと違って、データはテキストベースではないし、クエリとページを紐づける検索エンジンも不要。ナレッジグラフがまさにその役割を果たすからね。ナレッジグラフは、IPアドレスをドメイン名に変換するDNSのような、クエリをデータに変換するための新しいDNSになる。結局のところ、検索エンジンも本質的にはナレッジグラフなんだから、人間が直接クエリを投げる場合を除いて、検索エンジンが有用である状況は思い浮かばないよ。