脱・クラウド依存！これからのAIは「ローカル実行」がスタンダードになるべき

もはやクラウド経由のAIに頼り切る時代は終わりつつあります。プライバシー保護やレスポンス速度、そしてオフライン環境での利便性を考えると、今後はAIを自分のマシンでローカル実行することが当たり前の選択肢になるべきではないでしょうか。サーバーコストを気にせず、自分のデータで自由にAIを操る未来を今すぐ実現しましょう。

LLMに関する私の悩みは（哲学的な側面や経済的影響はさておき）、私たちがローカルで実用的なものをトレーニングするのはほぼ不可能だという点にある（おもちゃのようなLLMならともかく、本当に役立つレベルのものは無理）。膨大な計算資源が必要なだけでなく、その大半が違法に入手されたデータセットを必要とするしね。

一般層にとってのローカルAIに対する今の風当たりは、数十年前にオープンソースに対して向けられていたものと全く同じだよ。かつては、一部の製品において有料ソリューションの方がオープンソースよりも圧倒的に進んでいたから、「わざわざ面倒なことをしてまで使う必要ある？」といった具合に軽視されがちだった。その後、SaaSや閉鎖的なプラットフォームの囲い込みを経て、今となってはそれが誤りだったことは明らかだ。

今の私たちがコーディングでAnthropicやOpenAIに依存している状況は正直異常だよ。多くの人は気にしていなかったり、中国がオープンウェイトを止めないことを祈るしかなかったりして受け入れている。オープンウェイトのビジネスモデルは非常に新しいものだし、国や研究所間のパワーゲームが絡んでいる上に、一般の目には触れないところで巨額の資金が動いている。

これは非常に危険な賭けだ。今日、ほぼ全員が信じられないほどの恩恵を受けているけれど、それが何の警告もなく、私たちのコントロール外の理由で突然止まる可能性だってあるんだから。

クラウドモデルを使うのは、本当に必要な時だけにする。

問題は、ローカル環境の調整に時間をかけるよりも、SOTA（最先端）モデル（特に補助金などで安く使える場合）を使う方が遥かに簡単だってことだよ。

コーディングエージェントを触っていて痛感したんだけど、常に最新の最高スペック版を使うべきではないと分かっていても、結局そうしてしまう。なぜなら、そちらの方が短時間で、かつ「労力」も少なく、結局は同じような価格で仕事が完了するからさ。

ローカルAIへの本格的な取り組みが始まるのは、主要ベンダーが実際のトークン使用量ベースでの課金を始めてからじゃないかな。

でも、つい少し下の投稿では、Chromeがローカル推論のために数GBの領域を使うというだけで、みんなが「ふざけるな」と激怒しているんだよね。

やるにしてもやらないにしても、結局叩かれるんだ。

その時はもうすぐそこまで来ているよ。すでに流れはできているんだ。最初は巨大データセンターでしかLLMが動かせなかったのが、今では「H100を数枚積んだサーバー群」という規模になり、次は「MacBook ProやStrix Haloでの128GB VRAM」という領域にじわじわと移行している。来年までには「計画用に高価なリモートLLMを使い、実行にはローカルの遅いけど人間よりは速いLLMを使う」というパターンが企業の標準になり、やがて「何でもローカルLLMで十分」というフェーズに移るはずさ。そうすれば、「クラシックなクラウド」と同様の均衡状態になる。つまり、自分でホストするか、柔軟性とスピードのために金を払うか、という選択だ。問題は、現在の計算資源に対する熱狂のうち、どれだけがローカルホスティングによって「終わり」を迎えて、それが市場にどう影響するかだろうね。

Chromeの新しいPrompt APIでローカルモデルが何をやれるのか、デモをいくつか作ってみたよ: https://adsm.dev/posts/prompt-api/#what-could-you-build-with... (https://adsm.dev/posts/prompt-api/#what-could-you-build-with-it)

投稿者の言う通り、ユーザー自身のデータを変換するような限定的な環境でこそ真価を発揮するね。もっとオープンエンドな作業には、確実に力不足だよ。

投稿内の例は、私の理論を裏付けていると思う。ローカルモデルが成功するには、フロンティアモデルと競えるほど巨大である必要はなく、「十分な性能」があればいいんだ。

ちょっとしたタスクをうまくこなせて、民生用デバイスでそれなりに動作すればいい。スマホで動けばなおさら良い。

実験していて気づいたのは、モデルのサイズを大きくするよりも、ツールを使える能力を付与することの方が、単なる「使えないモデル」を「実用的なもの」に変える鍵だということだ。Web検索やページ取得ができるようにしただけで、巨大モデルを使うよりもハルシネーション（幻覚）問題がずっと改善されたよ。それに、トレーニングのカットオフ（学習期限）にも左右されないしね。

もちろん巨大モデルの方がツールを使いこなすのは上手いだろうけど、小さなモデルでも十分役に立つことは多いよ。

プライベートAIとローカルAIの議論は切り分けるべきだと思う。
巨大なLLMを実行するという現実的な選択肢はオンラインのサーバーになるだろうけど、だからといってそれを民間企業だけが実行できるべきではない。

優れたテナント分離保証（理想的にはゼロトラスト）を備え、展開や維持が容易（AI界のPlexみたいなもの）な自己ホスト型の推論ソリューションがあれば、プライバシーの観点から最高なんだけどな。正直に言って全くリサーチしていないから、これがどれほど実現可能なのかは分からない。もしかしたら既にあって、どこかのDiscordサーバーに参加すべきなのかもしれないけど。

追記：ここで言うまでもないかもしれないが、オープンモデルが最高の商用モデルと張り合える位置にいるのは信じられないことだよ。つまり、一番難しい部分はもう解決済みだということだろう。

既得権益者はローカルを止めようとあらゆる手段を使ってくるだろうけど、小さくて特化したモデルが最終的に標準になると信じるべき技術的な理由は少なくともいくつかある。それが実現すれば、ローカルAIも追随するはずだ。

この記事は、ユーザーが望むものに対して、そもそも巨大モデルが必要なのかという点に焦点を当てている。a) 機械論的解釈（mechanistic interpretation）が十分に成熟するか、b) マルチエージェントシステムがすべてマルチモデルになるかしない限り、巨大モデルが十分に信頼できるものになるとは限らないという証拠がいくつかあるからね。

(a)については、MIの進歩で巨大モデルの問題が解決できるかもしれないけれど、それは同時に、モデルの統合表現を得て、巨大モデルから必要な部分だけを切り出して使うようになることも意味するはず。そうなればコストも削減できる。

(b)については、「邪悪なベクトル」やツール使用特有のハルシネーションを見れば分かる。ヘルプフルで誠実で無害なアライメントが完全に解決されない限り、創造性と厳密さを両立させるのは根本的に矛盾しているように思える。結局何をするにも複数のモデルが必要になるなら、なぜ何でもできる高価な巨大モデルが必要なんだろう？ だからこそ、専門特化することで全てを最小限の信頼できるエキスパートへと収束させていく圧力が働くはずだ。

ターボ量子化（turbo quant）フォークが最終的にマージされれば、中価格帯の民生用ハードウェアでも現実的になってくると思う。

ただ、まだ準備万端とは言えないかな。