オープンウェイトAIの時代が到来！今こそKubernetesで運用を最適化すべき理由

オープンウェイトAI（重み公開型AI）の普及により、AIインフラの運用手法がかつての「Kubernetes以前」の状況に似た混沌期を迎えています。ソフトウェア開発においてKubernetesがデプロイとスケーリングを標準化したように、今まさにAIモデルのデプロイや推論環境においても、同様のパラダイムシフトが起きています。もはや手動のモデル管理から脱却し、コンテナオーケストレーションを前提としたインフラ設計が不可欠なフェーズに突入したと言えるでしょう。

AI業界で最も不可解なことの一つが「トークノミクス（トークン経済）」だ。2023年初頭にGPT-4を使うのがなぜあんなに高額だったのか、そして半年後には20ドルでかなりの量の推論が可能になったのか、その理由はよく分からない。この価格の乱高下というパターンは、何年もの間さまざまなラボやプロバイダーの間で続いていて、何らかの合理的な理由があるようには見えない。

だからこそ、オープンウェイトモデルは推論コストの基準を提供し、価格設定に多少の健全性をもたらしている。もちろん予測可能性もだ。もし本当にKimi K3ではなくK2を使いたいなら、そうすることもできる。

結局のところ、オープンモデルが提供する競争圧力と予測可能性は、ユーザーにとって助けになるんだ。

政府は特定のAPIベンダーへの恒久的な依存ではなく、ポータブルで相互運用可能なシステムの需要を生み出すために調達を活用すべきだ。

これは今まで聞いたことがない視点だね……。なかなか筋が通っていると思う。連邦政府だけでなく、州レベル（カリフォルニア、コロラド、イリノイ、ニューヨークあたりが考えられる）でも実行できるような種類の施策だろうね。

エージェント的なコーディングにオープンウェイトモデルを使っている人はいる？

使っているスタック（ハーネス、モデル）と、月々のコストを教えてほしい。

Claude Code＋Proプランのような一般的なサブスク型プランと比べて、使い勝手はどう？

オープンウェイトモデルは安くて効率的だとよく聞くんだけど、実際に運用してみると本当にそうなのか気になって。

悲しいけど、中国がハードウェアの生産をスケールさせない限り、自分たちでモデルを動かすのは経済的とは言えないな。ただ、AIラボに対して圧力をかけるという意味で、こうしたモデルが存在すること自体は良いことだ。

正直なところ、これは結局Appleが勝つという証明にしかならない気がする。いずれスマホだけでほとんどの作業をこなせるくらい高性能なモデルが動かせるようになれば、そこで勝負ありだろうね。

最終的には、Kubernetesのようなものにするためには、公開された学習データを持っていて、多くの企業が協力して開発するAIモデルが必要になるんじゃないかな。

いずれ理にかなってくるはずだ。企業がLinuxに取り組んでいるのと同じ論理だね。「AIモデルはビジネスの必須条件だ。でも自前で作るのは高すぎるから、自分たちで作るべきじゃない。だからオープンなものを使って、必要な分だけ貢献しよう」という感じに。

記事によると、アメリカのラボはスタートアップが実際に基盤として使えるライセンスで、フロンティアレベルのオープンウェイトモデルをリリースする必要があるとのことだ。

なるほどね。中国政府が自国のベストなモデルの学習と公開に資金を出しているのは、OpenAIやAnthropicらに競争のための同調を迫るためってことか。でも自分はそれを信じないな。むしろSOTA（最先端）モデルに中国政府公認の情報配信に従うようRL（強化学習）をかけさせるための手段に見える。もし質問に対するブラックボックス的な回答を信用しなければならないなら、政府公認で多額の補助金を受けているものより、市場の力に左右されるアメリカの営利企業のものの方を信用するよ。

みんな中国のモデルを禁止することばかり話しているけど、どうやって実現するかなんて誰も議論していないよね。そもそも技術的に「中国モデル」なんてものは存在しないから、不可能だと思う。ウェイトを見ただけで「アメリカ製」か「中国製」かを判別する方法なんてない。ウェイトは単なる数字であって、数字に国籍なんて割り当てられないからね。出身国で禁止しようとするようなナイーブな試みなんて、いくらでも抜け道がある。

だから、この「問題」に対する解決策は、すべてのオープンウェイトモデルを包含するものにならざるを得ない。理解している限りでは、彼らはまさにそれを意図している。記事でリンクされていたAxiosの文面にもこうある：

「情報筋によると、主要なAIラボやその提携先が、3～5ヶ月ごとにオープンソースモデルを禁止する案を政府に持ち込んでいる」

「中国の」オープンソースモデルとは書いていない。なぜなら、それが実行不可能だと既に分かっているからだ。規制はすべてのモデルをカバーしなければならない。

後者の問題については解決策があるにはあるが、どれも醜くて制限の強いものばかりだ。DRMのようなライセンス保護システムを強制するのが解決策になるだろう。企業が自社サーバーでオープンモデルを実行したい場合、認可されて認定された純粋な「アメリカ製」モデルしか使えないようにする。これはもちろん、認定された「オープン」モデルを訓練・配布できる巨大ラボによる独占を生む。企業は自社ニーズに合わせてモデルをファインチューニングできるかもしれないが、その派生モデルを配布することはできないだろう。

他にも解決策はあるだろうけど、どれも同じくらい酷いものだろうね。それに、こうした規制は他国で簡単には強制できないから、アメリカ人だけが縛られることになるはずだ。

アメリカのラボはスタートアップが実際に基盤として使えるライセンスで、フロンティアレベルのオープンウェイトモデルをリリースする必要がある。

公平のために言っておくと、OpenAIは過去に（当時は非常に優れた）OSSモデルをいくつかリリースしているよ。自分は20Bバージョンを自宅で動かしているけど、テキストの校正やbashスクリプトの作成といった一般的なタスクには最高だ。もっと巨大な120Bモデルもあるけど、あれは現実的なtok/s（トークン毎秒）でコンシューマー機で動かすのは難しいね。OpenAIには、こうしたモデルをもっと頻繁にアップデートしてほしいものだ。

誰もが、まるで物理の法則か何かのように、「中国は永久に『フロンティア』モデルのウェイトをHugging Faceに提供し続けるだろう」と仮定しているけど、それってどうなの？Mythosのような状況が数ヶ月以内に起こるだろうし、彼らの対応も同様になるだろうという報道も多い。どっちにしろ分かりきったことだよね。

中国が次期MythosをHugging Faceに放流して、我々全員がガードレールを外したりできるようにするなんて、本気で信じている人がいるのが信じられないよ。

結局のところ、すべてはOpenAIやAnthropicが考えたようにはならなかったし、中国が考えたようにもならなかったってことさ。

……ユーザーがカスタマイズできるオープンなプラットフォームが業界の重心になれば、単一のベンダーがその周囲で起こる革新の速度に追いつくことはできない

この主張は最高だね。もし現時点で真実でないなら、そうあるべきだし、そうなり得るはずだ。

考察をありがとう。（そして、前向きな気持ちをありがとう）。