オープンソース対クローズドモデル：現在のLLM開発における「見えない壁」の正体とは？

現在、オープンウェイトのLLM（大規模言語モデル）と、OpenAIやGoogleなどが提供するクローズドソースのLLMの間には、依然として明確な実力の差が存在しています。このギャップが具体的に何に起因しているのか、モデルの推論能力、学習データの質、そして計算リソースの最適化という観点から議論を深める必要があります。

この記事、オープンソースモデルとオープンウェイトモデルを混同してるな。全く別のものなのに。記事の本文では正しく使われてるけど、タイトルはミスリーディングだよ。

個人的には、オープンウェイトモデルの未来における最大の問題は、現状だと一部の民間組織（DeepSeekなど）の慈善活動の結果でしかないってことだと思う。蛇口はいつでも閉められる。何らかの「コミュニティ所有のハードウェア」みたいなものが登場しない限り、オープンウェイトモデルは常に打ち切りのリスクと隣り合わせだね。

クローズドなモデルを開発してる企業が、オープンモデルにどれだけ恩恵を与えてるのか気になるところだね。もしクローズドなモデルの進歩が止まったら、オープンモデルの開発スピードも落ちるのかな？

最近の米国による輸出規制とあわせて考えると興味深いね。米国はオープンソースを普及させることで、中国のラボが（一般大衆が利用可能なモデル品質の面で）追いつくのを許してしまい、自らの優位性を台無しにしているんじゃないか？ユーザーが米国の最新モデルを使えない状況が続いたら、結局米国ラボは優位性を保てるんだろうか？

オープンモデルの宴はいずれ終わると思ってる。企業が商業的な優位性が高すぎると気づいたり、国同士が商業的・軍事的な利益を他国に提供したくないと考えたり、あるいは誰かがオープンモデルを使って爆弾の作り方を学んだりして、全面禁止になる可能性だってあるだろう。

正直なところ、性能差があろうがなかろうが関係ないよ。ほとんどの実用的なケースにおいて、エンドユーザーは知能の差なんてほとんど感じられないからね。理論上の最先端モデルは一歩先を行くだろうけど、例えばランディングページを作るような作業において、それがFableで作られたものかGLMで作られたものかなんて、ほとんどの人は見分けがつかないはず。それが本質だよ。知能の差なんて、ごく限られたユースケースを除けば、どうでもいいレベルに到達するだろうね。

今の状況を見る限り、中国のモデルが米国の最先端モデルを追い越すことはないだろう。米国のモデルがリードしてるのは、途方もない努力で（主に合成データなどの）高品質なデータを確保しているから。インタラクティブなサービスとしては到底提供できないような巨大な教師モデルを使って生成する、といった離れ業をやってのけてるんだ。一方で中国のモデルは、モデルを最適化する執念と、米国の最先端モデルから高品質な訓練データを確保する工夫で進歩してる。中国のオープンウェイトモデルが米国のラボの最先端を追い抜くには、この構図が完全に逆転して、中国のラボが「最先端モデルのデータを刈り取る」ことから「独自データを生み出すデータシステムと努力」に完全にシフトし、さらに最新世代のハードウェアを大量に調達する必要がある。そんなの簡単じゃないよ。それに、最先端規模のモデルを訓練すること自体はそれほど想像を絶する偉業じゃない。ハードウェアが必要なのは、教師モデルによるすべての推論処理の部分なんだ。

もし中国政府が多くの人が主張するようにLLM開発戦略に深く関わっているなら、最先端モデルを作り始めた瞬間にオープンウェイトモデルの公開を即座にやめてアクセスを制限すると思わない？米国政府もそう考えているからこそ、外国籍の人たちへの技術流出を早急に止めようとしているんだろう。LLMは間違いなく価値のあるツールだし、政府はそういうものをコントロールしたがるものだから。

最先端のLLMを活用することに固執して依存し始めている企業や政府は、アーサー・C・クラークの短編『Superiority』（優越性）のような状況に陥るんじゃないかと思ってるんだ。 [1] [2]

クローズドなモデルが本質的にベンチマークを不正に操作できる可能性について、どこでも議論されてない気がするんだけど。AnthropicやOpenAIが「モデル」としてブランド化しているものは、単なるウェイトである必要はないんだよね。モデル自体を補強するバックエンドシステム全体を含んでいる可能性がある。それを使えば、ウェイトのみのオープンソースモデルよりもベンチマークのスコアを良くすることなんて簡単だろう。