Garry Tanが提唱！USのAI研究機関は『フロンティアモデル』を蒸留して公開すべき？

Y CombinatorのGarry Tanが、米国の大規模なAI開発ラボに対し、最先端の『フロンティアモデル』を軽量化（蒸留）し、広く利用可能な形で公開すべきだと主張しています。オープンなAIエコシステムを加速させるための新たな波紋を呼んでいます。

彼も指摘している通り、プロプライエタリなAIラボは自分たちのモデルをトレーニングするために、人間の知識をありったけかき集めた際、誰にも許可なんて取っていませんよ。

Anthropicが偉そうな立場から語ろうとするなら、それはもう通用しないと思います。蒸留（distillation）を秩序立てたいと考えるのは個人の意見として理解できなくもないですが、それを違法にするというのは、AIフロンティアラボの立場からは随分と図々しい話じゃないですかね。

同感です。フロンティアモデルは著作権で保護された膨大な作品を学習データとして成り立っています。中には違法に入手されたものすらあるはず。共通の知識を搾取しなければ存在すらできなかったくせに。ラボ側には、その結果物に対する道徳的・倫理的な所有権なんてありません。他社は、企業が勝手に課す利用制限を無効だとみなすべきです。

Tan氏の主張が崇高な道徳心に基づいているとは思いませんが、彼の結論は正しいですね。

既存企業が「違法な蒸留攻撃」なんて言い回しを使っているのが面白い。何も違法じゃないし、攻撃ですらない。単に、自分たちの市場での立場やビジネスモデルを脅かされるのが気に入らないだけでしょ。

同意！米国の企業が、より小さく効率的なオープンウェイトモデルのエコシステムを構築することでイノベーションを起こせるようにすべきです。それは誰にとっても純粋な利益になります。蒸留は良いことですよ。

トークンを利用する側が競合製品を開発するのを妨害するような行為は、反競争的行為として訴訟されるべきです。

https://archive.ph/BnceE (https://archive.ph/BnceE)

OpenAIとAnthropicは5年以内に破綻するか、少なくとも解体されるんじゃないかな。トレーニングに使われる莫大なコストを回収するのは不可能です。推論コストだって既に補助金で賄われているような状態ですし。

Tan氏が指摘するように、オープンウェイトモデルがフロンティアモデルと同等になる（というか、ほぼすでになっている）のは明らかです。大事なのはハーネス（モデルの制御基盤）ですよ。今後は道が2つに分かれ、2つの新しい産業が生まれるでしょう。

• AIハードウェア（NVidia/Cerebras等）：Intel/AMDに相当
• AIソフトウェア（ハーネス、アシスタント等）：Microsoft/Appleに相当

OpenClawの人気でその片鱗は見えましたが、問題は作りが荒くてセットアップが難しく、一貫性がなくて、ひどくハッカー向けなところ。個人的には「AIラボ」は先細りになると思います。モデルがコモディティ化してしまったら（もう半分そうなっていますが）、実際には大して儲からないですからね。

社会全体がこの技術にコストを払ってきました。知的財産の盗用を通じて、デジタルかどうかにかかわらず多くの共有財産が略奪されるのを目撃して、エネルギーやコンピューティング機器の価格が高騰し、そして一般的な投資を通じてさえも。技術を民主化しましょう！少なくとも、法的に介入してこれを阻止することだけはしないでほしい。

クローズドウェイトモデルのAPIコールを使ってユーザーや顧客が何をするかを管理するのは窮屈に感じます。広範な公開データでトレーニングされた知能へのアクセスは、制限だらけの利用規約で隠すものではなく、公共財としての側面をもっと強めるべきだという事実を、政府が後押しする役割があるはず

この人にはあまり同意できないことが多いけど、これについては非常に簡潔にまとめてくれていますね。

彼にとって、真のAIドゥーマー（破滅論）シナリオは、フロンティアAIの莫大な力が、単一の強力でプロプライエタリなプロバイダーの手に渡ることだ。「悪夢のシナリオ、AIの破滅論とは、たった1社しか存在しなくなることだ」と彼は言った。「その会社が資本へのアクセスもAI研究者も独占する。独走状態になり、突如としてモノリシック（巨大独占）な企業が1社だけ存在するようになる。それは悪いことだ」

まあ、そうですね。以前のコメントでも言った気がしますが、今の流れだとOpenAIとAnthropicは蒸留や規制の圧力で、本当にモデルを公開しなくなるでしょう。そうすれば、彼らがナレッジワークをすべて独占することになり、それがYCの終わりになるわけです。

フロンティアラボは人間の知識のすべてを学習データに使ったのに、許可すら取らなかったじゃないか。モデルを蒸留することは「願望」や「すべきこと」じゃなくて、道徳的な義務ですよ。

法律の専門家じゃないけど、蒸留は「トランスフォーマティブ（変容的）な著作物」のように聞こえます。

要約集（Cliff Notes）と同じようなものじゃないかな。他のあらゆる製造業やテクノロジー分野では、機械を使って元の機械と競合する新しい機械を作ってもいいはず。MilwaukeeがDeWaltに対して、自分たちのドリルを使って競合するドリルを作るのを禁止できるだろうか？JetbrainsがEclipseのコントリビューターに自分たちのIDEを使うなと言えるだろうか？