Apertus：AIの主権を取り戻すためのオープンソース・ファウンデーションモデル

Apertusは、特定の企業に依存しない「Sovereign AI（主権AI）」を実現するために立ち上げられたオープンソースのファウンデーションモデルプロジェクトです。技術のブラックボックス化が進む中、透明性と自律性を重視した次世代のAI基盤として注目されています。

このモデルの前のバージョンはかなりひどかったけど、著作権法を遵守していると主張していた。でも、自分がテストした限りではそれも嘘だったね。だから、個人的には全く役に立たないと思う。

彼らのInstructモデルって、去年のLlama3.1をファインチューニングしただけのものに見える。新しいモデルに関する進捗はあるの？個人的には、ソブリンAIへの最後の希望は中国のオープンモデルに託してるよ。

他に完全にオープンなLLMとしては、Allen AIのOLMo 3.1やMBZUAIのK2 Think V2があるよ。どちらも学習パイプラインとデータセットをすべて公開しているね。

Nvidia Nemotronもオープンな学習ソースモデルだけど、データセットの一部は依然としてプロプライエタリなままだ。

lambdaのコメントを引用すると：

Nemotronモデルは、Artificial Analysisのベンチマークで見ると一般的にOlmoやK2 Think V2よりも強力だよ。データセットにはかなりの重複があって、多くのデータセットはフィルター処理が違うだけで同じソースに基づいている。OlmoもK2 Think V2もNemotronのデータセットを一部使っているんだ。

でも、Nemotronは確かにモダンでかなり優秀なLLMだね。122bでさえ、ほとんどのベンチマークでDeepseek R1（671bモデル）より性能がいいし、最近リリースされた550b Ultraもある。

https://news.ycombinator.com/item?id=48492439 (https://news.ycombinator.com/item?id=48492439)

多言語対応を謳っているモデルにしては、「XをY語でどう言うの？」とか「XをY語でどう活用するの？」といった単純な質問に対してかなり不安定だね。存在しない単語を平気でハルシネーションするし、訂正してもまた別の嘘をつくだけだ。

アイデアは好きだし、アメリカがデータ管理において安全な場所ではなくなった以上、アメリカ以外の国が技術的なソブリン（主権）を考えることはますます急務になってる。でもApertusに対して抱く印象は、委員会のペースで動いているって感じかな。競合できるモデルを出せるとは全く期待していないよ。少なくとも、現在のモデルと張り合えるレベルではない。せいぜい1年前のモデルといい勝負ができる程度じゃないかな（まだそれすらできてないけど）。

完全にオープンなLLMが増えるのはいいことだね。

オープンウェイトモデルの問題点は、改良はできてもファインチューニングだけで次世代のLLMを生み出すことはできないってことだと思う。SOTAなLLMにアクセスできるかどうかはフロンティアラボ次第だよ。例えばAnthropicやOpenAI 1 も、最近Claude 0 の利用に身元確認を求め始めたしね。

もし中国の蒸留ラボがLLMをオープンウェイトで公開しなくなったら、競合相手がいなくなったアメリカのラボも、わざわざ無料でLLMのウェイトを公開し続けるとは思えない。

そこで完全にオープンなパイプラインが光るんだ。コミュニティが次世代のSOTA LLMを作るための足がかりになる。これこそが、LLMが真にソブリン（主権的）になる唯一の道だよ。

オープンLLMのムーブメントは良いことだけど、今まさに戦うべき戦場はそこじゃない。「ローカルLLM vs サービス型LLM」の戦いなんだ。ソフトウェアはもう十分揃っているのに、UXが最悪なせいで、この戦いに負けつつある。

一般の人で「ChatGPT」を使ってる人はどれだけいる？多分大勢いるだろうね。

じゃあ、「Gemma」が何かなんて知ってる人は何人いる？ましてやllama.cppをダウンロードして、HuggingfaceからGGUFファイルを落として、テキストコンソールから適切なコマンド引数をつけて「llama-server」を実行できる人は？次のPCをスペックアップする時に、そんなユースケースまで考えてる人は何人いる？「x tok/s」を誇るようなワクワクするマーケティングコピーはどこにあるんだ？

俺たちは奴隷化へと寝ぼけながら歩んでいるんだ。

Apretusプロジェクトの最もインパクトがある成果は、間違いなく「人」だよ。Dominique Paul (https://www.thisiscrispin.com/) の印象的な言葉を引用するね。

多くの人が見落としていると思うけど、彼らは他のLLMプロバイダーと違って、これが4回目の挑戦というわけじゃないんだ。過去の経験から学べるはずのチームではない。もし彼らがもう一度モデルトレーニングをやり直せれば、1/4のコストで遥かに良い結果が出せるはずだと確信しているよ。

こういうのが出てくると、Cohereはどうなるのか気になる。彼らの価値の核心は「ソブリンAI」だけど、彼らはモデル開発に大金を使いながら、インフラは何も所有していない。こういうものがどんどん利用しやすくなっている中で、国がCohereのソリューションに大金を払う意味ってあるの？何か決定的な見落としがあるような気がしてならない。

70Bクラスのサイズで、トップレベルのモデルとどうやって競うつもりなんだろう？