リオデジャネイロ発の「国産」LLM、実は既存モデルの継ぎ接ぎ疑惑が浮上

リオデジャネイロ市が発表した独自の「国産」大規模言語モデル（LLM）ですが、どうやら既存の公開モデルを単にマージ（統合）しただけのものではないかという疑惑が持ち上がっています。完全な新規開発と謳われていたプロジェクトの裏側に、エンジニア界隈から疑いの目が向けられています。

リオデジャネイロ市（のIT企業であるIplanRIO）がRio-3.5-Open-397Bを公開したね。独自のQwen3.5ファインチューンモデルで、ベンチマークで他のオープンモデルを上回る結果を出したとアピールしてるけど、リンク先の問題提起によると、実際には約1週間前にリリースされたNex-N2 Proを約60%、Qwen3.5-397B-A17Bを約40%で加重マージしたものらしい。

うわぁ、誰かがクレジット表記もなしに他人の成果で利益を得てるってか！？

正直、地方自治体のIT部門がモデル作成に乗り出す気概を持っていたこと自体に驚いたよ。ある意味強気というか、やってみようっていうガッツがあるのは面白いね。

Rioの全ウェイトテンソルは、何千もの標準偏差の範囲で、NexとQwenを0.6/0.4でブレンドしたものと同じだった。60層すべてのネットワークコンポーネントにおいてね。他のファインチューンモデルは、こんな単純な補間では説明がつかないのに。

現在のディープラーニングモデルの頑健さには驚かされるよ。すべてのウェイトの単純な線形結合が、モデルの性能を低下させるどころか向上させているなんて。

誰かモデルのマージがどういう仕組みか解説、あるいは情報源を教えてくれない？数学的にウェイトをマージしてるのか、それとも蒸留の一種なのか（投稿を見る限り、トレーニングを全くしていないようだから蒸留ではなさそうだけど）。

彼らとは無関係だけど、個人的な見解をまとめるとこうかな。

1. 公式モデルはQwen 397Bがベースだと主張している。Nexも同じベースモデルを使っているから、Nex Proの存在を伏せていた可能性はあるね（それが良いかどうかは別として）。

2. 性能向上はウェイトのマージだけでなく、オンポリシー蒸留の結果だと思う。混乱の原因は、アップロードされたモデルにその蒸留分が含まれていなかったことだろう。

3. 彼らが2日前にRedditで投稿した以外、大々的に広告を打っていないことは重要だよ。週末のブラジルのワールドカップ初戦の時期に、自然発生的に話題になったんだ（ブラジル人ならわかるはず）。リオの市長が便乗して宣伝に利用したのは当然の反応だけど、研究者側と共同で仕組んだわけじゃないだろう。

4. マージしただけなら、なぜQwen 397Bをベースと名乗ったりSwiReasoningの論文を引用したりして、Nexの名前だけ出さないのか理由がわからない。

5. いずれにせよ、正しいモデルがアップロードされれば、彼らの主張が事実かどうかすぐに検証できるはずだよ。

「ニューロマンサー」って名前を付けなかったのは本当にもったいないな。

たぶんこれ、スタートアップを含めて世界中で起きてることだろうね。