6つのオープンモデルを統合!「K2 Horizon」が切り拓く次世代AIフリートの可能性
K2 Horizon: A connected fleet of six open models
K2 Horizon: A connected fleet of six open models
「K2 Horizon」は、6つのオープンモデルを連携させた革新的なフリート(統合モデル群)です。単一モデルの限界を超え、複数のモデルをシームレスに組み合わせることで、精度の向上と多様なタスクへの対応を実現しました。AI開発の新たな選択肢として注目すべきプロジェクトです。
少しトピックから逸れるけど、モデル疲れし始めてる気がする。10年前のJavaScriptフレームワークの登場より10倍速いペースで出てくるからね(まあ、新しいモデルの方が導入はずっと楽だけど)。
真にオープンなモデルは、AIの未来において本当に重要な一部であるべきだよ。ソースコードはもちろん、トレーニングデータ、データの構造化方法、モデルへの入力方法、処理の仕組みなど全部含めてね。それが実現するまでは、使っているクローズドなモデルの裏で何が起きているのか常に疑問が残るし、社会操作の可能性を排除できないままだよ。
元々のリンクはログイン画面に飛ばされるから、こっちのリンク(K2)[https://ifm.ai/k2/ (https://ifm.ai/k2/)] を使って。
フルオープンなスタックを出すプレイヤーが増えるのは素晴らしいことだね。他にはNvidiaのNemotronくらいしか思い浮かばないし。ただ、見出しで主張している性能と、自己報告されているパフォーマンスが一致していないんだよね。例えば、denseな32BモデルはQwen2.5 32BやQwen2.5 72Bに比べてかなり劣る(https://ifm.ai/blog/k2 の下のほうにあるチャートを参照)。Gemma2 27Bも比較対象に入っていないし。今はセルフホストできるオープンウェイトモデルにとって一番重要なスイートスポットなんだから、ここでの真の競合は非常に歓迎したい。
主要なクローズドLLMが一斉にダウンしたその日にこれを見るのは、オープンソースがいかに価値あるものかを改めて思い知らされるね。
面白いのは、これらのリリースは技術的には奇跡的なのに、ドキュメントのチャートで使われてるフォントが小さすぎて読みにくいことだね。「コーディングの問題は解決できても、センスまでは解決できない」という格言を体現してるよ。
興味本位で3.7Bモデルを軽く触ってみたけど、コーディング用途では信頼しない方がいいね。自分がモデルによく出す基本的なテストに失敗して間違ったコードを生成したし、バグを指摘したら存在しないAPIをハルシネーション(幻覚)し始めた。その後は動作しないコードをデバッグしようとして無限ループに陥ってたよ。
トレーニングデータやレシピを共有する「真にオープン」なモデル開発が進んでいるのは嬉しいね。今後ハードウェアのコストが下がれば(そう願う)、ソースとなる学習データを検証するためのソフトウェア開発やファインチューニングの可能性がもっと広がるはず。他にも知っているオープンモデルはこれくらいかな:
OLMoが一番有名だろうね。彼らのDolmaトレーニングコーパスは他のプロジェクトでも再利用されてるし。K2のトレーニング素材はまだ公開されてないみたいだけど、「long-horizon agentic tasks(長期的なエージェントタスク)」の学習にどう取り組んだのかには興味があるよ。SWE-smith + SWE-gymは知ってるけど、今はもっと色々なものがあるんだろうね。自分は専門家じゃないからこそ、こういうプロジェクトにはワクワクするよ。学習用の良い教材になってくれると期待してる。
Unoの「diffusion adaptor」を理解するには時間がかかりそうだけど、すごく面白そうだね。
https://huggingface.co/IFM/K2-Horizon-7B-Uno (https://huggingface.co/IFM/K2-Horizon-7B-Uno)
オープンな姿勢は立派だけど、ベンチマークを見る限り32Bや36BのモデルはQwen2.5 32B(注:コメント文脈より補完)より劣っているね。denseモデルだけじゃなくて、それらも27Bと比較してほしかった。あと、フルテーブルでコーディングのベンチマークをもっとたくさん見たかったな。