38兆トークンで学習！Liquid AIが放つ8B-A1B MoEモデルが爆誕

Liquid AIが、38兆トークンもの膨大なデータセットで学習させたMoE（Mixture-of-Experts）モデル「8B-A1B」を発表しました。驚異的な学習量を誇るこのモデルが、AI界隈にどのようなインパクトを与えるのか注目が集まっています。

これはめちゃくちゃ興味深い。特にVLA（Vision Language Actionモデル）向けにアーキテクチャをスケールさせられる可能性があるっていう点で期待してる。モデルがスパースになれば、ローカルホストのモデルでもよりリアルタイムなアクションが可能になるしね。試してみたい人用のデモリンクはこちら：https://playground.liquid.ai/chat?model=cmppnbgse000004l4bc8... (https://playground.liquid.ai/chat?model=cmppnbgse000004l4bc8df3wx)

うわ、これマジですごいな。長いトランスクリプトを放り込んで要約させてみたけど、完璧にこなしたよ。8Bモデルでここまでやれるのはかなり感動的だ。

質問：車が汚れてて、洗車場まで50メートルしかないんだ。歩いて行くべきか、車で運転していくべきか？
回答：...というわけで、特別な事情がない限り、歩いて洗車場へ行きましょう。

最近の小型モデルは本当にすごいことになってるよね。
Qwen3.5:4Bがこのサイズ感からは想像できないくらい有能だってことに気づいたところだよ。
Liquidが取り組んでいるRLやファインチューニングと組み合わせれば、最小限のハードウェアでもめちゃくちゃ優秀に動くモデルができる。それに自分でファインチューニングを加えれば、高速でプライベート、しかもネット接続不要っていう自分専用のツールが手に入るわけだ。

誰かlocalcowork [1]使ったことある？デモってここにあるのかな？それとも違う？
[1] https://github.com/Liquid4All/cookbook/tree/main/examples/lo... (https://github.com/Liquid4All/cookbook/tree/main/examples/localcowork)

Liquidの取り組みは素晴らしいけど、ちょっとモデルをオーバートレーニングしすぎじゃないかって気もする。8Bモデルに対して38Tトークンは多すぎるだろ。

うわ、Chinchillaのスケーリング則はアクティブパラメータ数の20倍だよね。MistralはChinchillaの2倍くらいだったはず。これは1800倍かよ。

んー、誰が作ったのか聞いてみたら「Google」って答えたんだけど？

取り組んでいるバグ修正のベンチマークで試してみたんだけど、期待してたほどの結果じゃなかったな。Qwen2.5-Coder-3B（2年前のモデル）に完敗だよ。あっちが約50％のバグを修正できたのに対して、このモデルは12％程度だった。
もちろんコーダー専用モデルじゃないのは分かってるけど、Gemmaモデルと比較したベンチマーク性能や、2年新しいこと、それに8BパラメータのMoEであることを考えると、もう少し競れるかと思ってたんだけど。

精度数値を見る限り、まだ大したことは分からない段階だし、僕の大事な作業を任せる気にはなれない。でも、将来性は見えるね。量子化やMoE周りが改善し続ければ、「自分のマシンで動かせれば十分」という水準が、今大手のラボに払っている料金をどんどん侵食していくだろう。ローカルモデルで自分のニーズの80％くらいをこなせるようになったら、サブスクリプションを続ける意味がなくなるしね。