スマホで動く270億パラメータの怪物！「Bonsai 27B」が凄すぎる

ついにここまで来たか……という感じです。Bonsai 27Bは、270億ものパラメータを持ちながら、なんとスマートフォン上で動作するように設計された次世代のLLM（大規模言語モデル）です。限られたリソースでも驚異的なパフォーマンスを発揮するこのモデルは、オンデバイスAIの常識を覆すかもしれません。

1ビットモデルって、実は+1、0、-1の3つの値を持つ1.58ビットのことだったんだね。今日知ったわ。

Hugging Faceにモデルが上がってるよ: https://huggingface.co/prism-ml/models

LM StudioでGGUF版とMLX版のいくつか試してみたけど、どっちも動かなかったんだ。誰か動かせた人いる？たぶんLM Studio側でllama.cppかMLXのエンジンをアップデートしてもらう必要があるのかも。

どうやらAppleがPrismMLと「交渉中」らしいね: https://www.cnbc.com/2026/07/14/apple-prismml-ai-compression-iphone.html

最高だね！3値（ternary）モデルのスケーリングを1年以上待ちわびてたんだ[1]。試すのが楽しみ。普段使いのQwen 27Bは重すぎて、自分の環境だと実用的な速度で動かせないからさ。

[1] https://jackson.dev/post/dont-sleep-on-bitnet/

ちょっと理解を助けてほしい。
ここでの魔法は量子化によって50GBを4GBまで圧縮しつつ、パレート最適の範囲内で知能の大部分を維持している点だと理解した。で、彼らはそれを他の量子化モデルと、サイズあたりの知能レベルで比較してるわけだよね。ただ気になったのが、ツール呼び出しの性能がかなり影響を受けてる点。これって他の小型モデルでも問題になってることだしさ。

最近の4GBモデルと比較するとどうなんだろう？ベンチマーク用にファインチューニングされたんじゃなくて、元モデルの知能がちゃんと維持されてるってどうやって確認すればいいの？

こき下ろしたいわけじゃないよ。むしろ素晴らしいと思ってる。でも知識が足りないせいで、提示された結果が公平な比較グラフになってない気がするし、誤解を招く可能性もあるんじゃないかって感じてて。単に僕の理解不足なだけかもしれないけどね。
誰かこの無知な初心者に教えてくれない？

個人的には4ビットQAT版のGemma 4 12Bと比較した結果が見たいな。7GB弱でこっちとサイズも大差ないし、今のデバイスなら大体動く上にサイズ以上の賢さがあるからね。ツール使いも優秀だし、サイズを考えると視覚能力も異常に高い。解像度を落とすごとにどれだけ情報が失われるのかイマイチ掴めてないんだけど、GoogleのQAT版を見る限り、「4ビットでもほとんど損なわれない」って証明されてる気がするんだよね。

まず、1ビットモデルで90%の性能を出したのは驚異的だと思う。

ただ、ここ2週間で「AIの使い方が変わる」「[トレードオフの内容]こそが最適解」と主張する投稿がこれで5つ目なんだけど。

パラダイムシフトなんてリリースのアナウンスで起きるものじゃないだろ。

全部のリリース投稿がそれっぽく聞こえるようにしてるだけ、いわゆる「AI界隈あるある」な気がするんだよね。

揚げ足取りかもしれないけど、デモでモデルに料理を聞いてるシーン、レシピの内容が微妙そうだしマクロ栄養素も完全に間違ってるよね。「スパゲッティ、ニンジン、ピーマン、ニンニク、ハーブ」でタンパク質25gってどういうこと？

スマホメーカーがスペック表に「5G」と並んで「27Bモデル対応」って書く時代がすぐそこまで来てるね。正直、ここ数年で一番ワクワクするスペックアップだわ。

古い4コアのi5で試してみたら、1tpsくらいだった。

OS: Windows 10のWSL2