ローカルデバイスで爆速生成！1-Bit Bonsaiで実現する超軽量画像生成AI

「1-Bit Bonsai」は、極限まで軽量化された画像生成モデルです。わずか4ビット量子化（4B）という驚異的なサイズで、高性能なGPUを搭載していないローカルデバイスやモバイル環境でも、驚くほど高速に画像生成を行うことが可能になりました。限られたリソースでAIを活用したいエンジニア必見の技術です。

ディフュージョンモデルって呼んでるけど、実際はRectified FlowモデルであるFlux.2がベースだよね。

高いサブスクリプションの代わりとして、ハードウェアをアップグレードするだけでAIもアップグレードできる未来が待ち遠しいよ。個人的にやりたい課題の多くは数十億トークンが必要なんだけど、今のところ企業によるプロジェクトスポンサーシップなしでは全く手が届かない状態。Opus 4.6クラスの品質で毎秒数万トークンを叩き出せるASIC生成マシンがあれば十分なんだけどね。

デモアプリがiOS専用だし、ウェブ版もブラウザがクラッシュして試せなかったわ。軽量モデルはすごいけど、1.8GBのテキストエンコーダーモデルを先に読み込む必要があるなら、節約の効果がそこまであるとは思えないな。既存の画像生成モデルと比べてどうなのか気になる。https://github.com/alichherawalla/off-grid-mobile-ai をしばらく試してみたけど、画像生成モデルとしては物足りないと感じたよ。

我々の知る限り、Bonsai Image 4BはこのパラメータクラスでiPhone上で直接動作する初の画像モデルです。

SD XLは3.5Bじゃなかったっけ？それにリファイナーモデルはもっと大きいし。それらはiPhone 13 Proでも動かせるよ。

純粋な疑問なんだけど、これって何か現実的な問題を解決してるの？経験上、ディフュージョンモデルを使う際のボトルネックはストレージやメモリじゃなくて、生成時間だと思う。8～12GBの1080世代以降のGPUや、同等のメモリを積んだMac（GPUパワー的には最低ラインだろうけど）でも多くのモデルは動くしね。あと、これらのモデルはベースとなっている小型のFLUX.2モデルよりもわずかに遅いみたいだし。iPhoneみたいにGPUはそこそこだけどメモリが制限されている環境でローカルモデルを動かせるっていう利点はあるかもしれないけど、それが一般的な需要と言えるのかな？

「1ビット」って言葉を見て、最初AIモデルの重みじゃなくて、ディザ処理されたモノクロ画像生成のことかと思ったよ…。もし学習データや作業空間を1ビット（Floyd-SteinbergとかAtkinsonアルゴリズムなど）のディザ画像に限定したら、どれだけクールで高速で軽量な画像生成器ができるのか気になってる。学習もかなり高速で、最近のGPU1枚に十分収まりそうだし。

一日も経たないうちに、誰かがこの1ビットモデル用のLoRAを学習させて、Apple WatchでHentaiを生成できるようにしそうだね。

我々の知る限り、Bonsai Image 4BはこのパラメータクラスでiPhone上で直接動作する初の画像モデルです。

これは間違い。でも、完全に間違いにはならないように注意深く言葉を選んでるね。FLUX.2 [klein] 4B（基本的には同じパラメータクラスの同じモデル）は、Draw Thingsアプリを使えば8ビットや6ビット量子化でiPhone上で動作する。だから「直接」じゃないと言い張るのかもしれないけど、その屁理屈はかなり怪しい。

こういうのは素晴らしいね。スマホで動くものの可能性をもっと見せてほしい！悲しいことに今は開発者サブスクが高額だから、永久サブスクを払ってくれる少数の層のために、とりあえず動くものを作ってすぐ次に移行したり、広告だらけのアプリにしたりしがち…。例えばGoogleの「Model Garden」アプリは広告はないけどUXに大きな問題があって日常使いには向かないし、モデル自体は素晴らしいのにね。今のスマホハードウェアがいかに優秀か周知が進めば、普通の人たちも自分の好きなものをスマホで動かしたいって声を上げるようになるはず。これまで試されてきたどんな法律よりも、汎用コンピューティングを取り戻す強力な方法になると思う。

20年前、僕らの誰もが見ているものや読んでいるものが本物かどうか信用できないような未来のインターネットなんて望んでなかったと思う。いつかこの時代を振り返ったとき、マッドメンでドレイパー一家がピクニックのゴミを芝生にぶちまけて車で走り去るシーンみたいに、単なる異常な期間だったと思えるようになるといいんだけど。