【爆速】iPhoneでGemma 4が動作！？スマホで動く次世代AIの衝撃

Googleのオープンモデル「Gemma 4」をiPhoneで動作させる試みについて。オンデバイスAIの進化により、モバイル環境でも強力なLLMが利用可能になる未来がすぐそこまで来ています。

気のせいかな、それともApp Storeのサイト、なんか……偽物っぽくない？ヘッダーのテキスト（"Productiviteit"とか"Alleen voor iPhone"）がペイントで編集したみたいにカクカクだし、ヘッダーの背景はチラついてるし。アプリのアイコンもスクショも低画質で、サイトのタイトルも『App Store voor iPho...』って途切れてるしさ。

間違いなくすごいモデルだね。Macで動かしてたけど、これがiPhoneでローカルに動くってこと？試してみないと。待って、エージェント機能とかモバイル操作も全部端末内で完結するの？マジか（後でチェックしなきゃ。誰かコツとか掴んでる人いる？）。普段は「アブリテレーテッド（アライメント解除）」系はやらないんだけど、https://github.com/p-e-w/heretic を見つけて、数日前にこのモデルで試してみたくなってさ（使いやすくするためにリポジトリまで作ったよ）https://github.com/pmarreck/gemma4-heretical …結果、めちゃくちゃ上手くいった。組み込みの『お守り』がないのは、やっぱり快適だね！MLX版も作れるはずで、Macならそっちの方が少し速いけど、残念ながらOllama経由では動かない（LM Studioならいけるかも）。128GBのM4 Macbook Proだと絶好調だし、64GBでもたぶん大丈夫。メモリが少ない場合は量子化を低くする必要があるかも。個人的にアライメント解除されたローカルモデルが好きなのは、他人の遊び場で思考を監視されるのは勘弁だし、自分のローカルなオープンソース環境でいじってる時まで口出しされたくないから。これで、倫理的に正当化できるけどルールに引っかかるような会話（『センシティブ』とか『倫理的にグレーだけど生産的』とか『タブーに触れる』ようなやつ）が、今までにないレベルで可能になる。追記：OpenClawに繋ごうとしたけど、問題が発生して断念した。お決まりの質問に答えておくと、そう、こういうのは悪意のある奴らを助長する（他のツールもそうだけど）。幸い、世の中には善人の方がずっと多いし、悪人はどのみち善人が守るようなルールなんて聞かないからね。

これ最高じゃん！1) iPhoneで動かしてみたけど、いい結果が出たよ。クラウドのGeminiほどじゃないけど、十分。2) LLMが懐中電灯をつけたり、マップを開いたりできる『モバイルアクション』のツール呼び出しがすごくいい。Siriショートカットにも対応したら面白そう。Appleが約束したけど結局実現しなかった、あのパーソナルオートメーションが欲しいんだよね。3) ローカルモデルが当たり前になるのが楽しみで仕方ない。教師向けのアプリを作ってるんだけど、プライバシー法が厳しくて、できれば完全にクライアント側で動くコードを書きたいんだ。アプリやウェブサイトを開発する時に、オンデバイスのモデルを無料でAPIアクセスできると助かる。iOSやChromeにも一応あるのは知ってるけど、僕が知る限り、まだそんなに出来は良くないしね。

ページの英語版はこちら：https://apps.apple.com/us/app/google-ai-edge-gallery/id67496... Android版もあるよ：https://play.google.com/store/apps/details?id=com.google.ai.... これはGoogleのEdgeプロジェクトのデモアプリだね：https://ai.google.dev/edge

この新しいモデルは本当にすごいね。処理速度もかなり上がりそう。AI Edge GalleryはGPUで動いてるけど、最近のハイエンドプロセッサのNPUならもっと速いはず。例えばA16チップ（Macbook NeoやiPhone 16シリーズ）のNeural Engineは35 TOPSあるけど、GPUは7 TFLOPSだし。Qualcommも似たような感じだね。

投稿者（OP）だけど。AIの現実的な未来は、デバイス上でほぼ無料で動くか、クラウドで今よりずっと高いコストを払って使うかの二択だと思う。後者は、人間がやるより高くつくか、極端に遅いタスクにしか使われなくなるだろうね。このGemma 4モデルを見てると、iPhoneやmacOSと統合された、映画『Her』みたいな未来のSiriに期待が持てるよ。

このアプリはかっこいいしユースケースも示してるけど、E2Bモデルの実力はまだまだこんなもんじゃないよ。M3 ProとGemma E2Bで、リアルタイムAI（音声/ビデオ入力、音声出力）を作ってみたんだ。数時間前に /r/LocalLLaMA に投稿したら、結構注目されてるよ [0]。リポジトリはこちら [1]。iPhoneじゃなくてMacbookで動かしてるけど、このベンチマーク [2] を見る限り、iPhone 17 Proなら同じものが動くはず。 [0] https://www.reddit.com/r/LocalLLaMA/comments/1sda3r6/realtim... [1] https://github.com/fikrikarim/parlor [2] https://huggingface.co/litert-community/gemma-4-E2B-it-liter...

いいね！iPhone 16 Proで試したけど、Gemma-4-E2B-itモデルで30 TPS出たよ。推論中はスマホがかなり熱くなったけどね。パフォーマンスはかなり印象的だし、自分の個人アプリでも試すのが待ちきれないよ。

息子がAndroidで2Bを使い始めたんだ。かなりコンパクトでいいモデルだねって言ったら、いつの間にか安物の2024年モデルのMotorollaで動かす方法を見つけ出して、外国語の読み書きの練習に使ってたよ。

ほとんどのモデルがまだ利用不可だね。そのうち使えるようになると思うけど……そう願ってるよ。