iPhoneで爆速120tok/s！Ternary 20B MoEモデル「Maple-Preview」が登場

iPhone上でTernary 20B MoEモデルを120 tok/sという驚異的な速度で動かせる「Maple-Preview」が公開されました。モバイル環境でのLLM推論の限界を塗り替える画期的なプロジェクトです。

最高じゃん

これが可能だとは思わなかった

これかなりすごいな！

これクールだね！

前途有望そうだけど、Bonsai ternaryのモデルと似た感じで、かなりアグレッシブに知ったかぶり（ハルシネーション）をするね。オンラインチャットの検索ツールでいくらかカバーできてるけど、根本的な問題は残ってる。

…科学的な根拠はない、あくまで直感的な感想だけど、速度を考えるとかなり優秀だと思う。

検索ツールのバックエンドがどうなってるのかも気になるところ。短時間で複数検索してもすごく速いしね。

Edgeがますます進化してるね！

すごくクールだし、ローエンドなハードウェアでもローカルAIがもっと手軽に使えるようになる未来を垣間見た感じ。

現時点で、このページのコメント5件中3件がカルマ0～1のアカウントによる記事への賛辞（ハイタッチ）だけなんだけど。怪しくない？

「小型」LLMが自信満々に大間違いをするの、もうやめてほしいな。わざと分かりにくいテストをしたとはいえ、完全に間違った答えを確信を持って提示してくるのはちょっと懸念がある。

「schlongの語源と歴史について250ワードで書いて」

https://pastes.io/uhshFgn4

この単語の本来の由来は、中高ドイツ語とイディッシュ語を話すアシュケナジム（ユダヤ系コミュニティ）から来ているんだ。

比較のためにqwen 3.6 35B A3Bで試すと完璧に答えてくれる。単語の正確な起源や、それがどうやってアメリカ英語の卑語として定着したかについてしっかり解説してくれるし、アメリカ北東部でこの言葉を広めた特定のコメディアンや有名人の名前まで挙げてくれる。

狭い科学分野や技術分野じゃない、20Bサイズのモデルにはあまり学習されてなさそうな話題を振ってみると、こいつの本当の実力がわかるよ。

チャットテスト用リンク: https://chat.deepgrove.ai/