Mac M4で爆速推論！Laya (OS Jev) をCoreMLでローカル動作させてみた（毎秒45デシジョン）

M4チップ搭載Macにおいて、Laya (OS Jev) をCoreMLでローカル環境で実行することに成功しました。驚くべきことに、毎秒45デシジョンという高速な推論性能を実現しています。M4の演算能力をフル活用した環境構築の結果を共有します。

ローカルLLMこそが未来だね。データセンターの狂騒が最終的に市場崩壊を招くと思う理由の一つがこれだよ。制御問題に安定して使えるLLMこそが未来だし、従来のディープ強化学習（RL）は、難しそうに感じられて長い間業界全体で見過ごされてきた気がする。Jev（とLaya）を見た時、最初に頭に浮かんだのは「これはマジで面白い方向に形勢を変えるかも」ってことだった。制御問題に信頼して使えるローカルLLMは、自分が関心を持っている多くの壁をぶち壊してくれる。すごく興味深いよ。もしこんなハードウェアでこのパフォーマンスが出るなら、自分もLayaの大ファンになりそうだな。

これ、ローカルAIモデルがSnake（スネークゲーム）をプレイしてるってことで合ってる？記事には何の説明もないから。

すごい！スネークゲームのために自分でLayaをファインチューニングしたの？それとも他の方法？

テスト用マシン（M3 Max）の128GBユニファイドメモリのうち、これってどれくらいメモリを消費してるの？

自分の限られた調査に基づくと、Layaは学習データがあるような、もっと決定論的なタスクに使うべきみたいだね。ゼロショットのケースではJevほど優秀じゃないだろうし。

Jevのマーケティングって「テラクラスの知能」があるって売り文句じゃなかったっけ？実際にどこまで達成してるかは知らないけど、それが極端に間違ってない限り、0.3BのモデルがOS Jevを名乗るなんて考えにくいよね。

めっちゃクールだ。pumas（エネルギーモニター）を立ち上げてみたけど、GPUじゃなくてほぼNeural Engineで動いてるみたいだから、CoreMLとの相性がすごくいいな。