MacBook ProでKimi K3 (2.8T)を動かす！4台のSSDからストリーミングして1トークン/秒を実現

MacBook Pro環境において、4台のSSDからデータをストリーミングすることで、2.8兆パラメータの巨大モデル「Kimi K3」を1トークン/秒の速度で推論させることに成功しました。

それはもう次元が違うマゾヒズムだな。

『銀河ヒッチハイク・ガイド』に出てくるディープ・ソートを思い出したよ。

SSDをどう接続しているかの説明を見逃しちゃった。愚問かもしれないけど。

たった11日間でミディアムプロンプトとはね。

もっと高速なSSDを使ったら改善するのかな？特にeBayなら中古のOptane SSDが手に入るけど、かなり高価だね。（まともなコンシューマー向けNVMeより遅い、偽物のM.2モデルは除いてね）

これはKimi用としてじゃなくて、GLM Flashみたいなやつのために良いアイデアだと思う。

20万以上のコンテキストまで埋まった後のトークン毎秒（token/s）の低下を想像してみてよ。

今のところ2.8Tをローカルで動かすなんて到底無理だし、良い出発点じゃないかな。

良い出だしだね。

AppleのアーキテクチャはRAMをアップグレードできないからSSDが必要になるんだよ。「640KBあれば誰にとっても十分なはずだ」なんて言った人を思い出すな。