M1 MaxでKimi K3を快適に動かすための完全ガイド
Running Kimi K3 on a M1 Max
Running Kimi K3 on a M1 Max
M1 Max環境でKimi K3を動作させるための設定メモです。現状の知見を共有します。
0.01 tk/sなんて使い物にならないよ。1000トークン出力するだけで丸一日待つことになるし、こういうプロジェクトって何の意味があるの?
M5 Max 128GBでのSSDストリーミング:https://x.com/antirez/status/2082136334160818528
近いうちに512GB RAMのMac Studio 2台でそれなりの速度が出るようになるはず。
NVMeハードウェアの現状に詳しい人いる?これってSSDの寿命をガッツリ削っちゃうの?自分としてはそこが一番の懸念点かな(まあ週末ずっとMacをフル稼働させても平気って人もいるだろうけど)。
512GB Mac Studioを4台使ったらどれくらいの速さになるのか見てみたいね。
タイトルは「M1 Mac」じゃなくて「M1 Max」に修正すべきだね。ベースモデルのM1でK3を動かすなんて当分無理だし。とはいえ、すごく印象的なプロジェクトなのは間違いない。
あとはエージェントを設定して、解決するまで止まれない「/goal」を与えて、指数関数的に速くなる瞬間をライブ配信してくれよ。BGMにEternal Jukeboxを流しながらさ!
まさに自分の持ってる64GB M1 Maxだわ。
これ本当に嬉しい!♡
それにしても、みんなどうやって(売り切れの)512GB RAMのMac Studioを入手してるんだか、そもそもどうやって買ってるの?4万ドルくらいするんじゃないの?
60秒/トークンか。この「秒(s)」を削る方法さえあれば最高なんだけどな。
めちゃくちゃクールだし、最初に速度について明記してるのは好感が持てる。
トークン/秒じゃなくて、トークンあたり秒(seconds/token)だね、こりゃ。