メモリ29GBでKimi K3を爆速（？）動作！0.50 tok/sで動かす設定とは

Kimi K3を29GBのメモリ環境で動作させ、0.50 tok/sの速度を達成した報告です。

このREADME、いかにも「LLMが書きました」っていう雰囲気がプンプンするんだけど。もしかしてコードベースもLLM任せなの？

面白いプロジェクトだね。見出しにある29GBのRAMってのは4kコンテキスト向けの話か。他で読んだ情報だと、Kimi K3って思考プロセスがかなり冗長らしいよね。この速度だと1時間にたった1.8kトークンしか生成できない計算になるけど、それだけで複雑なプロンプトの思考や出力までこなせるものなのかな？

もしこのMacで30〜50W消費するなら、1Whあたり40〜60トークンってことになるね。最近のGPUクラスターだと8万トークンくらい出るはずだから、あいにくSSDストリーミングだと1000〜2000倍も電力を食っちゃうのか。

GLM-5.2でcolibriプロジェクトがやってたことにかなり近い感じだね。応援してるから頑張って！ https://justvugg.github.io/colibri

へぇ！でもさ、0.5tk/sのLLMって何に使うの？llamacppとか、ネイティブなSSDオフローディングに対応したソフトで動かして速度比較してみた？

概算してみると、コストは100万トークンあたり約5ドルってところか（42W継続消費、1kWhあたり20セントと仮定）。ハードウェア代とか諸経費は含まずにね。

このプロジェクトと https://github.com/gavamedia/deltafin はどう違うの？

サイトのどこにも社名の由来が書かれてないんだけど、オープンソースツールの名前をそのまま使っちゃって大丈夫なの？SQLiteのコード自体はパブリックドメインだけど、名前の権利についてはどうなってるのか気になった。

なるほど、Claude Codeに挨拶してから出力トークンが出てくるまでに30時間かかるってわけか（もうひとつのプロジェクトだと6.25日かかるしね）。

面白いね。新規性はわかる。