HN219141
GPUなし！13年前のXeonでGemma 2 26Bを秒間5トークンで動かす驚愕の最適化術
Running Gemma 4 26B at 5 tokens/sec on a 13-year-old Xeon with no GPU
neomindryan・1日前
議論
11件13年前の古いXeonサーバーを使い、GPUを一切使用せずにGemma 2 26Bを秒間5トークンという実用的な速度で動作させることに成功しました。レガシーハードウェアでも最新のLLMを動かせる可能性を示す興味深い実験です。
投稿者です。元のコメントがなぜかフラグを立てられてしまったみたい。修正版はアップストリームの PR #2138 (https://github.com/ikawrakow/ik_llama.cpp/pull/2138) として公開しているよ。
それはかなり遅いね。自分の13年前のCPUでも8～12 t/sは出るよ。（速度はコンテキストサイズや他の設定で変わるから何とも言えないけどね）
GPUなしで256GBのDDR4メモリを積んだデュアルXeon環境で、いくつかの異なるモデルを動かしてみたレポートがこれ。
https://gist.github.com/hparadiz/f3596d00a62d8ebb2dadcc46ee5822c7
彼が地下室にあるセットアップを見せてくれたけど、マジでヤバいよ！次は3Dプリンターの話も聞かせてくれよな！
予言しておくと、2027年半ばまでには200B以上のMoEモデルが一般的な家庭用ハードウェアで動くようになるはず。
自分は今、16GBのMacでQwen3.6-35B-A3Bを動かしていて、7～9トークン/秒くらい出てる。リンクはこちら - https://github.com/deepanwadhwa/samosa-chat
16GB RAMのMacBook Airでこれだけの速度でGPT4レベルのモデルが動くのはすごいことだよ。
自分も2013年型のMac Pro（デュアルグラボ積んでるけど、この用途には役に立たないやつ）で同じGemma 4 26Bのセットアップを動かしてる。こっちも5 t/sくらい出るし、特定のタスクなら十分に実用的だよ！
言いたくない人もいるだろうけど、推論プロバイダーを使う場合のトークンコストは、ローカルで動かす電気代よりも安いと思うんだよね。
単純化して出力トークンの生成だけで考えると、5tpsなら1時間で1万8千トークンになる。推論プロバイダーなら約0.005ドルってところかな。
推論中のサーバー消費電力はおそらく500Wくらいと見積もってる。
ドイツだと1kWhが約0.3ドルだから、ローカルで1万8千トークン生成すると0.15ドルかかる計算になり、プロバイダーを使うより30倍もコストが高いことになる。
もちろん、データを気にする人にはローカル環境は依然としていい選択肢だけど、プロバイダーを使うよりはるかに非効率だということは知っておくべき。
新しいGPUで推論効率が上がれば、この効率の差はさらに広がるだろうね。
追記：最初は18万トークンかと思ってたけど、コメントで指摘してくれた通り1万8千トークンだね。電気代がほぼタダみたいな環境じゃない限り、ローカルは厳しいかも。あと、推論プロバイダーは今のところ小規模モデルでもH200/H100を使ってるはず。GB300や来年の新しいRuby GPUが普及すれば、推論コストはさらに30倍安くなるだろうね。そうなれば、ローカルでモデルを動かす意義はほぼプライバシー保護だけになるだろうな。
この時代のデュアルXeonだと、負荷がかかると300W以上は食うだろうね。
全国平均の電気代で換算すると1日あたり1.35ドル。夏場に部屋の冷却が必要ならもっとかかる。
24時間365日動かして、プロンプト処理時間を無視したとしても（実際には無視できないけど）、1日に40万トークンくらい。
つまり出力100万トークンあたり約0.3ドルってこと。
偶然にもこれはOpenRouterでの現在の価格と同じだけど、OpenRouterの方が8倍高速だ。
データを外部に出したくないといった理由でLLMをローカルで実験するのは素晴らしいことだけど、お金が節約できるとは期待しない方がいい。自分もローカル推論ハードウェアにかなりの額を投資してるから言えることだけど、趣味としては楽しいけど節約の手段にはならないよ。
自分のXeon E5 2673 V3を載せたデュアルコアのX99ボードがお気に入りなんだ。電力効率は良くないけど、地下室に置いてローカルのJupyter Notebook用に使ってる。この規模で使う分には、クラウドベースの環境よりずっと高速でコストパフォーマンスも悪くないよ。
5.2トークン/秒の生成速度なら悪くないんだけど、ボトルネックは16.2のプロンプト処理の方だよね。これのせいで、ハードウェアが手元にあったとしても遅すぎて使う気になれない。