眠れるGPUはまだ戦える？15枚の「電子ゴミ」化GPUで最新ワークロードをベンチマークしてみた

もう役立たずと思われていた古いGPUたちを引っ張り出し、最新の環境でどれほど通用するのか徹底的に検証しました。廃棄寸前の「E-Waste（電子ゴミ）」扱いされている15枚のグラフィックボードを過酷なワークロードで酷使し、実力を白日の下にさらします。掘り出し物を見つける参考になるかもしれません。

素晴らしい読み物でした。カードが新しくなるにつれて消費電力がどう変化するのかについても詳しく知りたい！

残念、bc-250（いわゆるPS5チップ）が入っていることを期待していたんだけどな。最近推論用として人気が出ていて、eBayでも200ドル程度で手に入るし。個人的に思い入れがあるんだ。以前2万個ほど導入したことがあって、ただの電子ゴミにならずにちゃんと使い道が見つかっていて嬉しいよ。

qwen3.6のような27Bクラスのモデルは試してみた？

32GB VRAMのカードを最大16枚スタックして、Deepseek-v4-flashみたいなMOEモデルの性能をテストすることって可能なのかな？

名機Tesla P4への言及がないね。ピーク時75WでVRAM 8GB、価格は約80ドル（60ポンド）。自分はP4を6枚とXeon E5 2696v3（36スレッド、ピーク3.8GHzだけど全コアターボ解除済み、つまり6コア3.8GHzか、約8コア3.5GHz、あるいは全コア3.1GHz）、48GB DDR4をマイクロATXケースに詰め込んで、650WのMSI電源で動かしているよ。これだと仮想的に48GB GPU（llama.cpp最高）として使えて、48GBのRAMをバックアップできるんだ。20～30BのQ4KMサイズ、デンスモデルで32K/48K/64Kコンテキストなら、だいたい7～12t/sのスコアが出るし、現代の推論用としては十分。ただ難点はプロンプトの読み込みで、現代のテンソルコア搭載8GB 5060（別マシンのGPU2枚）と比べると秒単位じゃなくて分単位で、めちゃくちゃ遅い。まあ一度読み込んでしまえば推論速度はかなり近いけどね。

このサイト、HNのトップページに来ると重くなるのが困りものだね。たかだかグラフの画像で約7MBって、本来ならHTMLやSVGでやるべきでしょ。記事自体は面白いけどね。夏が終わるまで自分のデュアルe5-v4システムは電源を切っているから、ブックマークしておこう。

セルフホストモデルをいじりたかった時、Radeon Pro V620 GPUを何枚か買ったよ。32GBあるし、最新のROCmリリースでもサポートされてるし、同価格帯の32GB Nvidiaカード（全部EOL）より数年新しいからね。古いTesla系より少し速いし。64GBあればGemma 4 31b 4-bit QATをかなり大きなコンテキストで動かして、実用的な速度（持続的に30+ tokens per second）を出せる。とはいえ、最近は古いRadeon Pro系もeBayで高騰してるから、無理に推奨はしないかな。自作ファンシュラウドが必要な古いサーバーカードを民生用PCで使うのは大変だし。それなら1400ドルのRadeon AI Pro R9700を買ったほうが、速いし、長期間サポートされるし、最初からファンが付いているからマシかもね。あるいは、1000ドルのIntel ARC B70という手もある。

数年前、職場でK80を大量処分したよ。旧式なだけじゃなく、とにかく不具合が多すぎた。加熱と冷却のサイクルを繰り返したのが原因じゃないかと思ってる。フル稼働時は排気がまるでヘアドライヤーみたいに熱かったからね。

興味深いね。埃をかぶっているTitan Vをベンチマークしてみようかな。もう誰かやってたりする？

自分もこの分野に（さらに）深くのめり込んでいるところだからいいタイミングだ。古いカードでQwen 3.6 27Bをそこそこの速度で動かしているけど、今後いろいろ広げていく予定。電源とPCIeスロット、基本的なCeleronが載ったOctominerを150ドルくらいで買ったから、GPUを好きなだけ増設できるはず。P100も考えたけど、250ドルのV100 16GBの方がお買い得だと思うな。32GB版はさすがに高すぎるし。