自宅で始めるAI開発：ガラクタの山から最強のローカルLLM環境を構築せよ【Part 1】

AIを自宅で動かしたいと思っていませんか？高価なGPUや最新のハードウェアがなくても、手元にあるジャンクパーツや古いPCを活用すれば、自分だけのAI環境は作れます。本シリーズでは、あり合わせの機材をかき集めて、いかにしてAIを実用レベルで稼働させるか、その泥臭いプロセスを解説していきます。さあ、ゴミ箱をひっくり返して、自分だけのAIの心臓部を作り上げましょう！

「空気の流れを確保したくて10,000 RPMのファンを買ったんだ。回転数が低いファンと同じくらいの値段だったからね。でも、これがめちゃくちゃうるさい！マザーボードからGPUの温度に合わせて回転数を制御しようとしたんだけど、最初はうまくいかなくて、初期設定中は防音イヤーマフをつけて作業したよ。

『サーバー用のファンくらいなら我慢できるだろ。どれだけうるさいってんだ？』から『小さな12Vのファンがこんなにうるさいなんて思いもしなかった』という境地に達するまでの流れは、誰もが一度は通る道だよね。

AMDを選ぶなんてかなり勇気があるな。第2章で、以前AMDのAIアプリケーションを悩ませていたソフトウェアの安定性の問題をどう解決したのか、すごく興味があるよ。

「この頃、ガレージまでイーサネットが来てないことに気づいて、夜の11時から乾式壁に穴を開け始めたんだ」

あー、いかにもありそうなプロジェクトだね。

俺たちの「ガラクタの箱」の定義、あまりにも違いすぎないか？

「依存するようになると、いきなり取り上げられることになる」

概念的に見て、これは避けて通れないよ。ローカル推論は、当面の間はアップデートされるモデルに依存し続けるはず。古い学習データを含んでいるという理由と、より良いモデルを求める需要があるという理由の両方でね。それに、結局どこへ向かうのかまだ不透明だ。今はまだ、みんながその魅力に引き込まれているバラ色の段階にいるだけだよ。

最終的に、クラウドベースのAIプロバイダーから（できる限り）脱却しようと思って、QSFPで相互接続したDGX Sparksを2台買ったんだ。今DS4 Flash 0731上でOCRモデルをいくつか動かしてて、エージェントとのインターフェースにはOh My PiとOpenWebUIを使ってるよ。ずっとClaudeを使ってきた身として断言できるけど、もう必要ないね。少なくとも、俺がやってる作業には。

ずいぶんと立派な「ガラクタ」だね。普通の人の棚にあるものとはレベルが違うよ……。

これ最高！古いPCパーツのハッキーな再利用に、自作のファンコントローラー、そしてスクロール不要なほど短いスタイルシートを使ったプレーンなHTMLサイト。早く第2章を書いてくれ。あのAMDカードからどれだけ性能を引き出せるのか知りたいよ <3

「カードの背面に金属製のケーブルガイドフィンがあった」

それはフルレングスのカードを前面のPCIブラケットに固定するためのものだよ。PCIカードには「フル」サイズがあって、たいていのGPUは「ハーフ」レングスのカードと見なされる。これはロープロファイルとは別の話で、HHHL、HHFL、FHFL、FHHLという4つのスロット互換性の組み合わせがあるんだ。本物のワークステーション（Mac Proを含む）には、カードやその金属片を受け入れるためのスロットやブラケットがケースにカットされている（つまり、GPUの垂れ下がりに対する標準化された解決策は、PCIeができる前から存在していたってことだ）。

あと、ファンに関してだけど、ブロワーファンが静かというわけじゃない。もし、ファンを全開にしても空気が動かず冷えないのに音だけがうるさい、という状況に遭遇した人がいたら、ラジアルファンの方が静圧が高くて強制的な送風に向いているってことを覚えておくといいよ。

追記：これを真似したい人は、ケースが何か知りたいかもしれないね。ほとんどのATXケースは、不必要に大きくてもPCIスロットは7つしかない。デュアルスロットのカードを4枚搭載できるケースは珍しいからね。

AMD Instinct Mi50を4枚使って、かなり似たようなセットアップをしたよ。吸気にはNoctua Industrial PPCの14cmファンを1つ使って、3Dプリントしたダクトを取り付けた。結局のところ、カード自体はそれほど熱を発しないんだ。14cmファンを低回転で回すだけで、最大62度まで抑えられたよ。大きいファンの方が静かだしね。あと、ダイとヒートシンクの間のグラフェンパッドを取り除いて、質の良いグリスに塗り替えたら、さらに数度温度が下がったよ。