AIチップの製造コスト、ついにメモリが3分の2を占める異常事態へ

AIアクセラレータの製造コスト構造が激変しています。最新の調査によると、AIチップ全体のコストのうち、メモリ（HBM等）が占める割合が3分の2にまで達しているようです。演算ユニット自体のコストよりもメモリへの依存度が極めて高くなっており、今後のAIインフラ開発においてメモリ供給網の確保がかつてないほど重要なファクターになっています。

数年前に96GBのRAMを250ドルくらいで買ったんだけど、今じゃ同じものが1200ドルもするんだぜ！

AIにどっぷり浸かってないゲーマーやPC好きにとっては最悪な時期だな。

1週間前に中古のDellサーバーを買ったんだ。12コアCPUと32GBのDDR4 ECC RAMを積んだフルセットで、DDR RAMを64GB単体で買うのと変わらない金額だったよ。この異常事態が早く終わってくれないと、他の市場にも悪影響が出そうで怖いな。この前、PCケースの売り上げが40%以上も落ち込んだっていう記事を読んだよ。

価格が少しでもまともになるまでは、今のDDR4環境から移行するつもりはないな。（昔持ってたDDR4 2133MHzの予備が32GB分あるから、今使ってる3200MHzのが壊れてもなんとかなるし）。つまり、CPUメーカーには金を使わないってことだ（5800Xで今のところ十分だし）。新しいGPUを買う理由も特にないしね（B580が完璧じゃないのは認めるけど）。

ハイパースケーラーがもっと垂直統合を進めて、自社でファブを建てないのか不思議でしょうがないよ。確かにファブ建設には何十億ドルもかかるけど、彼らは今NVIDIAとかからチップを買うために数千億ドルも使ってるんだから。

いろいろ読むと、RAMの容量は年率20〜25%でしか増えないみたいだけど、これじゃ全然足りないだろ。一般ユーザーのスマホやノートPCだって、RAM容量が倍になれば恩恵はデカい。それにAIの需要がハンパじゃないのは明らかだしね。需要が消えるとも思えない。今のペースほど速くはならないかもしれないけど、停滞するってこともないだろう。メモリーメーカーが自滅したくないのは分かるけど、リスクをモデルプロバイダーやエコシステム内の他の連中に押し付けて、年率50%くらいのペースで容量を増やしていく方法が何かないのかね。

これの面白い点は、AIの推論や学習において、技術革新なしでハードウェアコストを約3分の1（総コストなら約2分の1）まで減らせる可能性があるってことだ。単純にDRAMの供給が需要に追いつくのを待てばいいだけだからね（製造規模を拡大するか、今の生産ペースで需要のピークが過ぎるのを待つかして）。

メモリーメーカーは特許の山の上にあぐらをかいてるようなものだ。だから、もし誰かが余剰のファブ能力を持っていてメモリー製造に参入しようとしても、山のような特許との戦いに挑むハメになる。メモリー企業の多くは、裏で特許侵害を相殺し合うような取り決めをしてるしね。ライセンス料で沈没せずに新規参入する方法なんてあるのか？

イランがヘリウムの供給を止めたくせに、敵対国を攻撃するためにAI生成のプロパガンダ（slopaganda）に頼ってるっていうのは、なんとも皮肉な話だな。歴史の皮肉というか、なんというか。

この情報を自分にどう有利に使えるんだろう？AIチップのメモリー関連で何か始めるべきかな？もしそうなら、どうやって？ハードウェアは難しいから、ソフトウェアレベルで何かできることはないか？