爆速！単体AMD MI300XでDeepSeek V4 Flashを動かしてみた

AMDの強力なGPU「MI300X」単体で、DeepSeek V4 Flashを動作させることに成功しました。圧倒的なパフォーマンスとメモリ帯域を活かした検証結果を共有します。

「MI300X」って1個単位では買えないよね？8個入りのボックスでしか買えなくて、価格も25万ユーロくらいするし。

DeepSeekがH800で出しているパフォーマンスにはまだ遠いな。DSparkの論文だと、GPUあたり1万5000トークン/秒というスループットを報告してるし。MI300ならH800と張り合えるはずだから、まだ最適化の余地はかなりありそう。

残念ながらMI300XはOAMモジュールなんだよね。求めてるのはMI350Pの方で、こっちはPCIeカードなんだけどメモリが144GBと少なめ。でも幸いなことに、DeepSeek V4 Flashは144GBでも動くはず。256のMoEエキスパートがネイティブでMXFP4量子化されてるからね。

フロントティアモデルの推論（量子化なし、数テラパラメータ規模）を実装するのに、ここのハードウェア・プログラミング・インターフェースって使いやすいのかな？あと、オープンウェイトのフロントティアモデルってパラメータいくつくらいあるんだろ。数テラ？それとも数百テラ？

先行研究にDwarfStarが挙がってないのが不思議。あれなら（量子化の仕方は違うだろうけど）もっと少ないメモリで同じモデルを動かせるはずなんだけど。筆者が知らないだけかな？

また「〇〇でモデルが動く」系記事か。たいていは「動かすために何を犠牲にしたか」を並べるだけのやつ。「量子化で劣化してる？」→いや、推論ウェイトは完全に保持されてるから現状問題なし。「性能が遅い？」→いや、150トークン/秒以上出てるし。「コンテキストウィンドウを犠牲にした？」→そう、そこはYES。オリジナルは100万トークン対応だけど、これは25万トークン。でもかなり実用的なトレードオフだよ。Codexもこの範囲だし、フルサイズに近づくほど品質は落ち始めるからね。

いいじゃん！MI300XのHBMの多さは、こういう用途に本当に役立つと思う。2xMi300xでこれに関する作業を少しやってて（READMEでも親切に引用してもらったよ） https://blog.doubleword.ai/deepseek-v4-flash-mi300x https://hotaisle.xyz/quick-start MI300Xを試すならhotaisleは最高だよ