AMD MI300Xで「DeepSeek-V4-Flash」を爆速で動かすための構築ガイド

AMDの強力なGPU「MI300X」上で、DeepSeek-V4-Flashをセットアップするための手順とノウハウをまとめました。MI300Xの性能を最大限に引き出し、効率的に推論環境を構築する方法について解説します。

ナイス！8xMI300X環境のDeepSeek V4 Proでも、これらのパッチは使えるかな？

ブログ記事に付随しているvllmのパッチもどうぞ：https://github.com/doublewordai/vllm-amd-blog-doubleword

うちのdoublewordでは、低インタラクティブな推論においてAMDに期待してるんだよね。ただ、ソフトウェア側でもうひと踏ん張りが必要かな…

AMD MI250Xで学習してるけど、Gemma 4 31Bを動かすのはなんとかなったよ。でもソフトウェア側の調整にはかなり苦労した。