Blackwell超えのコスパ！AMD MI355XでGLM5.2が驚異の2626 tok/sを記録

AMDの最新GPU「MI355X」上でGLM5.2を稼働させたところ、ノードあたり2626 tok/sという圧巻のパフォーマンスを達成しました。特筆すべきは、Blackwellアーキテクチャと比較して運用コストを半分以下に抑えつつ、この数値を叩き出している点です。AI推論の低コスト・高速化を目指すエンジニアにとって、見逃せない選択肢になりそうです。

これらの比較にワットパフォーマンスを指標として追加してくれないか？AMDがコストパフォーマンスの面で実際どの位置にいるのかを純粋に知りたいんだ。米国外にデータセンターを構築したいと考えている企業と話す機会があるんだけど、Nvidiaの製品を十分な量と規模で調達するのが難しい状況なんだよね。もしAMDのワットパフォーマンスが競合レベルで、ソフトウェアサポートもそこそこ信頼できるなら、米国外の多くの企業にとって最優先事項になるはず。中国と米国以外では電気代が比較的高騰しているからね。もし適切な価格で小規模なデータセンターを実現できるなら、Nvidiaの供給が限られている場所で、AMDがそのスタックの一部になれるかもしれない。まあ、AMDのGPUをどう調達するのかさえ全く見当がつかないんだけど。これまでWafer以外でAMDを使っている企業なんて見たことがないし、米国内でさえ数社しか知らない。純粋に興味深いトピックだけど、もしかしたら単に自分がNvidiaのバブルの中に閉じこもっているだけで、世間では常識の話なのかもしれないな。

これらのプロバイダーの粗利益は80%を超えているのか、それとも何か別の要因が利益を圧迫しているのか？稼働率の問題かな？

異なるアーキテクチャに対応したエージェント型コーディングドライバーは、世界にとって大きな転換点になるはず。これまで多くのコンピューティングリソースが、誰か天才や企業が特定のアーキテクチャを優先してくれるのを待つだけで十分に活用されてこなかった。でもこれからは、適切なプロンプトさえあれば、他のエンジニアたちがいつでもインスピレーションを得て、この課題に取り組めるようになるんだ。

2600 tok/sっていうのはあくまで「合計」であって、実際の処理スループットじゃないよ。