AMD Ryzen AI Halo登場!4,000ドルのAI開発キットが熱い
AMD Ryzen AI Halo – $4k AI Dev Kit
AMD Ryzen AI Halo – $4k AI Dev Kit
AMDの最新チップ「Ryzen AI Halo」を搭載した、4,000ドル級のAI開発者向けキットが発表されました。ローカル環境で本格的なAI開発を行うための強力な選択肢となりそうです。
誰かの役に立つかもしれないので共有(記事より):
「AMD Ryzen AI Max+ 395(Strix Halo)プロセッサは2025年春から入手可能であり、Haloはその点において新しいものは何もない」
メモリ帯域幅はこれまでのどのボードと同じ256 GB/sの制限のまま。なぜ今さらこれが新しいものみたいにリリースされているのか不思議だ。大体同じ価格でFramework Desktopが買えるし、もう少し安く済ませるならGMKtec EVO-X2もあるのに。
前モデルでは「たったの」2000ドルだったけど、新しい筐体になってもメモリ帯域幅は悲惨なほど足りてない。ハイブリッド推論用に専用GPUを搭載できるモデルもいくつかあるけど、個人的には買う価値はないかな。お金を貯めてXeonやEPYCで組んだほうがいいよ。
新しくて注目に値するのは https://developer.amd.com/playbooks/ (https://developer.amd.com/playbooks/) や https://github.com/amd/playbooks (https://github.com/amd/playbooks) だね。これはNvidiaのplaybooks (https://build.nvidia.com/spark (https://build.nvidia.com/spark) / https://github.com/NVIDIA/dgx-spark-playbooks (https://github.com/NVIDIA/dgx-spark-playbooks) )に対するAMDの回答で、本気で取り組んでいる姿勢が見えて素晴らしいと思う。
ハードウェア自体は去年2000ドルで売られていたものと全く同じ(中国のOEMなら今でも1000ドル安い)。
LTT LabのLLMテストが高度化しているのは良いことだ。ROCm/Vulkanのバージョンやllama.cppのビルドバージョンで数値に大きな差が出ることは留意すべきかな。
Strix Haloを最大限活用したいなら、カーネルの微調整やryzenadjのようなツールが役立つはず(http://strixhalo.wiki/ (http://strixhalo.wiki/) にドキュメントがある)。あと、コーディングやエージェント関連の作業なら、モデルがMTPをサポートしていればデコード速度が(30%くらい?)向上するから試してみるといいよ。
これらのデバイスはDGX Sparkより安かった頃は最高だった。
でも同じ価格なら(Sparkが高騰していない限り)、あえてこれを選ぶ理由はないね。
Sparkは文字通りこれの高速版だし、ソフトウェアのサポートも手厚い。
追記:Ryzen AI Max 395デバイスのオーナーとして言わせてもらうよ。
256 GB/sのメモリ帯域幅は3090の約4分の1しかない。メモリは半分でいいから、帯域幅が4倍速いほうがずっと買いだね。
なぜこの手の製品はどれも128 GB VRAMという制限に固執するんだろう?この価格なら、少なくとも224 GB VRAMは欲しかった。
128GB以上のマシンを喉から手が出るほど欲しいけど、4000ドル払って256 GB/sというのは厳しいよ(ARMとAMDの両方の欠点を抱えているし)。
RTX Sparkが出る頃には6000ドルになりそうだし、700+ GB/sの128GBマシンが出る頃には1万ドルまで上がって、一般人には手が届かなくなりそうで怖い。
追記:gb/sをGB/sに修正。
これはCUDA搭載のNVidia DGX Sparkや、128GBメモリで帯域幅が2倍あるMacと比べて少し安いだけ。Strix Haloの存在意義は、かつてはそれらの高性能マシンより半額で買えることだったはず。この価格でAMDのチップを買うのは正気じゃないよ。ただ、今のハードウェア市場は全般的に狂っているから、結局売れちゃうんだろうね。
Strix Haloデバイスを持ってるし気に入ってはいるけど、この価格ならAI目的で買うならNvidiaベースのASUS GX 10を買ったほうがいい。CUDAのエコシステムは依然として強力だ。AMDのほうがCPUは優秀だしデスクトップ機としては上だけど、推論や学習のワークロードではNvidiaのほうが少し速くてサポートも安定している。ROCmでもほとんど同じことはできるけど、一手間かかるんだよね。
ただ一つ言っておくと、Nvidiaがハードウェアに載せてくるカスタムUbuntuは本当にひどくて扱いにくい。Nvidiaはソフトウェアが苦手なんだ。良くなることを期待してるけど、Jetsonシリーズを数年使っていても改善されない。扱いにくいカスタムUbuntuで、UEFIもなくて普通のLinuxを入れるのも簡単じゃない。大規模デバイスも同じUbuntuなのかは分からないけど、Jetsonで懲りたよ。その点、AMDは普通のx86_64 PCだから好きなLinuxを入れられる。僕は即座にFedoraを入れたよ。
本当に4000ドルの価値があるの?中古の3090を2枚積んだ場合と比較して、実行できるモデルや推論速度がどう変わるのか興味があるな。