ディスカッション (11件)
次世代GPUの覇者となるであろうRTX 5090と、Appleの最新チップM4を搭載したMacBook Air。この全く異なるアーキテクチャを持つ両者が、実際のゲーミング環境でどれほどのパフォーマンスを見せるのか。果たしてAppleシリコンは真のゲーミングPCと渡り合えるのか、その可能性を探ります。
これぞまさに狂気の科学、最高だね
ナイス!AI全盛の時代に、まだ本物のハッキングが息づいているのを見られて嬉しいよ。
正直認めたくはないけど、今や私のプロジェクトの第一歩はAIに聞くことだ。何か新しい知見をくれるかもしれないし。
あるいは、AIが「知らないこと」をさも知っているかのように教えてくれる可能性の方が高いよ。
昨日、ChatGPTと口論したのを思い出したよ。5070TIが実在するビデオカードだって言い張ったんだ。あいつは「そんなカードは存在しないから、4070tiの言い間違いだろ」って訂正しようと必死だったよ。
私はもう何年もVMチームを悩ませてきたんだ、VMでのGPUパススルーを求めてね。Apple Silicon版Mac Proの開発にも関わっていたから、Linux VMを動かしてケース内のGPUをパススルーできたらどれほど理にかなっていたか!
悲しいかな、見ての通り彼らは私の要求を聞き入れてくれなかった。他の人たちがそれを実現させたのは本当に素晴らしいよ!
かなり衝撃的だ。Apple SiliconではeGPUは全く動かないものだと思っていたよ。
(*編集: Appleも私の印象と同じ見解のようだ。「eGPUを使用するにはIntelプロセッサ搭載のMacが必要です」それに加えて、公式にサポートされているeGPUはすべてNVIDIAではなくAMDだった。 https://support.apple.com/en-us/102363 *)
素晴らしい記事だね。
ゲームのベンチマークも面白いけど、LLMの改善こそが実用的な観点から見て本当に興味深い。大容量RAMでローカルモデルを動かす手頃な方法としてAppleプラットフォームは好きなんだけど、プロンプト処理速度が比較的遅い点は見過ごされがちだからね。
ここでMacの大きな問題が見えてくる。プロンプト処理(別名「プリフィル」)速度だ。プロンプトが長くなればなるほど、どんどん悪化していく。4Kトークンのプロンプトだと、それほど長くはないはずなのに、M4 MacBook Airで応答の生成を開始する前にパースだけで17秒もかかる。一方で、eGPUを接続するとたった150msで済む。120倍もの差だ。
このプリフィル問題は、小さなチャットでLLMを遊んでいる時には気付かない。でも、より大きな作業に使おうとすると計算限界がボトルネックになるんだ。
Time to first token (TTFT)のチャートは、MacプラットフォームがフルGPUコンピューティングと比べていかに遅いかを示すためにログスケールで表示されていることに気付くまでは、そこまで悪くないように見えるからね。
macOSではOpenGLのサポートが打ち切られているため、CrossOverを使ってもゲームは完全にプレイ不可だ。皮肉なことにWindows PCなら全く問題なく動くのに、このeGPUセットアップなしではMacでプレイできないゲームなんだよ。
その通りだね。Doom自体はVulkanをサポートしているようだけど、MoltenVKにVK_NV_glsl_shaderを追加する必要があるだろう。まあ、RTX 5090をM4にぶら下げるのに比べれば、はるかに楽な作業だろうけどね。とはいえ、Scottに拍手を送りたい。ローカルAI推論の速度もかなりクールだ。なんてクレイジーなプロジェクトなんだ! <拍手>
ちょっと待って、これ信じられないな。余っている5090があるし、M4 Miniで似たような構成を組んでるんだ。3Dプリントしたフレームに固定して、Thunderboltポートに繋げばローカル推論のためのかなり実用的なツールになりそうだ。電源供給を安定させる何かいい工夫が必要そうだけど。
課題はmax-num-seqsとmax-model-lenが互いに干渉し合うことかな。純粋なシングルクライアントモードでない限り、いわゆる複数のスロットが必要になるし。
投稿を読む前は、低速なtinygradドライバ経由でVMを動かしているのかと思っていたけど……これはずっと、ずっと素晴らしいよ。
Appleがサポートを強化して、1.5GBの制限枠を広げてくれればもっと簡単になるだろうに。ArmはPCIeデバイスに関して全体的に癖があるけれど、少なくともLinuxではほとんどのモダンなドライバがarm64を第一級市民として扱ってくれるようになったから、かなり楽にはなったね。
最高だぜ!デスクの上の追加ファンもいい感じだね :)