爆速！Unslothで「GLM-5.2」をローカル環境で動かす方法を完全解説

話題のLLM「GLM-5.2」を、Unslothを使ってローカル環境で爆速動作させるためのガイドです。導入手順や設定のポイントを簡潔にまとめました。サクッと自分の環境に構築して、推論やファインチューニングを楽しみましょう！

惜しい！私のマシンはRAM 192GB + RTX 3090 24GBだけど、これだとほぼ動かせそうな感じ。MoEのオフロードにはVRAM 24GBとRAM 256GBが必要って書いてあるし。

https://unsloth.ai/docs/models/glm-5.2#usage-guide

前のスレッドでは、ハードウェアに50万ドルかかるなんて言ってる人もいたよ。

https://news.ycombinator.com/item?id=48629970

AMDの新しいAIチップなら余裕で動かせるのかな？購入を真剣に検討中。GLM 5.2はGPT 5.4に少し及ばないくらいだし、単純作業をローカルで片付けられるのは大歓迎。

ローカルLLMにはすごく期待してるんだ。2000ユーロ以下でGPT 5.5-xhighレベルの性能が出せるようになるかもしれないしね。

これが普及すれば、最先端モデル側もあぐらをかいていられなくなるし、トークン単価全体が下がるはず。

やっぱりクラウドから切り離されたローカルLLMに勝るものはないよ。

コーディング用途でも十分に使えるモデルをローカルで動かせるようになるまで、かなり距離が縮まってきた気がする。これって企業側からすると少し怖いんじゃない？俺の考えすぎかな？

なんでこのモデルはDeepSeek V4 Proの半分のサイズなんだろ？DeepSeekの方がAttentionメカニズムのコストカットを攻めすぎてるってこと？

RAM 256GBなら「乗る」には乗るけど、強烈に量子化されるし動作もかなり遅いよ。見出しにある数字はトークン生成速度じゃなくてプロンプト処理速度だしね。10 tok/s出て、APIが20〜30 tok/sなら一見悪くないように見えるけど、Mac StudioとかGPUに全量載らない環境だと、純粋なGPU環境に比べてPP（プロンプト処理）が20〜50倍遅くなる。実質的に5万ドル分のGPUがないと使い物にならないってこと。

その上、ガッツリ量子化もされちゃうしね。

9684XでQ6量子化を使ってCPUのみで動かしてるけど、大体1tok/sってところかな……。16並列で動かしても同じく1tok/s/streamくらいだよ。

フルモデルには1.51TBのディスク容量が必要

…ちょっと変な質問だけど、LLMってコールドストレージ用にロスレス圧縮できるものなの？

現実的な速度で動かせるハードウェアは持ってないし（性能が死ぬような強引な量子化もしたくないし）、かといってオフラインでコピーを持っておくのもクールかなって。太陽フレアでネットが壊れたり、ゾンビパンデミックが起きた時とか……何があるかわからないしね。

ただ、1.5TBはさすがにデカすぎる！もう少し現実的なサイズに圧縮できれば楽しいんだけど！

量子化分析（Quantization Analysis）について誰か教えて。「dynamic 4-bit UD-Q4_K_XLとdynamic 5-bit UD-Q5_K_XLは概ねロスレス」とあるのに、チャートではトップ1%のトークン一致率が97.5%になってる。自分としてはこれを「概ねロスレス」とは呼ばないと思うんだけど。これって2.5%の損失を何か後処理（ビームサーチとか？）で補うっていう前提の話なのかな？

この手のモデルに関する投稿を見るたびに、「科学者たちは『できるかどうか』に夢中になりすぎて、『やるべきかどうか』を考えるのを忘れていた」っていう名言を思い出すよ。

そもそもこれを動かせるハードウェアを持ってるのは一握りだし、予測されるパフォーマンスを考えると、そこまでして動かす価値があるのかどうか疑問だね。