HN16562
爆速LLM学習の革命！UnslothがDynamic 3.0 GGUF形式に対応
Unsloth Dynamic 3.0 GGUFs
jonesy827・約15時間前
議論
11件ついに「Unsloth」が大幅アップデート！待望のDynamic 3.0 GGUF形式への対応が発表されました。効率的なモデル学習や推論を求めるエンジニアにとって、これは見逃せないニュースです。詳細な仕様や実装方法については公式リポジトリをご確認ください。
Unslothさん、GGUFモデルを落とすときはいつも真っ先にあなたのところをチェックしてるよ。実際今日、16GBのRAM制限でQwen3.8-27Bをどこまで小さく動かして良い結果が出るか試そうとして、Qwen3.8-27B-UD-IQ2_XXS.ggufを選んだらMTPエラーでBAM！ってなったんだ。でも発表を読んで理由が分かったよ。サイズ削減以外の部分で、わざわざMTPを削除した理由って何なの？本来なら一番恩恵を受けそうな層にとって、MTPがあった方がスピード面でも有利なはずじゃん。
トピック違いかもしれないけど、Mac Studio Ultra M1みたいなAppleデバイスでこういう量子化って可能なのかな？（何週間、何ヶ月かかってもいいんだけど）
「UD-1bit量子化モデルも作成しました。UD-IQ1_Sは6.2GB（MTPなし）ですが、トップ1%の精度を約72%維持しつつ、サイズは89%削減されています」
これヤバすぎる！でも、実際に何らかのプロジェクトでこの低ビット量子化を試した人っている？
新しいIQ4XS、4090の16GBで今のところかなりいい感じに動いてるよ。
16GB VRAMのGPUを4枚積んでる場合、合計約64GB VRAMを要求するモデルを使うことって可能なの？
Qwen3.8-27Bの各量子化版で、実際にコード生成の能力を測定したベンチマークってある？複数ステップのタスクとかも含めてさ。KLダイバージェンスが低いからって、モデルがずっと同じループにはまって動かなくなるんじゃ意味がないしね。
もちろん自分でダウンロードしてテストすることもできるけど、うちのネット回線だと数日かかっちゃうんだよ。
自分はローカルモデルを主に個人情報が含まれるデータで使ってる。今年初めの段階では、コーディングの質はまだClaude Codeには及ばないと感じていたんだ。
個人的にうまくいってるやり方は、ローカルモデルに同じ形式のダミーデータを作らせて、Claude Codeにそのダミーデータで作業してもらい、生成されたコードを持ち帰ってローカルのリアルデータで実行するという方法。これならリアルデータが自分のマシンから出ることはないし、コーディングの大部分でより高性能なモデルを使えるからね。
Unslothが公開するGGUFにバージョン番号か何かを付けてくれると嬉しいんだけどな。今のままだとローカルストレージに名前が完全に同じ別のファイルが溜まっていっちゃうからさ。
例えば「Qwen3.8-27B-UD-Q8_K_XL.gguf」とかね。
4日以上前にダウンロードしたものと、今ダウンロードしている「Dynamic 3.0」のGGUFは別物だよね？たぶんsha256チェックサムも違うはずだし。
UnslothのページにはDynamic 3.0が「今日」リリースされたとあるけど、記憶が正しければ4〜5日前にQwen3.8 27B Q8のコピーをダウンロードしてあるんだよね…。
今回のアップデートはサイズだけでなくパフォーマンスも向上しているみたいだから、ベンチマークや比較結果が待ち遠しいよ。推論用の独立したGPUを持っていない場合、1GBの差が重要になってくるから、特定のQ4量子化モデル同士の比較はすごく興味がある。
今のところ、少しでもバッファやコンテキスト長を確保するために低ビットのQ4量子化にするか、あるいは少し高い量子化（IQ4_XS vs Q4_K_M/XL）にするか決めかねているんだ。
今のところDynamic 3.0のNVFP4量子化版はまだ出ていないみたいだよ、念のため。他の量子化手法と比較して性能曲線がどうなるのか見てみたいね。