Qwen3.8 27B 量子化ベンチマーク：4-bitは優秀だが、1-bitは使い物にならない結果に

Qwen3.8 27Bモデルの量子化によるパフォーマンス検証を行いました。結果として、4-bit量子化は十分な精度を維持しており実用的ですが、1-bit量子化まで落とすとモデルが崩壊し、精度が著しく低下することが判明しました。

Q3のところに明確な穴があるな。16GB未満のカードが重要な境界線になっていて、そこには5080、5070 Ti、5060ti、それに今世代や前世代の他のカードも含まれる。どこで品質が急激に落ちるのか（品質の変曲点）を確認するのは有益だろうね。

第二に、ノイズ（棒グラフはウィルソンの95%信頼区間。実行ごとのノイズに対しては非常に保守的）を除けば、4-bitまではほとんど差がなく、2-bitだけが少しスコアが低い。

信頼区間は実行ごとの変動とは何の関係もないよ。人々が普段それに関連付けているようなこと（https://link.springer.com/article/10.3758/s13423-015-0947-8 ）とはほとんど無関係だし、ましてや実行ごとの変動（https://link.springer.com/article/10.1007/s10654-016-0149-3 の誤解22）とはなおさら関係がない。

うーん、この記事が一部Claudeで書かれていて一部が人間によるものだと仮定して、「読む価値がある記事かどうか」を判断する経験則を教えてくれる人はいないかな？

一方で、文章や構成はひどい（無関係な点を並べ立てたり、X軸が非線形だったり、グラフのラベルが曖昧だったりなどなど）。

でも他方で、著者が伝えたいであろう結果（「これらの評価では生成品質はかなり良さそうだ」）は共有する価値があるように聞こえるし？

今は本当にこの問いに苦戦しているんだ。「もし記事がデータと関係のないテキストを並べているなら、それは著者が書こうとしているタスクを理解していない兆候かもしれない」という否定的な推論をしてもいいんだろうか？

各4-bit量子化がどう比較されるかの方が気になるな。NVFP4は速度やトップ1の精度でQ4_K_Mを上回っているようだけど、高価なNvidiaカードでしか使えないのがネックだ。

これで自分の説が裏付けられたよ。低い量子化（自分はIQ3_XXSに8-bit KVキャッシュを使ってる）とXHIGH（デフォルト）の思考レベルを使うと品質低下が最小限に抑えられる理由ね。

量子化がサンプリングの確率分布に影響を与える（同じコンテキストで、どの次のトークンが最も確率が高いか）のは有名だけど、Qwen 3.8 27bは単により深く考えることでそれを相殺して、結果的にタスク（ベンチマークかそれ以外かに関わらず）を完了できているようだ。

つまり、思考（時間はかかるけど）がしっかりしていれば、記事にあるような成功率につながる。ただ、トークンを多く消費するから時間がかかるのは代償だね。

成功率に加えて、各量子化で消費されるトークン数もグラフにするとさらに役立つと思う。検証と共有ありがとう！

KVキャッシュ量子化についても同じようなベンチマークがあったらすごく興味がある。コーディングで時々Qwen3.8 27B Q4_K_Mを使っていて、比較的長いコンテキストが必要なんだ。モデル＋100kトークンを24GBのVRAMに収める唯一の方法としてq8_0に落ち着いたけど、品質で何を失っているのか、他にどんな選択肢があるのか気になっている。

あと、長いコンテキストだとKVキャッシュ量子化の方が重要になるって聞いたこともある。モデル量子化 × KVキャッシュ量子化 × コンテキストサイズの組み合わせで品質がどうなるかベンチマークを取るのは面白そうだね。

自分で作ったすごく複雑で技術的なコーディングベンチマークがあるんだけど、これは100%自分が解決しなければならなかった実世界の問題なんだ。将来のモデルがその解決策を学習データに取り込むのは嫌だから、これ以上詳細は話さないよ。

驚いたことに、unslothのQ6_K_XLだと解決策を思いつくのに、Q5以下だと全くダメだった。さらに驚いたのは、今のところXLのQ6バリアントだけがそれを解決できたってこと。

提示された問題は、少なくともQ6量子化の限界ギリギリのところにあるみたいだ。

残念ながら成功する実行結果ですらかなり時間がかかるから、データはあまり多くない。でも、4-bit量子化を超えるまでは違いがわからないだろうというよくある考えを、これのせいで疑うようになったよ。

ご覧の通り、スコアはランダム推測レベルで、最小のモデルはそのしきい値すら下回っています。

あれ…ここで言っている意味を誰か説明してくれる？モデルがランダムに比べて一貫して「間違った推測」をするはずはないよね、それなら逆に「より優れている（＝正解がわかる）」ことになるから。全体的な一貫性（そもそも読めるのか、それとも支離滅裂な文字列なのか）のようなものが、そのスコアに影響しているんだろうか？

品質をE2E（エンドツーエンド）で測定するのは確かに理にかなってる。

でも、これにはもう少し裏があると思うんだ。

トークン予測の差（KLダイバージェンス、トップ1予測）を測るのは簡単だが、モデルがタスクを解決する能力が低下しているかどうかまでは教えてくれない。

よくある問題は、KLダイバージェンスがどのデータセットで計算されたかがほとんど言及されないこと。一番一般的なのはwikitextみたいだけど、たぶん伝統的だから、あるいは数値を比較しやすくするためかな？これはモデルがエージェント的なタスクでどれだけbf16に従えるかを測定しているわけじゃない。

最近、Qwen 3.8 27Bのいくつかの量子化でKLDを調べていたんだけど、データセットによって数値が劇的に変わるんだ。エージェント的なトレースで計算したKLDはずっと高く、トップ1の％もチャットやwikiテキストで計算した場合よりずっと低い。

公開された数値を見て「お、トップ1が99%か。100トークン中1つ違うだけならいいね」と思っても、それはwikiで計算された可能性が高くて、実際のエージェント/コーディングタスクでは100中10トークン違うかもしれない。

エージェント的なタスクではエラーが積み重なるから、測定指標が示すよりも劣化が激しいというのが一般的な直感だけど、もしかしたら測定指標自体が間違っていて、楽観的すぎるのかもしれない。

まだ調査中だけどね :)