HN601195
爆速・検閲なしの最強モデル？「Qwen3.8-Flash-Next」が登場
Qwen3.8-Flash-Next
tosh・約13時間前
議論
11件話題の検閲なしモデル「Qwen-3.8-27B-Uncensored」の詳細はこちらから確認できます。エンジニア必見のモデル情報をチェックしてみてください。 https://imageat.com/models/qwen-3-8-27b-uncensored
新しいアーキテクチャだね（Qwen 4への伏線か）。
Qwen3.7-Plusのわずか9分の1のコストでトレーニングされたにもかかわらず、全体的に性能を上回っている
3.8 27Bをこれほどきれいに凌駕するとは思わなかった。
2026年8月、5kのMacbookで30 tok/sで動くOpus 4.6 Maxをローカル実行するなんて。LLMの進化スピードが狂ってる。
もうUnsloth Desktopに入ってるよ。73GBあるみたいだから、128GB積んだMacかStrix Halo系なら動くはず。楽しみ！
llama.cppの対応待ちだけど、Strix Haloユーザーには大きなチャンスかもしれないね。
6Bの有効パラメータのおかげでメモリ帯域の制約をクリアしやすいけど、128GBあればQ3/Q4量子化なら十分なコンテキストサイズで動かせそう。むしろ27BよりStrixユーザーには向いてるかもしれない。あれもかなり良かったけどね。
Qwen3.8-Flash-Nextは125Bパラメータのメインモデルに加え、51BのN-gramエンベディングを備えており、トークンあたりのアクティブパラメータは6B
まだ誰も指摘してないけど、これ実質的なサイズはどうなるんだ？明らかに約176Bパラメータだけど、どう量子化されるんだろう。100GBを切る4ビット量子化は厳しそうだし、128GBのユニファイドメモリじゃ動かない気がする。
原理的には、今のメモリ不足を差し引いてもメモリを犠牲に計算量を増やす考え方は好きだけどね。
誰かN-gramのアイデアの直感的な説明をしてくれない？DeepSeekが数ヶ月前に論文を出したのは知ってるし、Gemmaモデルにも軽量版が入ってるのは分かってるんだけど、どうもピンとこないんだよね。
Unslothのunsloth/Qwen3.8-Flash-Next-GGUF (UD-IQ1_S)を使って、DGX Spark上で4つの推論レベル（none, low, medium, xhigh - highとxhighは実質同じらしい）でペリカンを生成してみた。
Qwen 3.8 27Bの時ほど気に入った結果が出なかったのは残念。https://simonwillison.net/2026/Aug/16/qwen-38-27b/#the-default-of-extra-high-results-in-spectacular-over-thinking 量子化のせいかな。
もう未来が想像できないよ。
米国の企業は安全策を取ってモデル公開をコントロールしてる。
中国の企業はとにかく何でもオープンソースにする。
中国は数年前からオープンソースにする動機があるみたいだけど、米国の企業はリアルタイムで意思決定してる感じだね。
未来を切り拓いて生き残るには、その両方が必要っていうのがなんとも奇妙だ。
待ちきれない人向けに、llama.cppの暫定ブランチをマージして動かしてみたよ https://github.com/alainnothere/llama.cpp/tree/disk-cache-eviction 。23.54 token/secで動いてる。僕の環境だと3.8 dense 27Bが30台後半で動く感じだね。
iq4_xsモデルで生成したペリカンがこれ。
https://github.com/alainnothere/llama.cpp/blob/disk-cache-eviction/media/pelicanRidingBycicle.jpg
最初は64GB RAMのCPU環境で2-3ビット量子化すれば、3.6 35B-A3Bの半分の速度くらいで動かせるかと思ったんだけど、50BのN-gramサイドカーがあるから無理っぽいね。それにUnslothのページでは4ビットで50GBって書いてあるけど、計算上は25GBになるはずなのに妙だ。とにかく、この新しいN-gramアーキテクチャのせいで、メモリ不足（RAMocalypse）の今、32-64GBしか積んでない一般人にはほぼ使い物にならないね。