HN764380
ついに王座交代！「GLM-5.2」がArtificial Analysisでオープンウェイトモデルの頂点に君臨
GLM-5.2 is the new leading open weights model on Artificial Analysis
himata4113・約1か月前
議論
11件AI評価プラットフォーム「Artificial Analysis」のランキングにおいて、最新の「GLM-5.2」がオープンウェイトモデルとして首位を獲得しました。性能面で他のモデルを圧倒しており、現在のLLM市場における新たなスタンダードとなる可能性を秘めています。
これは本当に大きなステップアップで、最先端モデルにかなり近づいているね。ただ、個人的にはそろそろ推論の効率化に注力してほしいところ。LLMを評価するためにNimで簡単な数式評価ライブラリを書くという（比較的）シンプルなタスクがあるんだけど（最大でも全体で400〜600行程度）、GLM 5.2（xhigh、つまり全力設定）は最初のファイルを書き出すまでに15分以上（！）かけて、4万5千トークンも消費したんだ。
改善が難しいのはわかるけど、モデルの純粋な知能が十分なレベルに達した今、これをより優先度の高いタスクにすべきだと思う。
現在 https://artificialanalysis.ai/#output-tokens を見ると、GPT 5.5 xhighは平均で1万6千トークン、GPT 5.5 highは1万、Fable 5は3万3千、Opus 4.8は4万1千、GLM 5.2は4万2千を使っている。GPT 5.5の推論効率は極めて高いよ。
もちろん、実際のコストに換算すればGLM 5.2がGPT 5.5やOpus 4.8を上回るかもしれないけど、多くの人にとってスピードは重要だと思う。
なぜもっと話題にならないんだろう？Opus 4.7クラスの品質で、価格はありえないほど安いのに。月額50ドルでトークン無制限というプロバイダーも知っているよ。中には、Opusよりすでに10倍安い公式ZAI API料金から、さらに3倍も安いレートを提供しているところもあるくらいだ。（ちなみにCrofとUmansのこと）
これはAnthropic、OpenAI、Googleにとって大きな打撃であり、世界の他の人々にとっては巨大な勝利だよ。オープンソースモデルにとって、公式APIの価格や速度なんて何の意味もないからね。
この24時間、このモデルをかなり使い込んでいるけど、確かにかなり優秀だね。少し冗長なところはあるけど（思考プロセスの中で3〜4回も考え直しているのを見たよ）、複雑で抽象的な要求を処理する能力では、まだGPT 5.5には少し及ばないかな。
正直なところ、かなり使えるレベルだね。AIを駆使するマルチオーケストレーターや熱狂的なClaudeファンでない限り、Z.AIのサブスクと月額20ドルのOpenAIサブスクを組み合わせる構成を勧めてもいいと思える。GLMで書いてGPTでレビュー・デバッグする運用は、月額200ドルのプランで全てをGPTでやるのと比べても遜色ないし、実質無制限に使えるような感覚だ。
「知能 vs タスクあたりのコスト」のパレートフロンティアで見ると、GLM-5.2はそのフロンティア上に位置していて、同レベルの知能を持つモデルの中でタスクあたりのコストが最も低いらしい。GLM-5.2は約0.46ドル、GLM-5.1は0.25ドル、Kimi K2.6は0.31ドル、MiniMax-M3は0.18ドル、DeepSeek V4 Pro（max）は0.05ドルか。
何か見落としてるかな？
こういったモデルの実行についてはあまり詳しくないんだけど、中堅以上の企業がプライバシーや主権を保持するために、こうしたモデルをローカルで動かすためのハードウェアを購入し始めるまで、あとどれくらいだろう？
コストはかかるし、最先端モデルほどの能力はないかもしれないけど、プライバシーや運用の自主性という面ではかなり大きなメリットがあるはずだ。
Artificial Analysisのコーディングベンチマークを見ると、GLM 5.1 highはコスト面でGPT 5.5 xhighに近いけれど、GPT 5.5 mediumはそれよりずっと安価だ。GPT 5.5 mediumと比較すると、GLM 5.1 xhighは2倍のコストで知能は半分だね。まだGLM 5.2は掲載されていないけど、埋めるべき差は大きいよ。
DeepSWEが出てくるまでは自分のやり方が悪いのかと思っていたけれど、個人の体験ともかなり一致している気がする。ネット上のオープンモデルに対する過度な期待がどれだけ信憑性があるのか、本当に疑わしくなるよ。もちろん用途はあるし、すべてが最先端である必要はない（GPT 5.5 lowは素晴らしいよ）。でも、最先端の近くにいたいなら、現時点ではOpus、Fable、GPT 5.5しか選択肢がないという現実を直視すべきだ。
Artificial Analysisのcodingindexに基づいてランキングするスクリプトを自分で作って動かしているよ。
メインのテーブルページからJSONを取得して、コーディングに関するフィールドだけを抽出しているんだ。以前はメーリングリストも紐付けていたんだけど……あまり興味を持つ人がいなくてね。でも、スクリプト自体は毎日使っているよ。
現在の出力の一部はこんな感じ。
score age size name
47.1 58 large Kimi K2.6
47.5 54 large DeepSeek V4 Pro (Reasoning, Max Effort)
47.5 70 - Muse Spark
47.6 132 - Claude Opus 4.6 (Non-reasoning, High Effort)
47.8 205 - Claude Opus 4.5 (Reasoning)
48.1 132 - Claude Opus 4.6 (Adaptive Reasoning, Max Effort)
48.6 55 - GPT-5.5 (Non-reasoning)
48.7 188 - GPT-5.2 (xhigh)
50.1 29 - Qwen3.7 Max
50.7 1 large GLM-5.2 (max)
50.9 120 - Claude Sonnet 4.6 (Adaptive Reasoning, Max Effort)
51.5 92 - GPT-5.4 mini (xhigh)
52.1 55 - GPT-5.5 (low)
52.5 62 - Claude Opus 4.7 (Adaptive Reasoning, Max Effort)
53.1 132 - GPT-5.3 Codex (xhigh)
53.1 62 - Claude Opus 4.7 (Non-reasoning, High Effort)
55.5 118 - Gemini 3.1 Pro Preview
56.2 55 - GPT-5.5 (medium)
56.7 20 - Claude Opus 4.8 (Adaptive Reasoning, Max Effort)
57.2 104 - GPT-5.4 (xhigh)
58.5 55 - GPT-5.5 (high)
59.1 55 - GPT-5.5 (xhigh)
62 8 - Claude Fable 5 (Adaptive Reasoning, Max Effort, Opus 4.8 Fallback)
すべて確認するには、こうやって実行してくれ。
$ curl day50.dev/art-analysis.sh | bash
リポジトリはこちら: https://github.com/day50-dev/aa-eval-email
いくつかのポイント:
-
オープンモデルは、評価方法にもよるが現在4〜7ヶ月の遅れがある
-
このままのペースでいけば、年内にはClaude Fable 5レベルの仕事ができるオープンウェイトモデルが出てくるかもしれない
もし無料のメーリングリストに登録してくれる人がいれば、また再開しようかなと思ってる……新しいモデルの評価が出たらメールを送るというものだけど、かなり便利だったよ。
GLM 5.1/5.2が「画像認識モデルではない」、つまりテキスト入力のみだということに驚いた。
最近ではかなり珍しいよね。OpenAI、Anthropic、Geminiのモデルはすべて画像を受け付けるし、他の主要なオープンウェイトモデルであるGemma 4、Qwen 3.6、Kimi 2.xも同様だ。
GLMの場合、ウェブデザインのようなタスクで非常に高いスコアを出すモデルだからこそ、画像入力ができれば、スクリーンショットを読み込んでHTML+CSSを出力するような使い方ができるので便利なんだけどね。
誤解しないでほしいのは、GLMが非常に素晴らしいモデルであることは間違いないんだ。ただ、画像入力がない点はちょっとした欠点だね。
GLM 5.2は、我々がテストした中で、明確にOpus 4.6と同等かそれ以上と言える最初のモデルだ（もっとも、いつものようにGLM 5.2やその他の中国モデルは、より脆弱なテスト手法をとる他のベンチマークでは少し低く評価される傾向があるけれど）。
データはこちら: https://gertlabs.com/rankings
Mythosで報告されたバグに基づいて自分のベンチマークに追加してみたんだ。GLM 5.1よりは良くなっているけど、依然として他のいくつかのモデルには及ばないね。強いて言うならQwen 3.7 Maxと直接比較できるレベルかな。ただ、Gemma 4やQwen 3.6といった小規模な自己ホスト可能なモデルでも、9つ中3つのバグを発見するという同じ結果だった。もっとも、正解の場所で1つバグを報告できたことに対して部分点をもらってはいるけど、バグの意味を少し誤解しているようだった。
同じタイミングでKimi K2.7-codeも追加してみたけど、K2.6のパフォーマンスと変わらず成績は低かったよ。いずれにせよ、このベンチマークで見れば、もっと安くて優れたモデルが他にもある。
https://swelljoe.com/post/will-it-mythos/
（この小規模なベンチマークが何かを決定づけるわけじゃない。データセットも限定的だし、各モデルはコーパス内の各ファイルに対して一度しかチャンスがないからね。でも、複雑なコードの推論問題をモデルが解けるかどうかを素早く判断するのには役立っているよ。）