衝撃のベンチマーク結果：GLM 5.2がClaudeを凌駕した！

最新のベンチマークにおいて、GLM 5.2がClaudeの性能を上回る結果を叩き出しました。AIモデルの勢力図に新たな変化が訪れています。

GLMの輸出規制が来るかな？商務省がOpenRouterやHuggingFaceに対して、今後数ヶ月以内にオープンモデルの一部を削除するよう強制するんじゃないかと予想してるよ。まあ、そんなことしたって何の意味もないんだけどね。

広告っぽく読めるな。それに、これらは「ただの」IDORだし、脆弱性の中では一番簡単といっていいレベル。さらにGPT 5.5やOpus 4.8と比べちゃってるし。いや、家にはMythosなんてないよ。

Windowsカーネル、正確にはwin32kからwin32u周りで自分が達成できた結果と比べると、これらの数値はかなり低く見える。正直、中国が米国で公開されているモデルを追い越し始めても驚かないな。特にサイバーセキュリティのような特定のカテゴリではね。GLM 5.2はすでに自己学習を支援できるだけの能力がある。フロンティアモデルで見られたのと同じような状況で、彼らはOpenAIやAnthropicよりも遥かに低いコストでそこに到達しつつあるようだ。

[...] Claude Code（32%）を脆弱性1件あたり約0.17ドルで上回る

Claude Codeはエージェントハーネスであって、LLMじゃないよ。

Claudeはブランド名（あるいはLLMのグループ）であって、特定のLLMのことじゃないし。

GLM 5.2って753Bパラメータもあるのか[1]。みんなこれをローカルで動かすのにどんなハードウェア使ってるんだ？

[1] https://huggingface.co/zai-org/GLM-5.2

この週末のFableとGPT 5.6の騒動のあとで、改めてこれらのオープンモデルを見直してみたんだけど…GLM-5.2は日常のプログラミングにおいて、本当に頼りになるワークホースモデルだね。自分はLLMのヘビーユーザーだし、経験豊富な開発者だと思ってる。GPTでの典型的なセッションはいつも100ドルを超えてたけど…

今週末は暗号化機能付きのMatrix botと、ツールを使ったRustエージェントをプログラムしたんだ。自分が必要だったし、OpenClawはなんか…しっくりこなかったからね。2日後、20ドルほど使っただけで必要なものが揃ったよ。自分のホームラボにアクセスできる、Rustで書かれたマルチモーダルエージェントだ。

GLMで違和感は全くなかった。やりたいことはできたし、高速だし、性格も悪くなくて、OpusやGPTよりずっと安かった。

Fireworks経由で非量子化版を使ったけど、他にもプロバイダーはたくさんあるみたいだね。

GLM 5.2が出たときセキュリティバグハンティングのベンチマークに追加してみたんだが、良いパフォーマンスだったよ。でも最高のオープンモデルというわけではないかな。ベンチマークはMythosが見つけたバグを他のモデルが見つけられるかをテストするもの。最初のベンチマークでの最高はDeepSeek V4 ProかMiMo 2.5 Proだった。でもMiMoはただ運が良かっただけで、その後自分がやったほぼ全てのテストでパフォーマンスが落ちてる。一方でDeepSeekは一貫して最高クラスの成績で、キャッシュ性能が極めて高いから、もっと小さいモデルを含めても他よりずっと安上がりなんだ。

https://swelljoe.com/post/will-it-mythos/

あと注目すべき点として、モデルにオープンソースのsemgrepをツールとして使わせると、かえってパフォーマンスが落ちるか、良くなることはなかった。まあ、モデル自身が使い方を知らなくても、有用な情報をモデルに提示できるようなハーネスの組み方がある可能性はある（私の推測では、semgrepはトレーニングデータにあまり含まれていないから、モデルに「semgrepの使い方」と「セキュリティバグの発見」という二つのことを同時にやらせようとして、両方のタスクで集中力が欠けてしまうんだと思う。ほとんどの小規模モデルや一部の大型モデルでも、それはうまくできない）。

追記：テストは継続中だよ。GLM 5.2も安定して強力な性能を発揮するはずだ。自分がテストしたほとんどの項目で優秀だったからね。

GLMを何度も試したけど、ひどい出来だったよ。みんなが何を言ってるのか全然わからない。

Neuralwatt経由でGLM 5.2を使ってるけど、安すぎて仕事でClaudeのサブスクをもらえても、個人のサブスクを解約してもいいくらいだ。今月は374Mトークン使ったけど、エネルギーベースの価格設定でたったの18ドルだったよ。