Claude Sonnet vs GLM 4.6：トークン効率徹底比較！驚きの結果が明らかに

背景としては...

GeminiとCodexを使い始めたんだけど、質問の難しさを理解して、3つを組み合わせるバランサーを構築したんだ。

GLM 5に期待してる。Sonnet 4.0レベルに達すれば、8割のケースで喜んで使うし、残りはSonnetを使うよ。マジで、制限がキツすぎるんだ😭

やつらは欲深くなって金が必要なんだよ。オープンソースが追いついてきてるから、大手AI企業はビビってるんだな。だからビデオAIみたいな重要じゃないことに力を入れてるんだ。なんとかしてユーザーベースを増やさないとね。

個人的にもAIに結構お金使ってるし、うちの会社はAIに何百万ドルも使ってるけど、Co-PilotといくつかのAPIしか使ってないよ。今ならH100をいくつか積んだローカルサーバーを構築すれば、お金も節約できるし、ファインチューニングされたデータで同じくらい良い結果が得られると思う。

みんな、すごい結果を出すには巨大なLLMが必要だって思ってるけど、実際はデータ構造、プロンプトエンジニアリング（ほら言ったぞ...どうでもいいけど）、そして質問の難易度を理解することなんだよね。

俺もそう願うよ。H100で、クローズドモデルに匹敵するオープンウェイトモデルを動かせたら最高だよね🥲

GLM 4.6はベンチマークで既にSonnet 4に勝ってるんだよね。テクニカルレポートにも書いてある。まだ、GLM 4.6にできないことはあんまり試してないけど。問題があるとすれば、途中で諦めるか、頼んでないことをやることくらい。というか、頼んでないことをやるのが好きみたい。

今のところ、既存のコードベースをめちゃくちゃにするのがやっと、って感じ。

言語とか、コードベースのサイズとかが関係してたりするのかな？

サイズはありえるかもね。200Kのコンテキストウィンドウがあるってことは、すぐにいっぱいになっちゃう可能性がある。

それは確かに納得できる。

GLM 4.6のこと言ってる？モデルとしてちゃんと指定した？

そう、4.6。もう一度試してるけど、Claudeが2回くらいでできたことを、どうしても実装できないんだ。

どうやって使った？Claudeのコードで試して、AnthropicのモデルをGLM 4.6に強制してみたんだけど、GLM 4.6に感銘を受けたよ。どんなタスクで使ったか教えてくれる？

フルスタックのアプリ作ってて、ClaudeデスクトップのArtifactsみたいな感じにしたくて、htm2canvasライブラリ使ってIframeのスクショ撮らせようとしてるんだけど、なかなかうまくいかないんだよね。真っ白になったり、スタイルなしのHTMLだけになったり。Claudeはすぐできたのに。あと、GLMはシンタックスミス多くて、閉じカッコとかよく間違えるから、修正ばっかしてるわ。マジで、閉じカッコだけで3回連続で修正したし。

Iframeのスクショって何？俺のテストはバックエンド中心でロジックとかばっかだったから、UIはあんま詳しくないんだよね。Claude 4.5がその辺強いのは知ってるし、実際使ってるけど。

うん、ビジュアルじゃないものとか、ユニットテストできるものならGLMの方が全然うまくいくと思う。でもフロントエンドはダメだね。Iframeのスクショっていうのは、Claude Desktop想像してみて。Artifacts開くと、アプリが分割されて表示されるでしょ。左がチャットブロックで、右がフロントエンドのアプリ。ボタン押したら、そのアプリが表示されてるブロックのスクショを撮りたいの。

ああ、やっと理解したわ。「Iframeのスクショを撮る方法を考えて。まずはオンラインでアイデアを探して」みたいなプロンプト試してみて。オンラインで検索するって言わせると、人間がやるみたいに動くから、すごく良くなるんだよね。

GLM 4.6がそのタスクでトレーニングされてないなら、ほぼ無理だと思う。まあ、どのモデルにも得意分野があるよね。フロントエンド関連なら、俺はまだ4.5 Sonnetが一番。

GLMがもっと良ければなぁ。Claudeに200ドルも払いたくない。

お前のスキル不足。

俺の経験とは違うな…。25k行のゴッドコンプレックスなプロジェクトをリファクタリングしたんだけど、最初はGPT-5、次はSonnet 4.5、最後はGLM 4.6を使ったんだ。GPT-5はモデルの抽出で迷子になり、Sonnetはシングルトンを持つサービスをほとんど依存性注入に抽出するところで迷子になり、GLMはレガシーなテストファイルで失敗した。でも、モンキーパッチを実装する代わりに、古いレガシーテストを削除して、安定したらTDDを導入する計画を提案してきたよ。

リファクタリングはまた別の話だよね。それには同意する。Claudeでリファクタリングするたびに、いくつか壊れるものがあったし。

一番良いと思ったのは、GLMがコンパクト化後に計画に従って継続すること。これはSonnet 4.1で95%コーディングしたプロジェクトで試したんだけどね。GLM 4.6で4時間以上ぶっ続けで動いた。でも、ClaudeやGPT-5を使う場合は、常に付きっきりで「すべてのステップが完了するまで次のステップの要約は不要」って繰り返さないといけないんだ。

Claude CLI経由でGLMを実行してるの？

その通り！！

マジで、Codexはそんなに重くないんだよね。Gemini CLIも同じ。

4.1と4.5とGPT 5 Codexで、似たような事例ベースのベンチマークをたくさんやってみたんだけど、ほとんどの場合、4.5が4.1に勝ってて、Codexは「フィーリング」の面で4.5に約70%勝ってた。コード構造に関しては、Codexが毎回勝ってたね。既存のコードベースの構造、スタイル、プラクティスを遥かに良く理解してた。Azure経由で自社ホストしてるGPTは、4.5より約20%速かった。

全体的に、以下のようなワークフローに落ち着いたよ。ざっくり言うと、Codexで計画＆実装、4.5で初期レビュー、Codexで実装レビュー、Codexでレビュー、4.1、Coderabbit、最後に人間のレビュー。人間のレビューにたどり着く頃には、コメントすることはほとんどないし、あったとしても些細なことばかり。

めっちゃ興味深いな。Swiftの作業してて、タイミング/レンダリングの不具合にハマって、Sonnet 4.5とOpus 4.1で堂々巡りしてたんだけど、（無料の！）GPT5 in Codexにプロンプト入れたら、問題の分析と、うまくいくデバッグ計画が出てきた。Claudeのコードには慣れてるけど、全部Codexに切り替えるべきか 고민中。

数日間試してみるといいよ！CLIはCCの全部の機能を持ってるわけじゃないけど、すぐ追いつくと思う。それまでは、codex自体（モデル）が、デイリーで使うには一番良い選択肢だって感じてる。

つまり、自分の仕事を自分で作り出しちゃったってこと？ :)

いや、全然！ アウトプットは増えたけど、それは単にバックログ（と新機能）をより早く処理できるようになったってこと。コードレビューが楽になるのは大歓迎だよ。仕事の中で一番嫌いな部分だから。

リンクある？興味ある。

たぶんこれのことかな？

https://www.youtube.com/watch?v=oenjvN0hHeE

あるいはこれ？

https://www.youtube.com/watch?v=oenjvN0hHeE