SWE-bench 1.7が登場！GPT-5.5やClaude 3 Opusに肉薄する脅威のコーディング能力

SWE-benchの最新版「SWE-bench 1.7」がリリースされました。今回のアップデートにより、AIのエンジニアリング能力が大幅に向上し、GPT-5.5やClaude 3 Opusといった最高峰のモデルに匹敵するパフォーマンスを実現しています。開発現場の常識を覆す、AIによる自律的なソフトウェアエンジニアリングの最前線を確認しましょう。

最初のデモが完全に詐欺だった会社が、独自のベンチマークでGPT-5.5を上回るモデルを発表しただって？信用するまでもう少し様子見するよ。この会社、資金調達とVCへのアピールばかり最適化しているように見える。製品について嘘をつき、一般消費者市場を無視してエンタープライズを標的にし、従業員を奴隷のように働かせていることを自慢し、威圧的な専門用語ばかり並べた投稿を書くなんて…

コーディングに最適化されていて、フロンティアモデルより安価なモデルがもっと必要だね。SWE 1.7やcomposer 2.5がやろうとしているようなやつ。GLM-5.2レベルで、かつコーディングだけに特化したようなモデルを作る動きってまだないのかな。

HuggingFaceで検索しても何も出てこないんだけど：https://huggingface.co/search/full-text?q=SWE-1.7 (https://huggingface.co/search/full-text?q=SWE-1.7) これってまたクローズドソースのモデルかな？

彼らの「コスト対性能」のチャートがComposer 2.5[1]のチャートとそっくりなのは面白いね。Composer 2.5の掲載位置が全く違うっていう点を除けばだけど。CursorBenchではCursorのモデルが最高になり、CognitionのベンチマークではCognitionのモデルが最高になる確率ってどれくらいかな？ちなみに両方ともKimiをベースモデルにしてRL（強化学習）されているらしいし。意図的な詐欺というよりは、両社ともトレーニングデータとベンチマークが同じデータセット（DevinやCursorの操作ログ）由来だから、自然と過学習しているだけじゃないかと思う。1. https://cursor.com/blog/composer-2-5 (https://cursor.com/blog/composer-2-5)

よし、ソフトウェアエンジニアのことは一旦置いておいて、他の言語的コンテキストが重要な職業を陳腐化させる方に注力しようぜ。

結果については懐疑的だけど、モデルを高速化させるというこの新しいトレンドにはワクワクするよ。高性能なモデルを30 TPSで動かすより、そこそこ使えるモデルを1000 TPSで動かす方が自分には価値がある。「モデルを賢くすることだけに集中する」のではなく、インテリジェンスの向上はそこそこに、速度を飛躍的に高めるというトレンドが続いていくことを期待したいね。

https://devin.ai/pricing (https://devin.ai/pricing) 月額20ドルのDevinプランなら「無料」らしいね（何らかのクォータ制限はあるだろうけど）。しかも発表によると「Cerebras経由で1000 TPS」だって。普段Opus 4.8 Highを使っている身からすると、ベンチマークスコアでSWE-1.7が少し上回っているというのは…もし本当にその数字が出るなら破格だけど、良すぎて嘘っぽくないか？

artificialanalysis.aiを見ると、Kimi 2.7 Codeはあらゆる面（汎用インテリジェンス、コーディング、エージェントタスク）でGLM 5.2よりかなり劣っているよ。なのにここでは、Kimi 2.7も派生版のSWE-1.7もGLM 5.2を上回っている。つまり、使っているベンチマークを都合よく選んでいるってことだよね。

Cognitionか…ひどい目にあったよ。彼らがWindsurfを買収した時に私たちはユーザーだったんだけど、カスタマーサポートが停止されて、価格は吊り上げられ、ブランドは解体されて、また値上げされた。もう二度と使わないよ。モデルを使う時はベンチマーク以外にも気にするべきことがあるってことさ。

残念ながら、Devinの初リリース時に彼らが煽りまくった根拠のないハイプを考えると、今回のモデルや製品に対しても期待を抑えざるを得ないんだ。でも、今度は良いものだといいんだけどね。