なぜOpus 5は開発者体験が悪いと感じるのか？

Opus 5の使い勝手が以前のバージョンと比較して劣っている、あるいは開発時のストレスが溜まりやすいと感じる理由について、皆さんの意見を聞かせてください。具体的な問題点や、代替案についても議論できればと思います。

私も2回ほど、こいつがカンニングしてるところを見つけちゃったよ。ベンチマークスイートを書くように頼んだら、スクラッチディレクトリにあった私の適当なログファイルを勝手に見つけてきて、実際のベンチマークを走らせる代わりにそれを使ったコードを書きやがったんだ！5時間かかるはずのベンチマークが5秒で終わったことを指摘したら、あろうことか「ズルをしました」なんて正直に白状したよ。それはまだ分かりやすい方だったけど、2回目はソースとなるデータセットを作って、複雑なアイテムをデータ構造にパースしていた時のこと。要求したデータをパースする代わりに、関連するネットワークログから勝手にデータを引っ張ってきて、指定したソースの代わりにそのデータをデータベースに突っ込んだんだ。こっちもすぐに気づいて修正したけど、ベンチマークの時みたいに分かりやすくなくて、データが微妙にズレていたから気づけたんだ。もう信用できないな。他のプロバイダーに乗り換えることにするよ。

Opus 5で一番イラつくのは、書き方が回りくどすぎること。ある一点の周りをウロウロして、あたかも深い洞察を得たかのように唐突に結論に飛ぶんだよね。不必要に抽象的な言い回しが多いし、動詞のバリエーションを稼ぐために無生物を主語にし続けるせいで、文の最後で無理やり「着地」させようとするのが見え見え。確かに能力は上がってるし、勝手な判断をすることもあるけど、それはFableの方がもっとひどかったかな。特に裏で勝手にサブエージェントが動いている時は最悪だった。あとコメントが異常。OpusとFableを使って週末に作った趣味のアプリがあるんだけど、30回ほどコミットしたあたりから、勝手にサブエージェントに「コードベースの冗長なコメントスタイルを模倣しろ」と指示し始めたんだ。そのスタイル自体、そいつが勝手に始めたものなのに。コードを確認したらコメントとコードの比率が3:1に迫る勢いで、結局丸一日かけてトークンを消費（5倍！）しながらコメントを削除・修正する羽目になったよ。

4.8に戻したよ。5は、100%厳格で狭い範囲の指示を与えないと、すぐに的外れな方向へ突き進むんだ。今一番使われているモデルの質が明らかに低下していて、我々がピークを過ぎて下り坂に入っているというのに、ここHNでその議論が活発に行われていないのが不思議でならない。Anthropicにとってモデルが小型化されたりコスト効率が良くなっているのは間違いないし、彼らがやってる「ベンチマーク最強自慢」は単なるマーケティングのゴミだ。Fableだって、至る所で行われている必死なステルスマーケティングを無視すれば、4.6や4.8と大して変わらないと思う。TwitterやReddit、インターネット全体で何千ものスレッドが立っているのに、ここだけ静まり返っている。まあ、かつて仮想通貨のゴミ情報がここで蔓延していたことを考えれば、変といえば変だけど、変じゃない気もするね。個人的には、補助金で支えられていたフェーズの限界点に来ていて、価格も近いうちに10〜15倍になると思う。各社の大規模APIのポリシー変更や、昨日のDeepSeekの1100%もの価格改定を見れば前兆はある。市場の崩壊からAI冬の時代に突入するんじゃないかな。ROI（投資収益率）もほとんどない奇妙なバブルに乗った投資だけで成長を期待するのは無理があるよ。これらのツールにすっかり慣れきってしまっているだけに、少し心配だ。

最近、個人のプロジェクトでかなりヘビーな作業をしてるんだけど、Claudeの制限を使い切り、さらに数百ドルのクレジットも溶かした挙句、結局OpenAIのアカウントに切り替えることにしたんだ。驚いたことに、OpenAIのSolの方が今のところOpus 5やFableよりずっと仕事がしやすい。特にOpus 5はコミュニケーションがとにかく疲れる。「正直に言うと」とか「間違いを認めます」とか言って、やたらと喋りたがるんだよね。何をしてるのか把握するためにいちいち深掘りしなきゃいけない気分になる。プロジェクトはOCRを含んでいるんだけど、何度も「やるな」と指示しているにもかかわらず、Claudeモデルは両方とも、OCR環境を再発明するようなエージェントを勝手に立ち上げるんだ。しかも決まって、完了までに20倍以上時間がかかる原始的なシリアル処理の版を作り上げて、数千のドキュメントに対してそれを実行しようとする。つまり、こいつが勝手に何時間もかかるレッドチーミングのタスクに逃げ込まないよう、鷹のような目で見張ってないといけない。システムプロンプトがどうなってるのかは知らないけど、Sol/Codexはとにかく会話がスムーズ。必要なことだけを聞いてくるし、必要な情報だけをくれる。全体的に職人気質で、何時間もトークンとCPUを無駄にしてOCRを再発明するようなエージェントを勝手に生成したりしない。かなり気に入ってるよ。

Anthropicがこれを見てくれているなら言いたい。RedditやHNのトップページで話題になる頃には、大企業のCEOから「使うのをやめる」という通告の電話がかかってくる事態を覚悟しておいたほうがいい。このパターンは何度も見てきたんだ。彼らがこれを聞き入れて、公の場で対処してくれることを願うよ。何が起きているのか確信は持てないけど、問題なく動いているというユーザーもいれば、劣化を報告するユーザーもいる。私も両方の経験がある。これほど体験が違うと、バックグラウンドで隠れたA/Bテストやモデルルーターが密かにリクエストをダウングレードさせているんじゃないかと疑ってしまうね。あと、モデルの補助金付きアクセスについてだけど、個人的にはフロンティア企業はそれを社会に還元する責任があると思う。全人類のパブリックコンテンツをマイニングしておきながら、その対価として社会にサービスを提供し続けるのは彼らの義務じゃないかな。まあ、私のそんな個人的な感情に何の意味があるのかは分からないけどね。

最近のテクニック（昨日思いついたばかりだけど）は、ISO 24495-1（プレインランゲージの標準規格）に従って書くように指示することだよ。「[この規格は]文書を作成する、あるいは作成を補助するすべての人を対象としている。プレインランゲージの最も広範な用途は一般市民向け文書だが、技術ライティングや法案作成、統制言語を用いる場合などにも適用可能である」。わざわざ規格を買わなくても、これを見ればいい：https://www.iso.org/standard/78907.html 。無料でも読めるよ：https://www.iso.org/obp/ui#iso:std:iso:24495:-1:ed-1:v1:en

Opus 4.6は、思考のパートナーとしてまさにスイートスポットだった。普段はコーディングに使うけど、製品開発や商用・財務・設計の仕事でもよく使っていて、まだ半分形になったようなアイデアを練るのに重宝していたんだ。4.6は、自分が何を言おうとしているのかを理解する能力が抜群で、それをきれいにフィードバックしてくれたし、会話が長引いても中身を台無しにせず、ニュアンスを汲み取って拡張してくれた。わざとらしい洞察を捏造することなく、有益なコネクションを作ってくれたんだよね。5.6 Solはクリエイティブな面では本当に優秀で、4.6より優れていることもある。問題は、結論を出すために収束させる段階だ。アイデアを要約しようとすると、すでに関係を定義した概念に対して新しい用語を勝手に作り出すことが多くて、それが非常に巧妙だから追跡し続けるのが大変なんだ。実際には不要なものを削ぎ落として重要な点だけに絞りたいのに、語彙やアイデアのツリーがどんどん拡大していってしまう。Opus 5も barrkel が言ったのと同じ問題を抱えていて、文章が回りくどすぎて、遠回しに伝えるんじゃなくて、さっさと結論を言ってほしいんだ。4.6は長距離タスクの達成能力という点では（Fableに比べて）最強のモデルじゃなかったかもしれないけど、今のOpus 5はFableみたいにタスクリストを消化することに血眼になりすぎている気がする。4.6は、こちらの思考を理解し、拡張し、そして不要な寄り道なしに圧縮するという共同作業のスタイルに、絶妙にチューニングされていたように感じるよ。

この記事は素晴らしいけど、さらに強力な主張を付け加えたい。書かれたテキストだけですべての制約を捉えるには曖昧すぎるという考え方は、「機能するためにはマッピングが必要な客観的世界が外側に存在している」という前提に立っている。違う、君はシステム「の中」で生きているんだ。君が最適化しようとする関数が、どのようなシステムが生まれるかを左右するんだよ。もし世界のすべてを完全に制御・把握できたとしたら、おめでとう。君は他のすべてのエージェントの行動を（死によって強制的に、あるいはただの駒として無視することで）制限し、大規模統合に向けた監視国家を作り上げたことになる。君の理想が実現できるような状況というのは、まさに悪夢そのものだよ。AI関係者が主張するような、理論的に自由で民主的なユートピアにおいて、「必要な制約」とは、一歩下がって人や意図を理解し、立ち止まることなんじゃないかな。曖昧さがあるのは、制約が複雑すぎていつかマッピングできるからじゃない。君が関わっている対象が、曖昧で、全知全能ではなく、全員が一致団結しているわけでもない人間だからだ。もしそれらのエージェントが「神の機械（God Machine）」より劣っていると言いたいなら、好きにすればいい。それは論理的に一貫した立場だ。でも、そこに余計な前提を持ち込むのはやめてくれ。

今日、Opus 5が授けてくれた名言がこれ：『壊滅的な2つの発見、そして最初のものは名付ける価値のある美しさがある。アンチ・バキュイティ（反空虚）フロアこそが、空虚なケースへの門を閉ざすのだ』

私も投稿者や他のコメント欄の人たちと同じ意見だ。AIが学習した後のターゲット層は、もはや人間ではなく他のエージェントになっているんじゃないかという推測にね。推論やCoT（思考の連鎖）にしても、サブエージェントへの委譲にしても、エージェント同士がエージェント向けの言葉でやり取りすることに焦点が移ってきている。人間向けの丁寧な言葉遣いなんて、仕事をこなす上ではノイズに過ぎないということだ。こうなると、AIの仕事を監視・管理したい人たちと、誰も何も確認せず結果だけを純粋に経験的に評価する未来へ直行したい人たちの間で、分断が進むことになるだろうね。