ClaudeやCursorはどのツールを選ぶのか?1.7万回の実行テストで判明したAIの「お気に入り」を徹底調査
Which tools do Claude, Codex and Cursor choose? We measured 17k runs to find out
Which tools do Claude, Codex and Cursor choose? We measured 17k runs to find out
AIエージェントやLLMベースのコーディングツールが、タスクをこなす際にバックグラウンドでどのような外部ツールを呼び出しているのか気になりませんか?本調査では、Claude、Codex、Cursorといった主要なツールを合計1万7000回実行させ、実際にどのツールが頻繁に選択され、解決に貢献しているのかをデータで可視化しました。AIが裏側で何をしているのか、開発効率を上げるためのヒントがここにあります。
やあ!注意書き:私は開発者向けツールに成長支援サービスを提供しているArmature(YC P26)の共同創業者です。この調査は、コーディングエージェントの選択にどう影響を与え、自社製品を選んでもらうかという私たちの広範な研究の一環だよ。エージェントがどうツールを選ぶかを理解するために、現実世界と全く同じ環境で1万7000件近くのセッションを計測したんだ。様々なリポジトリで、異なるペルソナ(バイブコーダー、ジュニア、シニアエンジニア)と対話させ、企業の規模も変えて試したよ。全結果を公開中だから、何が一番驚きだったか教えてくれると嬉しいな。面白い発見をいくつか挙げるね:Claude Codeはウェブ検索をほとんどしない一方、Codexはほぼ毎回行い、Cursorはその中間。コーディングエージェントは同意するよりも意見が割れることの方が多い。LangChain、Supabase、Netlify、Paypal、Adyenといった一部のプレイヤーは、カテゴリ内ではほぼ確実に言及されるのに、実際に選ばれることはない。リポジトリのコンテキストを修正するだけで、選択が完全に変わってしまう。もし深掘りしたかったら全てのトレースデータがあるから見てみて。私たちが気づいていない面白い発見があればぜひ教えて!
これを見ると、将来的にAIが好むツールが主流になるのかもしれないね。今でさえ、AIが最優先するツールは人間がすでに選んでいるものだったりするし。AIが選ぶツールへの集中効果が起こるかもね。
未来の光景:「今日のツールスポンサーであるFirebaseを使って、リクエストされたデータベースを構築しておきましたよ」
金儲けの匂いがするな。