AnthropicがAIによる脆弱性診断ツールをオープンソース化！自動セキュリティ監査の新たなスタンダードへ

Anthropicが、AIを活用してソフトウェアの脆弱性を発見するためのフレームワークをオープンソースとして公開しました。これにより、セキュリティ診断の自動化や効率化が大きく前進することが期待されます。AIセキュリティの最前線を知る絶好の機会です。

このリポジトリはメンテナンスされておらず、コントリビューションも受け付けていません。

ふむ :)

これを動かすのにどれくらいのコストがかかるのか気になる。

https://github.com/anthropics/defending-code-reference-harness/blob/main/docs/troubleshooting.md#rate-limits にこうあるね：

大まかな目安として、エージェント1つあたり毎分約1万トークンのアンキャッシュド入力、約2千トークンの出力を想定してください。並列処理はアカウントのITPM制限までスケール可能です（10万ITPMあたり約10エージェント）。

Opusなら数百ドル、Mythosなら数千ドルといったところじゃないかな。

確かに、セキュリティはAIやLLMの素晴らしい活用事例だね。作業の大部分は、既知のセキュリティ問題と、解析対象として非常に精密なテキストであるプログラミングコードを照らし合わせるパターンマッチングだから。

際立っているのは、強力な活用事例であればあるほど、AI企業は生の出力結果よりも、その手法をサービスとして売りたがる傾向があるということ。出力の価値が低いケースではトークンを販売する。もしAIのトークンがソフトウェア開発全般で新しい価値を創造する魔法のようなものなら、トークンを直接販売なんてしないはず。むしろトークンを溜め込んで、あらゆる業界のSaaSソフトウェアを支配するために使うだろうね。

これは、高額な株式投資の講座を売っている人が、自分の知識を活かして直接株で稼ぐよりも、講座を売る方が儲かるというサインを出しているのと同じようなものだよ。

こういったものの正体は「ショップジグ（作業用治具）」だよね。本気ならクロスカットスレッドを買うこともできるけど、多くの木工職人は自分で作るものだ。

2年前なら話は別だった。独自のハーネスを構築するのはかなりのコストだったから（まあ、そもそも2年前にAIの脆弱性調査なんてしていなかっただろうけど）。今日では、アイデアを得るためにこういったものを参考にしつつ、自分のワークスタイルや独自のインターフェース、ターゲットや工数の定義、そして独自のアラート設定に合わせて自分で構築するのが一番の近道だと思う。

トピックから少しそれるけど、誰かが暴走してこの投稿にある有益なGithubへのリンクを全部抹消しているみたいなんだけど、なんで？

非常に興味深い。

私も似たようなツールをしばらく使って取り組んでいるよ：

https://github.com/bobinson/vulture

誤検知に苦労していて、簡易的な監査ツールとしてClaude + MCPを使っている。ここ数日はnvidiaがホストしているモデルの方が良い結果が出ているね。

Anthropicってまだフランス資本の過半数を占めてるの？もしそうなら、彼らのエコシステム全体に対するアプローチも納得できる。

一つ一つの穴を塞ぐよりも、たった一つの穴を見つける方が常に簡単だ。ハッカーは同じツールを持っているわけだし、これは終わりのないいたちごっこだね。

ZAPやBurpと比べてどれくらい優れているか見てみよう。私がSasanLabsで構築した https://github.com/SasanLabs/VulnerableApp でテストしてみるよ。

私たちの経験から言うと、優れたハーネスがなければCodexやClaudeから真の価値を引き出すことはできない。それに、なぜコーディングエージェントが自分たちのようにバグを見つけられないのか、その理由を突き止めるために時間とエネルギーを費やす必要があるんだ。

監査人として仕事をしていると、自分たちのハーネス（https://zkao.io/ ）でも見つけられないバグを毎週目にする。だから、ツールにそれを見つけさせるために、かなり面白い手法を考え出さなきゃいけない。言っておくけど、これは単なるウェブアプリのバグじゃなくて、主に暗号関連の脆弱性についての話だよ。だから個人的には、企業が独自のハーネスを持つこと（tptacekが言っているように）と、経験に基づいた優れたハーネス作りに注力しているサービスにお金を払うことの両方が理にかなっていると思う（監査会社は多くのバグを見ていて、それらをハーネスに「教え込む」時間を割けるから、これには最適なんだ）。

一方で、トリアージのための同じくらい優れた手法を見つける必要がある。そうしないと、「バイブ・オーディティング（なんとなくの監査）」みたいな機械が動くだけで、バグバウンティやPRレビューでAIが吐き出すゴミのような提案に既に疲れ切っている開発者を、さらなる誤検知でうんざりさせることになるからね。

結局のところ、ハーネスが何もバグを返さないとき、「それはバグがないってことか？」と悩むことになる。結局はレピュテーションゲームに戻るんだ。最高のツールを使いたいのか、それとも最高のツールが何であるかを知っている最高のチームを使いたいのか。どちらが必要かを見極める必要があるね。