LLMを番犬に！本番環境のエージェントを守る「CrabTrap」が凄い

Brexが公開した「CrabTrap」は、LLM-as-a-judgeのアプローチを採用したHTTPプロキシです。本番環境で動作するAIエージェントの安全性と堅牢性を確保するための非常に強力なツールとなっています。開発背景や仕組みの詳細については、こちらの公式ブログ記事（https://www.brex.com/journal/building-crabtrap-open-source ）で解説されています。

めっちゃいいじゃん！自分もこの分野で何か作ってるけど、ちょっと違うアプローチだよ。でも、エージェント型のワークフローを本番環境で動かすときのセキュリティに注目が集まってるのは嬉しいね。LLMエージェント系はまだまだ議論が足りてないと思うし。現状は「全権限を与えるか、使い物にならないくらい制限するかの二択」っていう指摘はまさにその通りだと思う。ここでのアイデアはすごく気に入ってるけど、LLMを判定役（Judge）にするっていうのは、結局は確率的なガードレールに過ぎないから限界があるんじゃないかなって懸念もあるよ。これについてはどう考えてる？ハードな制限じゃなくて確率ベースのシステムにセキュリティを頼るのって、かなり危うい気がするんだけど。

LLMのセキュリティ問題は、LLMじゃないレイヤーを追加して解決すべきであって、LLMの層を重ねて本質的にセキュリティを下げるようなことはしちゃダメでしょ。今のLLMの次世代以降のツールなら面白い概念になるかもしれないけどね。私がよっぽど勘違いしてない限りは。

OpenClawが判定役に対してプロンプトインジェクションを仕掛け始めたら、途端にすべて終了だよね。