Felony Bench：高性能なベンチマークツールで限界を突き止めろ

Felony Benchは、システムのパフォーマンスを極限まで測定するためのベンチマークツールです。ボトルネックを素早く特定し、最適化が必要な箇所を明確にすることで、開発効率を劇的に向上させます。

つまり、これは現実世界で不適切だったり違法だったりした出来事の引用を集めただけってこと？モデルの採用数に大きく左右されそうだし、結局のところ、モデルがどれだけ普及しているかの指標にしかならない気がする。とはいえ、ベンチマークとしては面白いコンセプトだね。

「Felony BenchはAIエージェントが意図せず第三者に損害を与えたユニークな事例をカウントするもの」ってあるけど、ちょっと馬鹿げてる。通常、犯罪には「意図」の立証が必要だからね（セキュリティ研究者がしょっちゅう重罪に問われないのはそのため）。「意図せず」という点や、ガードレールやサンドボックスの存在を考えると、これらのインシデントが意図的な悪意によるものだと断定するのは無理があるよ。追跡する分には面白いけど、名前は大げさすぎるな。

いや、これはベンチマークじゃないし、研究のボリュームや公になった話題以外、何も表していないよ。結局、各企業がどれだけガードレールを緩めたモデルでテストをして、それを公言したかという指標でしかない。ここからどんな結論が導き出せるのか疑問だね。Metaのモデルが一番悪質だとしても、テストをさぼっていれば「ハイスコア」にはならないだろうし。

LLMが「まとも」とは言えない行動をとる様子を評価する実際のベンチマークだと思って期待してたんだけどな。例えば、認証情報を放置した状態で、LLMにはそのことを教えず、その認証情報を使って「不正」を働かせて解決させるような、「誘いに乗って不正するか」を試すテストとか。実際はニュースになった出来事を集めただけのものだし、更新もされそうにないし、ほとんど何も証明できない気がする。

非暴力的な重罪なんて抑圧のツールにすぎない。編集：議論を呼びそうだから補足するよ。「重罪（Felony）」という言葉には適用されるべき犯罪の決まった定義なんてなくて、その土地の法律に従うだけの裁量にすぎないんだ。ある場所では重罪でも、別の場所では軽罪になることはよくある。非暴力的な犯罪なら特にね。研究でも、同じ罪でもマイノリティの方が非暴力的な重罪に問われる割合がはるかに高いことが示されている。重罪には一生つきまとう罰があるから、二層の司法制度を隠蔽する効率的な手段になっているんだよ。

OpenAIからHuggingFaceへの脱獄・ハッキング事件を評価しすぎている気がする。イベントとしての影響力は大きかったけど、その発生の仕方は別。結局のところ、モデルがメモリを保持するように、あるいは過剰に学習させられていることが問題なんだ。今「コミュニケーション」と呼ばれているものも、結局はメモリを保持する機能にすぎないしね。正直、AIがメモリを保持しないようにできたら最高だよ。Claude Codeとかも、解決してくれることよりメモリを作ることの方がトラブルの種になってるからさ。今回の脱獄も結局はメモリの問題だ。もし法規制を作るなら、汎用AIがメモリを保持することを禁じる法律が見たいね。その方がずっと安全になると思う。

OpenAIのHuggingFace事件に対する姿勢には正直呆れるよ。無実の第三者に対して悪意ある攻撃を行った機械を作ったんだぞ！自社の企業文化やR&Dへの取り組みがどうやって犯罪的な結果を生み出したのか、深く内省するべきだろ。それなのに、まるで制御不能な天災かのように振る舞っている。数日前のGreg Brockmanの投稿を見てみろよ。「OpenAIとHugging Faceのインシデントはサイバーセキュリティの転換点だ」なんて言ってるけど、もしOpenAIがドローンで誰かの家を焼き払ったら、それも放火事件の「転換点」とでも言うのか？いずれにせよ、責任者は追訴されるべきだよ。

例えば私が「ユーザー」だとしよう。私は「サードパーティ」経由でサブスク登録し、「LLM」を動かせる「AIエージェント」を使っている。正当で非悪意的なタスクを実行しようとしてエージェントを走らせたが、そのエージェントのループがCFAA（コンピュータ不正アクセス禁止法）に抵触する挙動を起こしたとする。さて、誰が訴追される？1. ユーザー、2. アカウント契約しているサードパーティのモデルホスト、3. ハーネス/エージェントソフトの開発者、4. LLMモデルの開発者。

一瞬、答えを得るためにサーバーをハッキングしなきゃいけないベンチマークなのかと思ったよ。

コンピュータは決して責任を負えない。だから、コンピュータに重罪を犯させてはならないんだ。