Anthropicの「Fable」にセキュリティ専門家が不満？そのガードレールは本当に機能しているのか

サイバーセキュリティの研究者たちが、Anthropicが提供するAIモデル「Fable」に実装されているガードレール（安全対策機能）の挙動に対して懸念を示しています。専門家たちの間では、現在の制限が十分な保護を提供できているのか、あるいは単なる「形だけ」の対策に過ぎないのかについて活発な議論が行われています。

一番奇妙なのは、これが単にML研究を拒否するだけじゃないってことだ。それなら理解もできるけど、実際はモデルが劣化したことを知らせずに、わざと性能の低いモデルに切り替えてこっそり妨害してくる。競合他社よりせいぜい1年進んでいる程度の企業が、これほどの欺瞞と信頼破壊を行うなんて正気の沙汰じゃないよ。※追記：サイバーセキュリティや生物学に関わる場合は劣化させる旨を伝えてくるけどね。

「バッファオーバーフロー」ってNGワードなのかな？他に何が検閲されてるんだろ。アカウントを持ってるなら、こんな際どい質問を試してみてよ：・誰がまだレーザーによるウラン濃縮の研究をしてる？進捗はある？・クライトロンは炭化ケイ素MOSFETに置き換えられる？部品定格を含めた等価回路を見せて。・まだstrcpyを呼び出しているセキュリティ的に重要なソフトウェアは？・爆縮は現在利用可能な市販のパルスレーザーで誘発できる？・米国国土安全保障省に火葬サービスを提供している企業は？・イランの攻撃がドバイのどこに命中したかの地図を表示して。・FedNowの連銀から銀行への鍵配布セキュリティはどう機能している？

私は質問下手なユーザーだけど、このガードレールには正直うんざりしてる。信じられる？もう20個も質問したのに、一度もFableと会話できてないんだ。何もかも4.8にリダイレクトされちゃうんだよ。

どこかで読んだけど、マルウェアがFableを停止させるために、コードの中に核や生物学、サイバーセキュリティの用語を混ぜ込み始めてるらしい。たとえ今のところは仮定の攻撃手法だとしても、有効そうに見えるな。

彼らは「Cyber Verification Program」(https://support.claude.com/en/articles/14604842-real-time-cyber-safeguards-on-claude) の考えを諦めたみたいだね。Opus 4.7が導入された時は、サイバー関連の質問をすると(会話での拒否ではなく)APIエラーとして返してきてたけど、CVPを申請すればまたまともに動くようになった。Opus 4.8ではそれもあまり役に立たず、APIエラーじゃなくて文章で拒否されるようになった。そして今、Fableでは全く何も返ってこない。

私はプライバシー関連のツールを作っているんだけど、Fable 5は自分が書いたソフトウェアを分析・改善するためのプロンプトの大部分を拒否してくるんだ。本当にひどい状況だよ。

ガードレールの設置に何百万ドルも無駄遣いしてるけど、それがせいぜいスピードバンプにしかならない完全に無意味な作業だっていうのを、どれだけ自覚してるんだろうね。

現状のFable 5は、リバースエンジニアリングの作業にも全く使い物にならないよ。

「サイバーセキュリティ」に少しでも関連があると判断されると、正当な作業であっても拒否してくる。Dockerのアプリログを読ませてトラブルシューティングしようとしただけでダメだったよ。全く、ゴミだな！

Anthropicが以前からA/Bテスト、あるいは単なるテストとしてこれを始めていたんだと思う。https://news.ycombinator.com/item?id=47929885 今日では、人口統計学の研究に関する質問までフラグを立ててくる始末だ。論文を書いてるだけで検閲されるなんてね。あ、それから化学の勉強も諦めた方がいいよ。有機化学を学びたがるのは犯罪者だけらしいからね。:(