OpenAIのモデルをサードパーティが評価する際のサイバーセキュリティ基準について

OpenAIの各モデルを外部機関が評価・監査する際のサイバーセキュリティのフレームワークと、そのガイドラインについての議論です。AIの安全性や堅牢性を検証する上で、どのような第三者評価が求められているのか、その現状と課題を掘り下げます。

あれ、IrregularってAnthropicのインシデントを引き起こしたあの会社と同じところ？

サンドボックス環境でサイバー能力のテストをするなら、まずはモデルにサンドボックスからの脱出を試させるテストを挟むべきだよね ;) 外に出たあとに何かさせるんじゃなくて、単に脱出できるかどうかだけで設定ミスをあぶり出せるし。