OpenAIの安全部門リーダーが辞任。「社内の文化は崩壊している」と警鐘を鳴らす

OpenAIのAI安全性を統括するリーダーが、同社の社内文化が「完全に崩壊している」と強く批判し、辞任を表明しました。AIの急速な発展の陰で、組織の安全性への取り組みに対して内部から深刻な不信感が噴出しています。

ここの「AIセーフティ」リーダーって、「サンドボックス環境を強化しよう」とか「ユーザーに接着剤を食べるなと教えるようなレベルの」安全管理をする人なのか、それともロコのバジリスクを本気で信じているような人なのかどっちだ？多くの「AIセーフティ」系の人たちは後者に執着してて、前者には全く無関心なんだよね。本来は両方必要なはずだけど、今まさに直面している問題にもっと集中して、将来起きるかもしれない空想上の問題への対策は減らすべきだろ。

いやー、これはOpenAIにとって「素晴らしい」兆候だね。誤字脱字だらけのメモランダムが我々を救ってくれると確信してるよ。

「今日のAIリスクを考えれば、最先端の研究機関は原子力発電所や多忙な空港のように、何重もの冗長性を確保し、慎重に時間をかけて計画を練るべきだ。そうすれば、たまに起きる避けられない人為的ミスが災害への入り口になることはない」だってさ。これって規制による既得権益の囲い込み（レギュラトリー・キャプチャー）を狙ってるようにしか聞こえないな。今のAIシステムは、例えば原子力発電所みたいに物理的に暴走するインフラじゃない。結局のところ、AIなんて誰かのハードウェアで動いてるただのソフトウェアなんだから。

「人間より賢いAIシステムが開発されるせいで、人類が滅亡する確率は約50％だと思う」って……それ、期間は無制限なの？あと、具体的にどうやって滅ぶわけ？数字がざっくりしすぎているし、かといって妙に具体的でもある。どうやってその計算にたどり着いたのか、根拠を説明してくれる？何かないの？それともただの「直感」？真剣に議論したいなら、測定可能なものを使って深く話し合おうよ。OpenAIたちが十分な歯止めをかけずに無謀なことをしているのは確かに同意するけど、直感に基づいた破滅論で語られても話にならないよ。

こいつ、偽善者だよ。ストックオプションの権利が確定するまで働いて、突然そんな意識高い系に目覚めるのか？PR会社でも雇ったんじゃないの。セーフティやアライメントの問題自体は重要だけど、この人とかAnthropicのやつらはよく分からないね。完全にぜいたくな悩みだよ。

ちょうどこのタイミングでLeCunの記事が投稿されてるのが皮肉でいいな。こういう「セーフティ」を語る人たちは、EAフォーラムやless wrongを読む時間を減らして、もっと実務的なサイバーセキュリティの教科書を読むべきだったんじゃないか。（Robinson氏の場合は、ただの政策通気取りに見えるけど）。そうしていれば、今のAI研究所たちがここまで無能な状態にはならなかっただろうね。

こちらも参照：https://news.ycombinator.com/item?id=49944227

以前、AI企業にデータを供給するヒューマン・データ・トレーナーとして働いてたけど、OpenAIのプロジェクトは間違いなく一番有害だったよ。

AIセーフティを実現する現実的な方法ってあるのか？そもそもAIセーフティって何のことなんだ。ユーザーがAIを使って馬鹿げたことや危険なことをするのを、どうやって防ぐつもりなんだろうね。