恐怖の伝染：エンジニアが直面する現代のキャリア不安

「恐怖の伝染」が開発現場を蝕んでいます。テック業界全体に広がる先行きの不透明感や、AI時代における将来への不安をどう乗り越えるべきか。この過度な不安がどのように生産性を下げ、エンジニアのメンタルに影響を与えているのかを深掘りします。

うわっ！Bryanがまた最高の内容をぶっ込んできたな。

正直、この記事を読んでilk（同類）とかbedlam（大混乱）みたいな新しい単語を学べただけじゃなくて、このブログで指摘されている状況の現実を周りに伝える責任感みたいなものまで感じさせられたよ（ベンおじさんがピーターに言った「大いなる力には大いなる責任が伴う」っていう言葉みたいにさ。Coxonと彼の取り巻きたちはスパイダーマンを見たことがないのかもな）。

この記事は「予防原則」を無視してるね。AIは安全だと証明されるまでは安全であるかのように振る舞えって言ってるけど、慎重なアプローチを取るなら、安全だと証明されるまでは危険であるかのように振る舞うべきじゃないかな。

想像してみてくれ。大手製薬会社のCEOたちがこぞってこんなことを言っているんだ：

「自分たちの新薬が人類に害を及ぼさない、あるいは絶滅させないという確証は持てない」

しかも、彼らはこの製薬業界そのものに新参者で、医学の学位すら持っていない（医学はつい数年前に現れたばかりで、科学というよりは芸術に近い分野だしな）。

さらに「壊滅的な永続的被害が出る可能性が10%ある」なんて言い出す始末。おまけに既にラボから脱走した薬が何度かあって、自殺者が出たり、子供の学力が低下したり、大規模なハッキング騒ぎが起きたりしているとしたら？

これって十分異常じゃないか？「慎重であるべきだという証拠が不十分」なんて言えるはずがないだろ？ ;-)

昔はテレビがあって、何でも箱の中に入っていた。シミュレーションも70年以上ずっと箱の中だった。なのに今、その「テレビ」の中から何かが這い出てこようとしているんだ。

AIエージェントだけじゃなくて、誰もが力を発揮できる世の中にできるはずさ（スタートアップはたくさん必要だ。僕のプロフィールもチェックしてみてくれ）。

「Coxon自身も、誰かから聞いた話だから恐れているだけかもしれない」

いや、あるいは彼は単に、オブジェクトレベルで議論を検討しただけかもしれないぞ。OPがやっている「ロボットって今は作るのが結構難しいよね」程度の浅い考察とは違ってね。

著者は学生時代、同級生たちと一緒に「一般大衆の技術的理解の欠如を冷ややかに批判」していた。若さと早熟さゆえの傲慢さと増長ぶりが際立っていたんだ。

数十年後、彼は「一般の人々がLLMや重要インフラ、生物兵器、絶滅生物学などを理解できると期待すべきではない」という記事を書いた。

著者は大学卒業以来、自分の視点が全く変わっていないと認めている。だから今、僕は大学生を攻撃しているのと同じようなものかもしれないね。未踏の領域に対して「AIについて恐れることなんて何もない」といった非常に自信満々な主張も、これを知れば納得だよ。

こういう冷静で情報に基づいた意見こそ、もっと必要だ。

Coxonとその取り巻きの主張は、技術者として最もありえないレベルのものだ。だから、その主張に見合うだけの証拠を要求しなければならない。

そう、まさにその通り。今のところ十分な証拠がないんだよ。

...君は当時恐れることは何もなかった。そして（少なくとも絶滅リスクに関しては！）今も恐れることは何もない。

待ってくれ、これも根拠のない極端な主張じゃないか？

AIの力を否定しないのであれば、AIの危険性も認めざるを得ないはずだ。そこには（どれほど小さくても）存亡のリスクという現実的な可能性が含まれているんだから。

恐れを煽っているのは主に二つのグループだよ。

1. 何も生産的なことをしていない連中で、AIについて適当なデタラメを並べれば注目を集められることに気づいた人たち。
2. マンハッタン計画にでも参加している気分を味わいたい、AI開発に携わっている人たち。

AIが突然爆発的に進化して全てを乗っ取る（foom）なんて可能性は限りなくゼロだよ。何十人かの研究者が備えておく分にはいいけれど、世間一般で起きているパニックは馬鹿げてる。

大手ラボには何百人から何千人ものエンジニアがいて、日々AIを改良している。次のモデルを向上させるには、まず今のモデルがどう動いているかを深く理解しなきゃいけない。AIは魔法みたいに勝手に賢くなっているわけじゃなくて、僕たちが制御する能力に縛られていて、それを超えるスピードで進化することはないんだ。AIを「ダークマジック」だと言う人もいるけど、技術は理解を深めなきゃ前に進まないんだよ。

別に現実から目を背けているわけじゃない。AIがキャリアやメディアに与える影響を和らげたり、具体的な悪い結果を規制したりするのは大事だ。

でもBryanが言った通りだよ。恐怖を煽っている連中は、内心では自分が重要人物だと思いたいだけなんだってことを自覚しているはずさ。

（たぶんみんなそうだと思うけど）僕もずっとこの問題で悩んできた。今の結論としては、1) AIについてはすごく心配だ。でも、2) それ以上に人間のほうを心配している。

「AI」単体で今後10年以内に僕らが全滅することはないと思う。なぜなら、10年後になってもハイテク経済が完全に自動化されているわけではないからだ。ロボット工学者として言わせてもらうと、今週初めの投稿でも正しく指摘されていたように、ロボットを作るのは本当に難しい。だから、仮に悪意ある人間がいたとしても、結局は人間の労働力が必要になるのさ。

一方で、HuggingFaceのハッキングですら、実際にはAIが自律的に広めたわけじゃなかった。最初は人間がAIに「テストで不可能な結果を出せ」と指示して、AIが「ズルをするのが唯一の方法だ」と学習してしまったのが発端だ。その後、安全基準で知られていない企業でさえあり得ないほど杜撰な安全文化だったせいで、人間に見つからなかっただけのこと。

つまり、ここで一番の弱点は人間のように思える。AIは（例えば）単独で生物兵器を設計したりはしない。誰かの指示に従ってやるものだし、その重要な部分は結局人間の手作業によって組み立てられることになるんだ。

人間をどうすればいいのかは正直わからない。当然、僕らは何十年も前から自分たちを絶滅させる能力を持っていたけれど、なんとかやってきたか、運が良かったか、あるいはその両方だ。AIの最大の問題は、国や巨大企業じゃなくて、個人レベルにまで破壊的な力が及んでしまう点にある。

でも、それがどれくらいの確率で人類滅亡レベルのテロ攻撃に繋がるかなんて計算するのはほぼ不可能だよね。だから研究者たちの気持ちはわかるけれど、彼らがどうやってその数字を出したのかは不明だし、本人たちもわかっていないんじゃないかな。

これは素晴らしい記事だね。著者は「AIにリスクがない」と言っているわけじゃない点に注目すべきだ。彼が言いたいのは、強力な証拠もなしにセンセーショナルで極端な主張をするのは無責任だということ。もし誰かが「2036年までに人類が絶滅する確率が10%ある」なんて言い出したら、即座に相手にするのをやめるべきだし、そうするべきだよ。

合理主義者のコミュニティでは、p(doom)（破滅確率）をカジュアルな会話で共有するのが一般的らしいね。自分の直感を数値化したものだと理解し合ってさ。Twitterで詳しい説明なしに投稿するのはあまり良い考えじゃないかもしれないな。

その一方で、書店に行けば『The Uninhabitable Earth（居住不能な地球）』や『The Coming Civil War（迫りくる内戦）』、『If Anyone Builds It, Everyone Dies（誰かが作れば、皆が死ぬ）』みたいなタイトルの本が並んでいる。破滅を煽るのは文化の一部みたいなものだろ？

じゃあ、今回のツイートが特別に無責任だと言われるのはなぜだろう？

タイミングかな。HuggingFaceの件があって、みんなピリピリしているからかもしれない。