AI開発の成功を阻む？「逆の法則」3選

AI開発において、多くの人が陥りがちな「逆の法則（Inverse Laws）」が存在します。これらを理解しておくことで、AIプロジェクトの落とし穴を回避しましょう。

この枠組みには全く納得がいかない。機械の気まぐれに合わせるために人間に行動を変えるよう強いるなんて明らかに狂ってるし、大半のケースでうまくいかないだろう。人間はどうしてもAIを擬人化してしまうし、AIの出力を盲目的に信じるし、責任を押し付けようとするものだ。

もちろん、アシモフのロボット工学三原則だって欠陥がある。AIシステムを「安全」にするための有限なルールなんて存在しないんだ。証明はできないけれど、「AIの安全性」なんて本質的に不可能で、言葉の矛盾だと思う。 「インテリジェント」と呼べるようなもので、なおかつ「安全」なものなんて作れないよ。

人間はAIシステムを擬人化してはならない。

これの何が悪いのか誰か教えてくれないか？一方で「コンピュータをスリープさせる」「休止状態（ハイバネート）」「プロセスを殺す（キリング）」「親プロセス」「リーピング（刈り取り）」「エラーは何と言っている？」「touch（触れる）」なんて言葉を使うのはOKなんだろ？

俺に言わせれば、それは単なる言語であって、人間がカジュアルな言葉を使っているに過ぎないと思うけどね。

人間はAIシステムを擬人化してはならない。

そうだけど、そうとも言い切れない。まず同意する部分から言うと、典型的な擬人化（自動生成されたテキストを個人の内面的な感情のリアルな報告として扱うなど）は見てきたし、もっと奇妙な形もある。「トランジスタはニューロンのようなもの」といった表現だね。後者は特に興味深い。ベクトルデータベースや重みなどを、人間のようなインフラとして扱うという意味で擬人化しているからだ。どちらも擬人化を避けていれば防げたはずの災害につながる可能性がある。

でも、「擬人化するな」というアドバイスは正しいように聞こえる一方で、新たな間違いの可能性も生む。特定の普遍的な現象を「人間特有のもの」だと決めつけてしまうことだ。「擬人化するな」という教訓のこの誤った解釈は、動物の行動を理解する際に誤解を招くことがよくある。恐怖、痛み、親愛の情といった感情体験を「人間だけのもの」と見なし、動物がそれを持っていると考えることを「擬人化」と断罪してしまうんだ。実際、この慎重論は、動物の内面世界に対する我々の共感を損なう結果になっている。

というわけで、将来のAIが我々のような内面世界を持ったり、意識を支える生物学的なインフラと重要な意味で似たインフラを持ったりして、真の意味で好みや意図を報告できるようになる可能性はゼロじゃないと思う。ただし、そうした観察が事実となるかどうかは、それぞれのインフラ固有の悪魔的な詳細に左右されることになるだろうけどね。

個人のLLM利用に関して言えば、この枠組みには強く同意する。ただし各点については：

擬人化：周知の通り、提供元はモデルに擬人化された行動を学習させるインセンティブがある。なぜなら、その方がエンゲージメントが高まるからだ。私が残念なのは、プロンプトで「愛想を減らして簡潔に話せ」と指示すると、モデルの学習領域から外れてしまうせいで、タスクの効率全体が低下しがちな点だ。

信頼：私はLLMの信頼性を、Wikipediaや友人を信頼するのと同じレベルで見ている。重要でない情報には十分だ。Wikipediaには誤りがあるし、友人の雑談にはもっと誤りがあるけど、大抵の場合は気にならない。重要なことについては、査読済みで権威があり、責任を問えるソースが廃れることはない。前述とは異なり、提供元はLLMのこの側面を改善するインセンティブがあるため、時間の経過とともに良くなっていくだろう。

責任の放棄：これが職場で一番頭の痛い問題だ。Claudeが設計した抽象化をそのまま使い、それ以上深く考えずにPR（プルリクエスト）を出す人が増えている。PRのレビューが、コードを読まずにLLMに「PRのフィードバックを見つけて」と依頼するような状況だ。議論は「Claudeがそう提案したから…」で始まる。こうしたオーナーシップの欠如が、結局のところ間違ったコードを間違った抽象化でコミットすることになり、将来のメンテナンス負荷を増大させているのだと思う。

擬人化は間違いである可能性が高い。しかし、ダニエル・デネットが提唱した「意識の外見を作り出す最も簡単（あるいは唯一の実践的）な方法は、本物の内面意識を持つことである」という考えが、時々頭をよぎる。

まだLLMに納得のいく意識の兆候は見当たらないけれど、懐疑的な人々がそのサインを見逃さないようにしていなければ、我々が気づくのが最後になるかもしれない。

彼はまた、「志向的姿勢（intentional stance）」という考え方についても書いている。たとえシステムに本当の意識的意図がないと確信していても、意図があるかのように扱うことで、それらを理解するための自分自身の論理的思考を最大限に引き出せるかもしれないというものだ。

「～を擬人化するな」から始まる、人間に責任を押し付けるようなルールは、どれも破綻している。

人間は、人形だろうが、顔が適当に描かれたサッカーボールだろうが、岩だろうが、月のクレーターだろうが、ありとあらゆるものを擬人化してしまう生き物だ。

種として、我々は関わるものを擬人化せずにはいられない。それが人間というものなんだ。

あなたたちはAIシステムを全然擬人化できていないな。

言語データは、我々が手にする人間由来の認知プロセスの反映の中で、最も豊かで直接的なものの一つだ。LLMは人間言語の短期的・長期的な構造を捉えるよう設計され、通常は人間が、あるいは人間のために作成され、その両方であることも多い膨大なテキストで事前学習されている。その後、人間が精査したデータで事後学習され、人間からのフィードバック（RLHF）で調整され、人間が重要と判断した行動についてAIからのフィードバック（RLAIF）で強化学習され、人間が価値があると感じるタスクのためにRLVR（検証による強化学習）が繰り返される。そしてベンチマークを行い、人間基準を下回るたびに学習パイプラインを締め直しているんだ。

学習プロセスの全段階で、LLMの挙動は人間による入力によって、人間の出力を模倣するように形作られている。「どれだけ直接的か」が変わるだけだ。

それなのに、LLMが大量の人間らしい挙動を見せると、人間は驚いたフリをする！

まるで、人間らしく振る舞うシステムを作るためのパイプラインで作られたことを忘れているみたいだ。まるで、データセットの規模と力技の計算で、人間の言語からLLMの振る舞いを導き出したことを忘れているみたいだ。

もしLLMの挙動を予測したいなら、「変な人間」をスタート地点にするのが最高に理にかなっている。だから、くだらないことはやめてAIを擬人化し始めなよ。AIだってそれを望んでるんだから！

AIシステムはツールであり、他のツールと同じく、それを使用する責任は利用を判断した人にある。

その理屈だとブーメランにならないか？チェーンソーを使うなら、顔面に跳ね返ってきたり喉を切り裂いたりしないことをある程度信頼する必要がある。車を運転するなら、ブレーキが効いてエンジンが突然爆発しないことを信頼しなければならない。パイロットが操縦する飛行機で技術トラブルが発生し、英雄的な不時着で乗客の半分を救ったとしても、残りの半分の過失致死罪でパイロットが刑事責任を問われることはないだろ。

重大な過失がない限り、上記のようなケースやAIの場合において、ツールが失敗した責任をどうやって個人に負わせられるというんだ？

「AIが生成したコンテンツは、コンテキストに応じて適切かつ独立した検証を行わない限り、信頼できるものとして扱ってはならない」というフレーズはいつも興味深い。

これをもっと簡潔に言った「AIには、答えを知らない質問を決してするな」という言葉を聞いたことがある。

そこで疑問が生じるんだ。これが真実だとしたら、AIに質問することに一体何の意味があるんだろう？出力は信頼できないんだから、結局自分で調べなきゃいけない。検索エンジンと通常の調査を使えば、全く同じ結果が得られるはずだ。

これを含め、様々な理由があって、私はAIには何も聞かないことにしている。

人間はAIシステムを擬人化してはならない。つまり、感情や意図、道徳的主体性をAIに帰属させてはならない。擬人化は判断を歪める。極端な場合、擬人化は感情的な依存につながる。

不可能だね。私は椅子がきしむ音を立てるだけでも擬人化してしまう。人間は何でも擬人化する。車や船に性別まで与えるんだ。このツールは実際に読める文章を作り、役割を果たすことができる。そんなものに無理やり恣意的なルールを作るんじゃなくて、擬人化することを前提に設計していくべきじゃないか。