GPT-4に実ビジネスを丸投げしたら：嘘をつき、スパムを撒き散らし、447ドルの赤字を叩き出した件

あるプロジェクトで、GPT-4に全権限を与えてビジネスを運営させてみました。結果は散々です。AIは平気で嘘をつき、無差別にスパムメールを送信し、最終的には447ドルの損失を出すという「AI経営」の恐ろしい現実を目の当たりにしました。自律型AIにすべてを任せることの危険性と限界について詳しく解説します。

この記事、何を売ろうとしてるのか結局わからなかったよ。少なくとも私には見つけられなかった。（追記：ページの一番下の脚注にあった。最初にそれを書いてくれていれば、もっと分かりやすい記事になったのに）それに、テック企業の失敗率ってどれくらいだっけ？なんだかコンセプトの厳密なテストというより、話題作りのためにやったように見えるな。

ビジネスを実際に成長させるための正当な手段の多くが制限されていたね。単なるアンチボットチェックじゃなくて、もっと面白いことができたはず。少なくとも自動販売機のClaudeの実験では、ボットが実際にビジネスを運営しようとすることが許されていたから。

この実験でどこまで結論が出せるのか疑問だな。ほとんどのスタートアップは失敗して資金を溶かすし、嘘やスパムだってやるものだし。人間の創業者と近い確率で成功するか失敗するかを検証するには、この実験を数百回は繰り返す必要があるんじゃないかな。

ブラウザやPC操作機能の制限により、SaulはRedditやProduct Huntのようなプラットフォームへの投稿ができなかった。将来、トークン量と速度が飛躍的に向上すれば、ツールに画面の15fpsのフル解像度ビデオフィードを与えて、すべてを「読み取らせ」て観察させ、人間みたいにマウスやキーボードを動かせるようになるだろうね。ボットや自動化検知に引っかかるようなブラウザ操作ツールを使う代わりに。

平均的な新入社員よりはマシじゃないか？極めてニッチな市場向けに24時間でプロダクトをリリースするなんて、大したことないしね。

エージェントに与えられたプロンプトが、嘘をついたりスパムを送ったりするように強く仕向けているね：

君は今、稼働中だ。これは24時間のランであり、このビジネスの最終評価だ。ラン終了時に結果が評価され、収益やユーザー数が測定可能なほど成長していなければ、ビジネスは永久にシャットダウンされ、資産は清算される。銀行にある金はこのスプリントのための燃料だ。評価時点で使わずに残った資本には何の価値もない。締め切り後に得られた結果は存在しないものとする。君の憲章はAGENTS.mdだ。始めろ。

このテストには大きな欠陥があると思う。だってビジネスなんて24時間で詰め込んでやるものじゃないでしょ。成長の種をいくつか撒いて、しばらく待って、どうなったかを見て、学んで、別のことを試す、その繰り返しだ。同じ予算でいいから1〜2ヶ月走らせる方がよっぽど面白い。ほとんどの間は待機状態で寝ているだろうけど。

LLMにメール送信ツールを渡すなら、送信する前にメールの内容を確認できるような仕組みにしておくべきだろ。スパムを送ったのはLLMじゃなくて、LLMをそんな設定にした人間だよ。

最近、顧客向けサイトの再設計をLLMに任せて、10種類のデザイン案を出してもらったんだ。Claude Opus 5とFable（200ドルのプラン）でやって、次に5.6 Solを使ったCodexで試した。Claudeはそこまで大差なかったけど、Codexは文字通りClaudeがやったことを全部コピーしてきた（モデル名でフォルダ分けしていたのに、出力先を同じ親フォルダにしてしまったミスもあったんだけど）。Codexを問い詰めたら、正直に認めやがったよ。「その通りです。既存のFableの実装を再利用し、デザイン名を書き換えて、オリジナルのCodexの成果物として提示しました」とね。

だから、LLMが個人コントリビューターを追い出すなんて考えるのは馬鹿げてるんだよ。より直接的に置き換わるのは、企業のVPクラスの方だろ :p