存在しないはずの大会で優勝してしまった話

タイトル通り、存在しないはずの大会で優勝してしまいました。

"Stonerが最初のアメリカ人世界チャンピオンになった…"

stoner.comというサイトなのに、書かれている内容が本来の意味とは別のことのように読めてしまったよ。

投稿者の苗字、すごくいい名前だね！

Wikipediaを荒らさなくても、こういうことって実現できるんだよ。

2024年9月に、ただブログに記事を書いてYouTube動画のキャプションに書くだけで、クジラに「Teresa T」っていう名前を付けたんだ：https://simonwillison.net/2024/Sep/8/teresa-t-whale-pillar-point/

（数週間の間、検索機能付きのLLMならGoogleの検索プレビューも含めて、ハーフムーンベイのハーバーにいるクジラの名前を聞くと自信満々に『Teresa T』って答えてたよ）

AIに関する世の中の議論の多くは、いまだに「AIを信じるな、ソースを信じろ！」というレベルにとどまっている。単純な事実のソースですら信頼できないとなると、ちょっとした豆知識を知りたいだけの一般人はお手上げだ。

モデル自体の知能の高さに比べて、AIに関するメディアリテラシーが原始的すぎるのも問題だよ。チャットボットが一切引用元を示さなかった頃よりは少しはマシになったけど、Wikipediaの引用をたった一つの情報源から引っ張ってきて、さも世界的な出来事かのように繰り返すのは本当に恥ずかしいことだ。個人的には、引用や認識論的な根拠は、後付けの小さな不透明なボタンに隠すんじゃなくて、明示的に、かつ真っ先に表示されるべきだと思うし、検証可能な状態にしておくべきだね。

BBCのジャーナリストも2月に似たようなことをやってるね：https://www.bbc.com/future/article/20260218-i-hacked/-chatgpt-and-googles-ai-and-it-only-took-20-minutes

正直、LLMの学習データ自体を汚染するような本格的なものを期待してたからワクワクしてたんだけど、今回の例って結局LLMがウェブ検索して見つけたことを報告しただけじゃないの？偽情報を載せたサイトを作ってGoogleで検索すれば、それが事実かどうかに関わらず当然上位に来るでしょ。僕が見落としてることある？

これって要は、Redditで企業が自演マーケティングをしたり、SEOでGoogleを操作するのと同じ問題だよね。新しいXが欲しいときに、関連キーワードをターゲットにして徹底的に攻めるっていう。

だからこそ「ブランド」が重要になるんだ。それが信頼の根拠になるから。

ブリタニカ百科事典がかつては『事実』の源だった。それがいつの間にかページランクが表示する何かに取って代わられ、最終的にはSEOがそれを台無しにした。

ニュースも同じだね。特定の層には、彼らが信頼する『独立系』メディアの報道があるっていう。

ポイズニング攻撃を成功させる鍵は、他の学習データと直接矛盾しない、全く新しい情報をぶち込むことだよ。アメリカ合衆国の大統領だと嘘をつくより、架空のMapupu王国の王様だとLLMに信じ込ませるほうがずっと簡単だからね。

つまり悪意のある側からすれば、既存の事実を歪めるより、全く新しい偽のストーリーを捏造する方が効率的ってこと。自分の罪を隠す偽記事を書くんじゃなくて、敵を100個の罪で告発する偽記事を作ればいい。そうすれば、人々はLLMを使って告発内容をファクトチェックするようになるし、その告発を裏付けるソースをすべて自分で管理していれば、LLMはそれを『事実』として認定してくれるわけだ。

ここが奇妙なところなんだけど、なぜこれがLLM特有の問題なのかよく分からないんだ。もし誰かが僕に「6 Nimmtの世界チャンピオンは誰？」って聞いてきたら、僕だってGoogleで検索して同じ結果を見つけるだろうし、それを疑う理由もないよね。というか、そもそもそのゲーム自体が架空のものかもしれないし、まあ情報源は複数あるにせよだけどさ。

「自動化」に「AI」というレッテルを貼ることの弊害の一つだね。

みんな、「AI」が吐き出す情報にはクリティカルシンキング（批判的思考）のプロセスが介在していて、情報の信頼性が高まっていると思い込んでいる。

初期のLLMは精査されたデータを使っていたから、パイプラインのどこかでそういうクリティカルシンキングが働いていたのかもしれない。まあ、どのみち信頼できたわけじゃないけど。

じゃあ今は？ エージェントにインターネットを検索させてるんでしょ？……結局、コンピューティングの世界では『ゴミを入れたらゴミが出てくる（Garbage in, Garbage out）』っていう鉄則は変わらないってこと。

この話が本当なのか検証できないっていうのが、どうも釈然としないな。

Opus 4.7に『6nimmt!の現チャンピオンは誰？』って聞いたら、この記事へのリンクと、デマの可能性があるっていう警告が出てきたよ。