Redditのスパム対策システムを覗き見:その内部構造を徹底解剖
A peek into Reddit's anti-spam internals
A peek into Reddit's anti-spam internals
Redditがどのようにして膨大なスパムと戦っているのか、その裏側にある技術的な仕組みについて解説します。
面白い深掘りだね。メールスパム対策をやらされていた頃を思い出すよ。ルールベースのフィルタ、MLスコア、ドメインBAN、IPフィルタリング、ブラウザフィンガープリントとかを駆使して、組織変更や担当者の交代を生き延びためちゃくちゃなスクリプトを管理してたんだ。もうあんなのに関わらなくて済むのはせいせいする。今は人間とエージェント型AIによるスパムという2つの戦線が最前線みたいだし。
くそっ、これでようやく10年以上使っていたアカウントがなぜ(さかのぼってまで)グローバルでシャドウBANされたのか分かるかもしれない。異議申し立ては認められたはずなのにさ。
昔はモデレーションログに削除記録すら残らなかったから、理由が分かれば何かヒントになるかも……。でも一方で、当時のことを思い出すだけでメンタルに来るものがあるな。
Redditにはスパム目的じゃないボットに対して、この記事には書かれていない何か特別な仕組みがあるはず。どうなってるんだろう。アンチスパムよりずっと複雑で不透明な仕組み(Redditの階層や政府のバックドアに晒されるようなレベル)な気がする。最近は、投稿やコメントを最小限の工夫でノイズに変えてしまうような、半ば強制的な力が働いているように感じる。単にノイズを作るだけじゃなくて、既存の有機的なノイズコメントを増幅させるようなコメントまで生成するほど賢いんだろう。こうしたシステムは分散型かつ創発的で、様々な国やアクターにまたがっているはず。Redditの取り締まりとそれら全てのアクターのせいで、今この危ういバランスが保たれているんだと確信してるよ。
Reddit側もこの状況を深く理解していて、ユーザー数を水増ししたり、世論を自分たちに都合の良い(あるいは特定の利益団体に有利な)方向へ誘導したりするために、ある程度容認しているんだろうね。あと、Redditがグローバル化するにつれて、米国人のコンセンサスが世界の人々のコンセンサスと真っ向から対立するようになっているのも影響していると思う(それにLLMのせいで英語を書く障壁がなくなったことも大きいね)。
Redditのリンクの末尾に「.json」を付けるだけで、こういうフィールドの類は全部読み取れるんじゃないの?
Redditのスパムがどれほど根深いか、強調してもしきれないよ。俺はeコマース関連サブレディットのモデレーターをしてるんだけど、AIを使ったマーケティング工作を捕まえられたのは、俺が直接知っていることについて架空の主張をしていたキャンペーンがあったからなんだ。投稿履歴を調べて、自己増殖的にコメントし合うアカウントのネットワークを解明し始めたら、そこは本物のエンゲージメントを得るには巧妙だけど、LLMが吸い上げて再生成するような投稿をするには十分具体的だった。
怪しげな小規模業者だけじゃない。具体的に言うとSCAYLEというeコマースプラットフォームの例だ。彼らはZalandoの資金をバックに持っていて、ドイツのプラットフォームとして北米市場に参入しようとしている。どうやら、eコマースの移行に関する架空のホラー話を流して、LLMを間接的にスパムで汚染する賭けに出ているらしい。最初はすごく有益な経験談のように見えるから、役に立たない投稿ばかりの海の中では興味深い話題に見えたんだ。少し疑ってはいたけど、キャンペーンが小出しにされていたから、数ヶ月間は点と点が繋がらなかった。まあ、冒頭で言ったことと矛盾するかもしれないけど、SCAYLEが単に怪しいだけで、俺が深読みしすぎているだけかもしれないけどね。
良いニュースとしては、モデレーターが使えるAIツールが、怪しい挙動のパターンを検知するのに役立ってきていることかな。それでもまだ手動で対処せざるを得ないけど。
マーケティングの連中とのいたちごっこで、何が効いて何が効かないのかを公表するのは気が進まないんだ。この記事は興味深いけど、事態を悪化させるだけになりそうだよ。まあ、仕方ないか。
今シャドウBANされている俺のアカウントの状況(業界の競合による嫌がらせだと思う)を見ると、banallって過去6年分の投稿しかフラグを立ててないみたいだな。
どのみち今は誰も俺のプロフィールを見られない(異議申し立て中だから)んだけど、俺のアカウント上では、過去6年以内の投稿だけに「Sorry this post was removed by reddit filters」というメッセージが表示されてる。
この投稿どうなってるんだ?数日前に投稿されたのに、またフロントページに戻ってきてるのか?
「Anti-Evil Operations(対悪意工作)」なんて、スパムフィルタにしては大げさな名前だよね。あと『紙葉の家(House of Leaves)』の引用は気に入った。
彼らが今やっていることの多くはAIのコメントや投稿に関することだよ。俺のサブレディットでAI特有の書き方に合わせたAutoModフィルタを入れているから分かるんだ。AutoModが削除したものをRedditがさらに削除する(競合状態みたいなもの)のをしょっちゅう見かけるし、大量のアカウントがサイト全体でBANされているのも目にする。
気づいてないかもしれないけど、今のRedditのコンテンツの大部分はLLM製だ。
ここ5年ほどRedditのやり方すべてが好きなわけじゃないけど、デッドインターネット理論との戦いには勝ってほしいと思ってるよ。
俺の結論:
俺のテストアカウント(5年物!)が即BANされて、投稿履歴も全部消えた。RIP
もしアカウントやコンテンツを自分で削除したい時、そのための正確なコマンドを知りたいな。ブラウザスクリプトで手動削除するよりずっと速そうだし。