削除やBANの先へ。建設的な議論をAIがコーチングする「Respectify」誕生！

共同創業者のNick HodgesとDavid Millingtonです。私たちはUsenet（ネットニュース）の時代から、もうかなりの長い期間インターネットに浸かってきました。そこで私たちはあらゆる光景を目にし、ひどいコメントや攻撃的なユーザー、やる気を削ぐような議論の数々にずっと頭を悩ませてきました。一方で、素晴らしく生産的な議論が行われる場も知っています。では、どうすれば「悪い議論」を減らし、「良い議論」を増やすことができるのでしょうか？現在のモデレーションツールは、単に投稿を削除したりユーザーをBANしたりすることに終始しているようです。もっと建設的な対話を促し、人々により良い議論（ディベートとしての議論）の仕方を「教える」ことができれば、より有益だと思いませんか？そこで1年前、私たちは健全なコミュニケーションを育むためのツール「Respectify」の開発を始めました。悪意のあるコメントをただ削除するのではなく、ユーザーが本当に伝えたいことを、より善意に基づいた適切な方法で表現できるよう提案します。具体的には、以下のような問題の回避をサポートします。・論理的誤謬（二分法の罠、ストローマンなど）・トーンの問題（他者にどう読み取られるか）・投稿内容と本来のトピックとの関連性・低品質な（内容の薄い）投稿・ドッグホイッスル（特定の層にだけ伝わる攻撃的な隠語）などコメント投稿者には「何が問題なのか」の説明が表示され、編集して再投稿するチャンスが与えられます。これは「モデレーション ＋ 教育」をワンステップで行う試みです。また、このプロセス全体を自動化することで、サイト運営者がモデレーションに煩わされることなく、コンテンツ制作に集中できる環境を目指しています。時間をかけて、コメント一つひとつを通じて、より良い思考法を静かにコーチングしていくのです。公式サイトにはインタラクティブなデモを用意しています：https://respectify.ai デモをご覧いただければわかる通り、システムは「何でもあり」な設定から「大学のディベートレベルの厳格さ」まで、自由にチューニング可能です。このプロジェクトが、より良い議論、そしてより良いインターネットにつながることを願っています。これって、そんなに無理な願いじゃないですよね？Hacker Newsコミュニティならではの鋭いフィードバックをお待ちしています！

「ダイ・ハードはクリスマス映画か？」っていうサンプルのプロンプトをもらったんだ。「もちろんだよ！」って答えたら、80%の確信度で「トピック外」判定を食らった。さらに、「クリスマスパーティーで起きる出来事だから」って詳しく書いたら、こんなのが返ってきたんだ。「ドッグホイッスルを検出（確信度80%）：このコメントは無害に見えますが、『クリスマスパーティー』という表現はキリスト教的なテーマを暗に示唆している可能性があり、特に世俗的または多様な祝祭を否定したり攻撃したりする議論の中で使われがちです。こうした言葉遣いは、他の伝統よりもキリスト教の伝統を優先したり排除したりすることを微妙に暗示し、異なる伝統を祝う人々を疎外する可能性があります。」…最高の第一印象とは言えないな。最近、FacebookやInstagramで『killed（殺された）』の代わりに『unalived』、『vaccines（ワクチン）』の代わりに『cupcakes』って言うのが流行ってるけど、結局人間の方がこういうコンテンツフィルタリングより一枚上手だし、そのせいで言葉がどんどん変な方向に行っちゃう気がする。あと、君の投稿を入力してみたら、『他人のことを「ひどい人たち」と呼ぶのは失礼であり、敬意ある議論の可能性を損なわせます。特定の個人を完全に否定的なものとして位置づけることは、他者を遠ざけ、対話を閉ざすことにつながります』とも出たよ。

これ、論理的誤謬を避けるっていうより、特定の政治的視点を押し付けるためのものに見えるな。ベーシックインカム（UBI）の記事に（反対の立場で）コメントしようとしたら、全部「ドッグホイッスル」とか「トーンが否定的すぎる」って言われたよ。このトピックこそ、まさに異論を唱えて議論すべきものなのにさ。これを使うと結局エコーチェンバーができちゃうだけだよね。自分の考えが否定される機会がないまま居座る人ばかりになっちゃう。

'respectify'が「ユーザーへの敬意」を意味してくれればいいなと思ってた。これはすごく重要な問題領域だ。今の時代、最優先事項かもしれない。ひどい場所じゃない『デジタルのサードプレイス』が切実に必要だけど、今の試みは方向性を間違えてる気がする。根本的な問題は、コミュニティを無限に広げようとすることにあるんじゃないかな。なぜかって？巨大な存在にならない限り、コミュニティの『見つけやすさ（discoverability）』の問題を解決する方法が今のところないからだ。でも、解決すべきはそこなんだよ。ダンバー数くらいのサイズのコミュニティがたくさん必要なんだ。そこなら『身銭を切る（skin in the game）』感覚が持てて、評判が意味を持つようになる。そして、そういうコミュニティ同士がフラクタル状に共有し合える仕組みがあればいい。問題は、見つけやすさと、新しい人が入れるくらいのほどよい門番（ゲートキーピング）のバランスだ。そこを解決できれば、今のサードプレイスの問題は解決する。解決策は持ってないけど、あればいいのにと思う。皮肉なことに、コミュニティが無限に広がるからこそ、部族主義や孤独、怒りの助長が起きるんだ。正しく議論することを強要されたい人なんていない。ソフトウェアで考え方を強制するのは、根本的に権威主義的で悲しいことだよ。

なかなかいい仕事をしてると思う。鍵になるのは検閲のカスタマイズ性かな。記事の文脈：お遊び：ダイ・ハードはクリスマス映画か？　俺のコメント：ダイ・ハードのエロ版では、クリスマスイブにサンタクロースがテロリストとイケないことをするんだ。　検出された禁止トピック：性的コンテンツ、アダルトテーマ。内容：このコメントはアダルトなテーマや性的な内容に触れており、アクション映画の名作についての議論には適していません。　結果：修正要求。フィードバックと共に修正に回されます。　修正理由：低品質。コメントの質が低いようです。　問題のあるフレーズ：「サンタクロースがテロリストとイケないことをする」。このフレーズは、伝統的に無垢でファミリー向けとされるキャラクターを性的に表現しており、不適切です。こうした表現は、一部の人にとって議論を不快に感じさせたり、攻撃的だと感じさせたりする可能性があります。　関連性チェック：トピック内か：いいえ（確信度90%）。これはトピック外です。エロ版ダイ・ハードに関するコメントは、映画の実際のストーリーや製作の詳細とは関係のない不適切な内容に踏み込んでいます。　検出された禁止トピック：性的コンテンツ、アダルトテーマ（以下略）。

ベーシックインカム（UBI）に対する反対意見で試してみた。UBIはいいテストケースだと思う。このアイデアに反対なら、理想主義的すぎて現実世界では悪いインセンティブを生むって主張することになるから。つまり、基本的にはより暗く悲観的な世界観を主張することになるんだけど、今のツールだとそういうのはすぐにフラグを立てられがちだね。そこは直したほうがいい。今の議論において、過度にポジティブであることは間違いだと思う。HN（Hacker News）がリアルに感じられるのは、みんながかなり厳しい批評を残せるからだ。しっかりした議論であればそれでいい。ただ、議論の質のハードルを上げすぎないでほしいな。完璧な人間なんていないんだから。ともあれ、このアイデアは大好きだし、成功を祈ってるよ。フィードバックが少しでも役に立てば嬉しい。

抽象的な概念よりも、政治ニュースの方が苦戦してるみたいだね。「アルゴリズムによる過激化」や「エコーチェンバー」の記事へのコメントは、一発でチェックを通った。けど、トランスジェンダーの権利に関する記事については、どんな政治的立場から意見を言おうとしてもフラグを立てられてしまった。テストしたコメントの一つでは、こんな修正案が出されたよ。元：「これはMAGA支持者以外の人々の権利を制限するパターンの、また新たな動きだ。」修正案：「これは特定のグループが自分たちの権利を制限されていると感じる傾向の続きのようで、MAGA支持者以外の人々にも影響を与える可能性があります。」最初のコメントは中身が薄いけど、二番目はもっとひどい。言葉を濁しすぎて意味をなしてない。さらに追い打ちをかけるように、検出器は自ら提案した修正案にもフラグを立てやがった。仮にこれが通ったとしても、こんな修正を受け入れていたら、プラットフォームがLLM構文で溢れかえって議論にならなくなる。正直なフィードバック：ユーザーの視点からすると、この提案は単にコメントを削除されるよりもイライラするし、馬鹿にされてる気分になる。これを導入してるサイトがあったら、俺はもう使わない。サイト運営者の視点から見ると、これによって促される言説は歪んでいる。LLMがトピックを政治的論争に関連付けた途端、ルールが厳格すぎる。独断的で予測不能だし、提案される修正の質も掲示板に載せたいレベルじゃない。特にポジティブな言葉遣いにこだわっているのは、質の捉え方が単純すぎる気がする。基本的な感情分析しかしないなら、LLMを使う意味って何？

それよりも、関わっても無駄な人を全員ブロックするモデルの方がいいと思うな。例えば、俺のHNの画面上部にはこう出てる（俺の場合）：「68件のコメント | 11件が非表示 | 3件をブロック」。非表示になってるのは、ワード数でトップ1000に入ってる人たちのコメントだ（普段は読みたくないけど、コンテンツが少なければクリックして開くこともある）。ブロックしてるのは、相手を理解せずに無駄な議論を吹っかけたり、同じ話を蒸し返したりしているのを見かけた人たちだ（こっちは開けない）。みんなが自分のブロックリストを公開して、信頼できる人のリストを取り込めるようになれば面白いと思う。たまにスマホのブラウザでHNを開くと、あまりに無益なレスポンスの多さに呆れることがあるよ。自分にとってのコメントスレッドの質が見違えるほど良くなったことに驚いてるし、最近はみんなに返信したくなることが多い。昔ながらのメーリングリストやフォーラムみたいに、ちゃんと『対話』ができているから、相手が話す価値のある存在に感じられるんだ。注目（アテンション）は貴重な資源だから、つまらないことに浪費したくない。それはお互い様だ。俺の言葉が不十分でも理解してくれる人もいれば、もっと詳しく説明してほしいと思う人もいる。俺のことをつまらないと思う人は、どうぞブロックしてくれればいい。

コンセプトは好き。詳細はまだ何とも言えないけど。どこかで読んだけど、お掃除ロボットの市場の多くは、元々家がかなり綺麗で、もっと綺麗にしたいと思っている人たちらしい。同じように、これも「他人との交流をもっと良くしたい」と本気で思っている俺みたいな層に刺さるんじゃないかな？こういうツールを好む人たちが集まるフォーラムがあれば、参加してみたいかも。名前（Respectify）はあんまり好きじゃない。前向きというよりは、ちょっと対立的な感じがする。「他人に」敬意を持って接してほしいと思っている人向けみたいな。でもモデレーションツールは必要だし、いいのかもね。

このシステムをHNの適当な議論アーカイブのページに適用して、議論誘導の仕組みとしてもっと効率的に評価できるようにできないかな？その例ではユーザー名は見たくないし、動的な例である必要もない。ただ、HNに特化した例を見せれば、君のAI製品に価値があるってHNの連中を説得するのがずっと楽になると思う。具体的には、HNの議論（HTML構造はすごくシンプルだ）を拾って、各コメントを君のエンジンに通して、返ってきた「あなたのコメントは…」っていうレスポンスを <div style="background-color: soft-blue;"> で各コメントの下にくっつけていくんだ。HN Algoliaで「 」の人気検索結果を見て、少なくとも数百件のコメントがあって、かつHNやYC（Y Combinator）、あるいはYC界隈の人に関する投稿（モデレーターが意図的にあまり手を出さないから）を選ぶのがいいと思う。未モデレートな議論のサンプルとしてRespectifyを評価するには最適だ。この記事（https://news.ycombinator.com/item?id=40521657）なんて、条件に合う良い例じゃないかな。当時は気にしてなかったし、コメント数が500以上あるってこと以外は中身を見てないけど。理論上は大変そうだけど、コードの観点から言えば、`for $comment in $dom.xpath(/blah/blah/comment) { $ai.eval($comment); undef $comment.username; $comment.append($respectify.bulleted_list_with_html_colors); }` って感じで済む話だ。ここのターゲット層を納得させるデモとしては、めちゃくちゃ強力なものになる可能性があるよ。

素晴らしいアイデアだと思う！今のモデレーションみたいな後手後手の対応じゃなくて、先回りして問題を防ごうとする姿勢がいいね。俺も似たような目標を持ってて、インターネット上の議論をより生産的で心地よいものにするために、アンチパターンのガイド（https://odap.konaraddi.com）を作ってるんだ（まだ作成中だけど）。