「チャットボットと話せ」はもう勘弁。エンジニアが考えるべき”脱チャットボット”のUX

正直なところ、何かトラブルを解決したい時に真っ先にチャットボットが出てくるのはストレスでしかありません。無理にAIと会話させるのではなく、ドキュメントへのリンクや人間へのエスカレーションパスを優先すべきではないでしょうか。「チャットボットありき」の設計を見直すべき時が来ています。

関連して。わざわざアジアンな訛りや、後ろでコールセンターの音が鳴ってるような「人間を装ったAI」と喋らせるのはやめてほしい。チャットボットよりもさらに人を馬鹿にしてるよ。

コミュニケーションの非効率さはLLMが進化すれば解決する問題だと思ってるし、人間同士のコミュニケーションが効率的だっていうのはちょっと理想化しすぎじゃないかな。でも、チャットボットとのやり取りを強制されるべきじゃないって強く思うのには、もっとシンプルな理由がある。それは、失礼だから。相手の時間や注意力を軽視してるし、手抜きだったり、楽をしないと成功できない無能さを露呈してる。効率云々の前に、人間同士のやり取りの価値を侮辱してるよ。

みんな無料でサポートを受けられるのが当たり前だと思ってるよね。マイクロソフトで働いてた頃、サポートで人間が電話に出るだけで1件20ドル以上かかってたんだ。それって製品の利益率を超えてたんだよ。誰かが電話してくるたびに、その売上の利益を全部吐き出すどころか、赤字になってた。よくある電話の内容は、マニュアルやチュートリアル、FAQとかに全部書いてあることばっかり。もちろん、本当に修正が必要なバグもあったけどね。その異常に高いサポートコストのおかげで、最初の利用体験を改善しようってことになった。でも、マジでみんなサポートの電話がどれだけ「高い」か分かってないんだよね。 補足：コストの内訳を説明すると、当時は物理的なコールセンターだったから、まずオフィスの賃料がかかる。次にトレーニング。各担当者に製品を教え込む時間と給料が必要だ。サポート資料の作成やバージョンごとの更新も。これら全部がサポート費用に上乗せされる。離職率も高いから、常に誰かをトレーニングしてる状態なんだ。オフショアのセンターでも、諸々の運営費を合わせると決して安くない。 普通ならサポート率に合わせて製品価格を上げればいいんだけど、現実はそうもいかない。VCから資金調達して赤字覚悟でシェアを奪いに来る競合や、同じくシェアのために金を燃やすGAFAの競合がいるからね。結果、iPhoneみたいな例外を除いて、今はどの製品カテゴリーも利益率が低いから、みんな必死にサポートコストを削ろうとしてるんだ。

「何を伝えたいかハッキリさせる」ってのが鍵だね。最近、ビジネスの場ではLLMは「誤解の増幅器」だと思うようになってきた。職場で、誰かが一般的な単語を業界用語として使ってること、よくあるでしょ？「オンラインシステム」とか「プラットフォーム」とか。本人は分かってても、周りは分かってなかったり、定義を勘違いしてたりする。LLMがなくても、これで会議の後にみんなの認識がバラバラになることがよくあるよね。僕の経験だと、こういう状況でLLMにちゃんとコンテキストを伝えてる人はほとんどいない。あるいは、知識がないのを隠すためにLLMを使ってるか。LLMは自信満々に聞こえるようにRLHF（強化学習）されてるから、用語の意味が分からなくても「分からない」とは言わない。代わりに一般的な意味と文脈を混ぜて、何かを捏造する。それがコピペされて拡散されると、詳しくない人全員が間違った認識を持ってしまう。これが「誤解の増幅器」ってこと。記事にある通り、伝えたいことを時間をかけて考えれば解決するんだけど、それができるならそもそもLLMなんていらないよね。

自分の会社の一つでGustoを使い始めたんだけど、勝手にプレミアムサポートの料金を取られたから文句を言おうとしたら、「Gus」っていうAIと堂々巡りの会話をする羽目になった。AIとチャットするだけなのに、なんで高いプレミアム料金を払わなきゃいけないんだ？

助けてくれるのがAIか人間かなんて、受けるサポートの質に比べたら大した問題じゃない。僕にとって大きな問題は、「サポート」がいつも「ユーザーへの教育」として扱われて、サービス側の問題として捉えられないこと。特にテクニカルな客がバグを指摘しようとしてるのに、使い方のヘルプ記事をコピペして返してくるようなのは、本当に最悪だよ。

客としては、ただ必要な情報が欲しいだけ。チャットボットとも話したくないけど、それと同じ理由で人間とも話したくないんだ。大抵どっちも僕が欲しい情報を持ってないからね。これが理解できないんだけど、僕が欲しい情報って、大抵他の客が既に聞いてることなんだよね。カスタマーサポートの迷路を彷徨うより、検索可能なWikiで自分で解決したい。残念ながら、企業のFAQは「マニュアル読め」とか「コンセント入ってる？」レベルの当たり前のことしか書いてない。ティア3のサポート担当者が身内で共有してるドキュメントを公開すればいいのに。「エンジニア向けの予備情報」みたいな注意書き付きでさ。僕みたいな客は全体の2〜3%だってことは分かってるけど、自力で解決しようとして、結局フロントラインを通さないと詳しい人に繋いでもらえないから、普通より時間がかかるんだ。数は2%でもサポートのリソースは4%食ってるし、一番コストが高くて貴重なティア3に関しては20%くらい占めてるんじゃないかな。

問題を解決してくれるなら、人間でもチャットボットでも犬でも構わないよ。そもそもサポートに連絡なんてしたくない。連絡しなきゃいけないってことは何か大きな問題があるってことなのに、保留音を1時間も聞かされたり、「お客様のお電話は大切です」なんて言われて、挙句の果てに電話が切れてかけ直しなんて御免だよ。問題は、チャットボットがまともに解決してくれた試しがないこと。まあ、最初の窓口の人間も大抵そうだけどね。

書くっていうのは、根本的には自分の脳から相手の脳へ情報を移すことだよね。1000ビットの情報を伝えたい時に、300ビットだけLLMに渡して残りの700ビットを埋めさせようとしたって無理だよ。LLMは残りの700ビットが何かなんて知らないんだから。もしLLMがその700ビットを正しく推測できたとしたら、それは本当の情報じゃなくて、実は最初から300ビットしか伝える必要がなかったってこと。それならLLMに余計な700ビットを付け加えさせて僕にフィルタリングさせるより、その300ビットを直接送ってくれたほうがいい。

PRを作るのにコーディングエージェントを使うことが増えています。 いや、そんなことないし、やるべきじゃない。チャットボットが書いたPRなんて読ませないでくれ。