【Launch HN】AIエージェントの会話からユーザーの本音を自動抽出する「Agnost AI」がすごい

Hacker Newsの皆さん、こんにちは！幼馴染のShubhamとParthです。私たちは、チャットや音声AIエージェントを開発するチーム向けのプロダクト分析ツール「Agnost AI（https://agnost.ai ）」を立ち上げました。

Agnost AIは、AIとユーザーの会話ログを解析し、ユーザーが「AIにキレている（暴言を吐く）」「同じ質問を何度も繰り返す」「AIを訂正している」「機能不足を指摘している」「技術的には成功しているのに離脱している」といった、プロダクトのボトルネックとなる行動を自動で見つけ出します。

サインアップ不要のインタラクティブデモはこちら：https://app.agnost.ai?demo=true
デモ動画はこちら：https://www.tella.tv/video/agnost-ai-launch-hn-demo-9haa

■ なぜこれが必要なのか？
従来のWebアプリと違い、チャットや音声AIはクリックやファネル分析が通用しません。また、ユーザーはわざわざフィードバックを送ってくれないし、送られてきたとしてもオブラートに包まれがちです。結局、開発者はレイテンシやエラーログは追えても、「ユーザーが本当に満足したか」は推測するしかないのが現状です。

Agnost AIは、いわば「会話のためのPostHog」です。可観測性（オブザーバビリティ）ツールが「技術的に何が起きたか」を教え、Evalsが「既知のケースの検証」をするのに対し、私たちは「ユーザーは何を求めていたのか」「どこで不満を感じたのか」という発見（ディスカバリー）に焦点を当てています。

■ 仕組み
SDKやOTelを通じてメッセージデータを送信すると、会話をインテント（意図）ごとに自動でクラスタリングします。「機能要望」や「バグ報告」は標準で分類されますが、他のカテゴリはデータに応じて動的に進化します。自然言語で独自のクラスターを作ることも可能です。

活用事例：あるAI動画編集ツールでは、チャットログを分析した結果、70人ものユーザーが「自動字幕機能」を求めていることを発見しました。ユーザーは直接的に「機能追加して」と言うのではなく、「このフレームに文字を入れて」「キャプションを付けて」「トランスクリプトをちょうだい」と、様々な言い回しで何度もリクエストしていたのです。その結果、チームは優先的にその機能を実装しました。

■ 技術的な挑戦
数百万件のメッセージをLLMに全て投げるとコストと速度の問題が発生します。そのため、ClickHouseのクエリ最適化を徹底し、会話のセグメント化にはコサイン類似度、クラスタリングにはBIRCHやHDBSCANの高速化手法を組み合わせることで、コストを抑えつつ高精度な解析を実現しました。

現在は複数の企業で導入されており、1日約100万件のメッセージを処理しています。料金プランは公式サイトで公開しており、無料のStarterプランからPro、Enterpriseまで揃えています。もちろんデータは顧客ごとに分離され、セキュリティ（SOC 2対応）も万全です。

AIエージェントを開発している皆さん、普段どのようにユーザーのシグナルを検知していますか？ぜひフィードバックや質問をいただければ嬉しいです！

Codexが月額199ドルで、君が説明したことを全部こなせるのに、なんでわざわざ月額499ドルも払わなきゃいけないんだ？

Rageprompting

いいネーミングだね！俺はHermesのセットアップに罵倒検知機能を実装して、エージェントの「学習機会」を特定できるようにしてるんだ。結構便利だよ。予算を気にするなら、Hermesが自分の間違いを正しく推論するために必要な、過去のラウンドの最小数をどう決めるかが一つの課題になるね。興味深いことに、Claude Codeは自分が何をやらかしたのかを把握するのが本当に下手くそなんだ。よくログを見返してるけど、役に立つことはほとんどないよ。

Agnostを使わずに、手元のデータから外れ値を見つけるために実行できる基本的なSQLクエリってどんなのがあるかな？

キーワードや一般的なフレーズ、ありきたりな従来の分析だけでどこまでいけるもの？

そこでの測定結果を見て、Agnostのようなツールへのアップグレードを検討すべきタイミングはいつだと思う？また、従来の柔軟性に欠ける分析アプローチでは見逃してしまうような具体的な事例があれば教えてほしい。

ローンチおめでとう。ポテンシャルのある面白そうなプロダクトだと思うよ。

ただ、この手のサービスではプライバシーが肝だから、そこをどう扱っているかの説明はもっと強化した方がいいかもね。

例えば「顧客のデータはその顧客のためにしか使わない」と言われても、顧客企業には何百人ものスタッフがいるはず。そのスタッフ自身の声（それとも文字起こしデータ？）やメッセージがこうやって使われることに対して、彼らはどう相談を受けて、どう同意してるんだ？

もちろん、仕事にプライバシーなんてないだろって意見もあるだろうけど、ここは詳細を詰めればもっと信頼を得られる余地があると思うよ。

うちのジュニア開発者が、週に約2万5000件ものメッセージをエージェントに処理させるためのClaude Coworkのスキルを自作して運用してるけど、結構うまくいってるよ。月額499ドル払う価値がどこにあるのか、ちょっと理解に苦しむな。

数年前に仕事でこれの社内版を構築したことがある。懸念してるのは、オブザーバビリティ（可観測性）を排除することで、結果的にかなり偏ったデータセットが出来上がってしまうことじゃないかな。そんなデータの結論を基に、企業にリソース配分を決めろというのは危険だと思うよ。

推測だけど、エージェントのログには、小規模な企業なら「AI動画エディターで字幕を自動追加したい」みたいな、明白な機能要望やバグが浮き彫りになるだけじゃないか？

大規模な企業で、大量の問い合わせを処理している場合、データセットの大部分を占めるのは「サブスクの請求トラブル」といった、チームが既に把握しているノイズの大きいクエリ群になるはず。その大きな山を越えた後には、本当に多様なロングテールのクエリが残るんだけど、深いオブザーバビリティがなければ、どれが重要かをランク付けする方法がない。それに、複雑に開発された大規模なプロダクトにおいて、エージェントのログだけでプロダクトの根本的な問題原因を突き止めるなんて無理だと思う。ほとんどのプロダクトチームは、もっと大量のデータがあっても正しく意思決定できずに苦労してるんだから。

評価機能（evals）に関与しないという方針（これも、もし自分が見込み顧客だったら信頼できない点だけど）と合わせると、大企業向けに真の価値を提供するのは難しいんじゃないかな。評価機能がないと、単なる中身のない、文脈も曖昧な感情分析ツールとして切り捨てられかねないよ。

とはいえ、俺の予想が外れることを願ってる！個々の組織のニーズに細かく対応する必要はあるにせよ、既存のプロダクトワークフローにLLMと言語分析を組み込むことで得られる利益は計り知れないし、君たちが提案していることは企業が進むべき方向性と完全に合致している。結局のところ、僕たちは顧客の声に耳を傾けるべきだし、LLMやエージェントはそのハードルを下げるべきであって、上げるべきじゃない。幸運を祈ってるよ！

ここでのコメントには、Codexで自作すべきとか、SQLでいいじゃんといった意見が結構あるみたいだね。特定の企業を擁護するつもりはないけど、この問題がどれだけ難しいものかという点について一言言わせてもらうよ。

数百から数千件程度、特に短いドキュメントなら、埋め込みによるクラスタリングやLLMを使ったタグ付けなど、既存の手法でもそれなりの結果は出る。

でも、データセットが大規模になり、ドキュメントが短いメッセージから30分以上の会話に拡大し、さらに学習した意味単位の上に高度な分析を構築しようとすると、信頼性の高いアノテーションにはLLMや埋め込みだけでは限界があることに気づくはずだ。タクソノミ管理や季節性、モデルドリフトに伴う複雑な問題については言うまでもない。

要するに、この問題を効果的に解決することには大きな価値があるし、見た目よりずっと難しい仕事なんだよ。