【2025年最新】爆速・快適！理想のローカル音声アシスタントを求めた僕の構築記

2025年における、信頼性が高く、かつ使っていて楽しい「ローカルホスト型音声アシスタント」を構築するまでの道のりをまとめた記録です。プライバシーを重視し、クラウドに依存しない実用的な環境をどのように作り上げたか、その試行錯誤のプロセスを概説しています。

最初のバージョンですでにSiriより10倍はマシなんじゃないかな。特定の場所にいることを理解して、その場所にライトが1つしかないときは「どのライト？」なんて聞いてこないし、逆に同じデバイスが複数あるときはちゃんと聞き返してくれる。

2024年のOpenAIのデモで見せられた音声AIの約束がいつか実現するのをまだ待ってるんだけど。それ以来、なんで全く進展がないのかよくわからない。

みんな、音声アシスタントに話しかけるの好きなのかな？たまに料理のタイマーとかで使うことはあるけど、大抵は自分でやったほうが早いし、誰もいない空間に向かってお願い事をするのはちょっと気まずい。必要以上に音を出したくないっていうのもあるかも。（もちろん、障害とかで音声アシスタントが役立つ人がいるのはわかってるけどね）

これ、もう5ヶ月前のやつだよね。推奨のセットアップに何か大きな変更とかあった？

プライバシーをそんなに気にしないなら、俺はGemini 2.5 Flashを使ってる。HAのアシスタントとしてめちゃくちゃ優秀で速いし、3090を動かし続ける電気代よりずっと安い。個人的にネックなのはウェイクワードの検出。HA Voice Previewも試したけど、Echoデバイスの半分も聞き取ってくれない。アシスタント自体は賢いけど、何度も言い直すのは勘弁。オープンなハードでこれが解決されたら即買いするよ。

最近Home Assistant Voice Preview Editionをいくつか買ったけど、正直期待外れだった。ウェイクワードの検出はイマイチだし、音声応答の質も最悪。Amazonは広告と通知でEchoを台無しにしちゃったから、オープンな代替品が欲しいけど、今はまだ基本性能が足りないね。

俺が試してるのはアナログ電話（黒電話とかも！）をサテライトにする方法。古い家で各部屋に電話ジャックがあるから、アダプタ1つで済んだ。ウェイクワードは使えないけど、その分プライバシーは守れるし、意外と不便じゃない。そのうちLLMも繋いでみたいと思ってる。

実はローカル音声アシスタントで一番難しいのはLLMじゃなくて、自然なTTSなんだ。問題はプロソディ（韻律）で、読み上げ用モデルだと会話特有の区切りや強調に対応できなくて違和感が出る。学習データの分布が違うから一般化が難しいんだ。セルフホストならcoqui xtts-v2を試す価値がある。私はRimeの共同創業者。ビジネス向けにこれを解決してるけど、根っこは同じだね。

お試しでHome Assistant Voice PEを買ってみた。Google Homeと比べると、ウェイクワードの精度やハード品質で見劣りする。やり取りのテンポが遅いし、ノイズにも弱い。ただ、セットアップは簡単だし、デバイス連携もスムーズ。欠点はあるけど日常使いの8割はこなせてる。ハードが良くなればGoogle Homeを全部置き換えてもいいくらい。

音声AIへの一番の改良は「終了ワード」を決めたことかな。「パイナップル」って言うまで処理を開始しないようにしたんだ。無線機の「どうぞ」みたいな感じだね。