Gemini-3.5-Transcribe：次世代の文字起こし技術をその手に

Gemini-3.5を活用した新しい文字起こしツール「Gemini-3.5-Transcribe」が登場しました。高い精度と爆速の処理能力を誇る、エンジニア必見のプロダクトです。

これが字幕の適切なフォーマットにどう対応しているのかすごく知りたいな。今いくつか言語を学習中なんだけど、映画や動画を使って自分の理解と照らし合わせができたら最高なんだけど。

これは本当にすごい！AndroidのGBoardで使えるって書いてあるけど、まだ見当たらないや。Googleの機能にありがちなように、数ヶ月かけて順次リリースされるんだろうね。試すのが待ち遠しい。

「単語誤り率（WER）」が、これまでの文字起こしの問題点を捉えきれているのか疑問だ。一番の不満は、変なところで勝手に改行が入ること。しかも、明らかに間違っていても推敲してくれない。結局自分で修正しなきゃいけないんだけど、Androidのカーソル位置指定は難しいし、大文字を消すと自動でまた大文字になったりして、自分で最初から打ち込むより手間がかかるんだよね。しかも、後になるまで間違いに気づかないことも多いし。

Chirpみたいに「幻覚（ハルシネーション）」の問題がないか気になるな。例えば、Chirpにノイズまじりの音声や無音のデータを渡すと、「分かりません。分かりません。分かりません。」みたいなテキストを10分後のタイムアウトまで延々と吐き出し続けるんだ。あれは本当にひどい。だから、タイムスタンプの精度にはWhisperを、文字起こしの修正にはGemini Flashを使うという構成に戻したんだ。

これでYouTubeの自動字幕が良くなってくれるといいんだけど。

Pixel 11 Proでテストしてるけど、正直あんまり好きじゃないな。深く考えずにダラダラ話すときには便利なんだけど。一番の問題は、特定の言い回しを正確に伝えたいときに、勝手に「簡略化」されて意味が変わってしまうこと。例えば「確認するのをためらったけど、検証しておくべきだった」と言いたいのに「検証しておくべきだった」にされるとか。「ためらった」という前置きは、自分が事前に考えていたということを相手に伝えるためにあえて言っているのに。何度か試したけど、いつも最初の一節が削除されちゃう。

会社の会議で使ったドイツ語、イタリア語、英語の音声を使って、少なくとも20種類のSTTモデルをベンチマークしてみたよ。業界特有の専門用語が含まれていたり、文ごとに言語が切り替わったり、別の言語で会話している最中に単語が混ざったりするような環境でね。満足できるローカルモデルはVoxtral Mini 3bだけだったし、有料APIで少しマシなのはElevenLabsくらいだった。Voxtralはベンチマークのスコアが最高ってわけじゃないけど、実務の問題を解決してくれる。速度面ではベストじゃないかもしれないけど、自分にとっては問題じゃないし。Googleのこの新しいモデルも試したいけど、ローカルで簡単に動かせるものから乗り換えるかは微妙かな。

かなり印象的だね。どのテキストフィールドでも「fn」を押して「画像を生成して…」と話しかけられる機能も素晴らしい。

残念ながら、ElevenLabs Scribeより高くて性能も悪いよ。誰をターゲットにしているのかよく分からない。

Pixel 9でWispr Flowを使ってるけど、気に入ってるよ。Ramblerが謳っている機能をちゃんとこなしてくれるし、RamblerがまだPixel 11でしか使えない一方で、こっちはPixel 9で使えるのがいい。