Appleの新しいSpeechAnalyzer APIを徹底検証！Whisperや旧モデルと比べてどうなの？

Appleが新たに発表した「SpeechAnalyzer API」について、既存のWhisperや前モデルと比較したベンチマーク結果を共有します。

やるじゃん。Appleは27でモデルを改善したって言ってたよね？ベータ版でどんな数値が出るのか見てみたい。

Whisperのsmall/tiny/baseモデルって、もう4年近く前のものだよ（Whisper v2やv3でアップデートされてないし）。今の時点で、これよりマシな比較対象って本当にないの？

数学の講義動画（数学講義の字幕作成が主な用途）でWhisper-Large-V2と比較してみた。こっちの方が圧倒的に速いし、精度もわずかに劣る程度。ライブ文字起こしにはかなり使えるね。ただ、リアルタイム字幕生成はそこまで必要ないから、当面はWhisperのままかな。

Whisperをベンチマーク対象にするのは筋違いかな。というより、NvidiaのNemotronやParakeet、それにMistralのVoxtralやCohere Transcribeみたいに、今やSOTA（最高性能）なモデルは他にもあるしね。ただ笑えるのは、Whisperをラップしただけの有料アプリはこれでおしまいってこと。AppleがmacOS標準の録音アプリみたいなネイティブGUIを搭載したら、みんなが今こぞってVibe codingで作ってるようなラッパーアプリは用済みになりそう。

自分はNvidiaのモデルでオフラインモードのSpokenlyを使ってる。完全にローカルで動くし、しかも無料。超おすすめ。

Voxtralと比較する方が適切だね。自分の会議の議事録でこれほど低いAER（Acronym Error Rate、専門用語の誤変換率）を叩き出せるモデルは、他にはない。仕事で使う専門用語も全部理解・推測してくれるから、修正の手間が一切かからない。Whisperは正直、目も当てられないレベルでひどかった。

Macの録音用にはWillowを推したいな。個人的には「完璧以上の文字起こし」レベル。きれいに整えてくれるし、ほぼ一瞬で終わる。前はSuperwhisperが好きだったけど、Willowに変えたら段違いだった。これ以上良くなる余地があるのか疑問なほど優秀。音声認識ってもう完成された技術だよね。今じゃなくても、5年後には間違いなくそうなる。音声認識系ビジネスが長期的に生き残れるかは分からないけど、消費者としては最高だよ。2030年のAppleのSpeechAnalyzerは、誰もサードパーティ製アプリを使う必要がないくらい進化してると思う。

これって、1年前に買ったiPhone 17でProモデルじゃないから使わせてくれない、あの新しいディクテーションエンジンってこと？

誰か興味ある人いたらと思って、Handy.computerに組み込んでみたよ：https://github.com/cjpais/Handy/discussions/1031 。過去に実装を求める声はあったみたいだけど、PRは出てなかったみたい。この記事に触発されたんだ。

Appleの新しいSpeechAnalyzerは、我々がテストした中で最も正確なオンデバイス音声エンジンだ。LibriSpeechのクリーン音源、ノイズ音源の両方で、我々が提供しているWhisper Smallを含む全Whisperモデルを上回り、かつSmallより約3倍高速に動作した。