医療現場のAI文字起こしツール、監査で「事実誤認」が多発していることが判明

オンタリオ州の監査機関による調査で、医師が導入しているAIを活用した診療メモ作成ツールが、診察内容の基本的な事実を頻繁に誤認していることが明らかになりました。AIによる効率化の裏側で、正確性が大きく損なわれている現状が浮き彫りとなっています。

あくまで個人的な経験だけど、仕事で会議の議事録にLLMを使ってる。先日、うちのCIOがベンダーに対して「約束したのにやってない」と激怒してたんで、間に入らなきゃいけなかった。CIOは会議に出席してなかったからね。実際にはそんな約束なんてしてないし、議論の内容もLLMが詳細な要約に書いたものよりずっとニュアンスが複雑だったんだ。

他にも、話があちこちに飛ぶような議論だと的外れな内容になることがある。例えば、SOCチームと最近のアラートやインシデントへの対応についてやり取りしてる時とか。大筋は合ってても、正確さを求めるなら、マジでとんでもない間違いをするよ。

病院での最初の看護師さんとの問診なんかには、LLMの議事録はすごく役立つと思うよ。主な症状や体重、身長、最近の変化なんかをまとめる分にはね。でも、医師との詳細で専門的なやり取りとなると話は別だ。信頼できないね。コンプライアンス的に病院側が記録を改ざんしたくないなら、トランスクリプト（文字起こし）のみを使うべきだと思うけど、まあ現場の事情なんて分からないけどさ……

「評価されたAIスクライブシステムの60%が、患者のメモで処方薬を間違えていた」という監査報告だけど、僕が見る限り、比較対象となる「人間によるミス率」については触れられてないよね。これまでの医療記録を山ほど見てきた経験から言うと、60%っていうのはまあ普通かな（笑）

仕事で使ってるAIのメモ取りツールは会議自体も録音してて、メモの各項目にタイムスタンプのリンクがあるんだ。それをクリックすると録音の該当箇所に直接飛べるから、自分で確認できる仕組みになってる。HIPAA（医療情報保護法）環境でこういったソリューションを導入するのは複雑だと思うけど、ヘルスケアみたいに重要な分野ではこういう仕組みが不可欠だよな。

自分は全体的に、現在のAI技術の将来に対して悲観派から楽観派に転じたんだけど、モデルが大幅に進化している一方で、基本的な事実関係を平気で間違える今の状況には、どうしても大きな懸念を感じるよ。

例えばClaude Opusで味のプロファイルや好みに合わせてレシピを作るのは魔法みたいにすごいんだ。大さじと小さじの変換を正確にこなせなくなるまではね。まるで映画の中で、登場人物が人間っぽく振る舞ってると思ったら少し違和感があって、実はゾンビで脳みそを食おうとしてた、みたいな感覚に近い。今回のメモ取りの例も同じだね。かなり印象的なやり方でほぼ完璧に動くのに、AIならできて当然だろってレベルの重要なディテールで失敗するんだから。

こういう失敗を見ると、今の世代のAIはうまく管理すれば面白いことができるけど、真の知能を実現するルートには乗ってないんじゃないかって確信が強まる。モデルが進化しても、こういう信じられないくらい基本的な失敗パターンが残り続けていること自体、技術の進歩だけじゃこの問題は解決しないってことを物語ってるよね。

みんなそのうち気付くはずだよ。LLMには意図を汲み取る能力なんてないし、要約やメモ取りみたいなタスクには根本的に信頼がおけないってことに。