電話の音声認識はなぜ聞き間違えるのか

コールセンターの通話を自動で文字にしても、人名や商品名の聞き間違いは残ります。原因は、音声認識モデルの性能だけではありません。電話を通る時点で音の情報が減ること、自由な会話そのものが難しいこと、そして会社固有の言葉が一般の学習データに少ないこと。この3つを分けて考えると、どこまで精度改善を期待し、どこから人の確認を残すべきかが見えてきます。

電話回線を通ると音はどう変わるのか。自由な会話や会社固有の言葉はなぜ難しいのか。誤認識が残る前提でどう扱えばよいのか。この順に説明します。自動応答全体のどこで音声認識が使われているかは ボイスボットの中身は、4つの技術のリレー に記載しています。

電話回線を通ると、音はどう変わるのか？

最初の原因は、AIではなく電話そのものにあります。

電話を通った音声は、マイクで直接録った音声と同じではありません。従来の電話の標準では、音を1秒間に8,000回の間隔で記録します[1]。また、送れる音の高さもおよそ300〜3400ヘルツに限られます[2]。このように扱える音の範囲が狭い音声は、ナローバンド（狭帯域）と呼ばれます。人の声にはこの範囲の外側にも成分がありますが、回線を通る過程で減衰します。より広い帯域を扱う通話規格も別にあるため、実際に扱う通話がどの方式を通っているかの確認が、判断の最初の一歩になります。

減っている成分の中には、似た音を聞き分ける手がかりも含まれます。音声認識に渡されるのは、この帯域が制限されたあとの音です。同じ言葉でも、静かな場所でマイクに向かった音声と電話を通った音声とでは、認識に使える情報が違います。

自由な会話は、なぜ認識しにくいのか？

次の原因は、話し方です。

音声認識の精度は、正解の文章と見比べて「100語のうち何語を間違えたか」で測ります。この指標を単語誤り率（WER）と呼びます。数字が小さいほど正確です。

電話の通話を集めて比べた研究では、性質の違う2種類の通話で成績が分かれました[3]。初対面どうしが決められた話題について話す通話では、機械の単語誤り率は5.8%でした。家族や友人どうしの自由な会話になると、同じ機械でも11.0%まで悪くなりました。自由な会話のデータでは、指定された話題を話すデータより誤りがおよそ2倍でした（2つのデータは、話者どうしの関係など話題以外の条件も異なります）。

差の背景として考えられるのが話し方です。自由な会話には、くだけた言い回しや自己訂正、言いよどみが混ざります[3]。人間どうしなら聞き流される「はい」「ええ」という相槌が、ためらいの音と混同されやすいことも報告されています[3]。

この研究から言えるのは、同じ電話音声でも、会話データの性質によって単語誤り率が大きく変わるということです。だから「認識精度95%」のような数字だけを見ても、自社の電話で同じ精度が出るとは限りません。

同じ研究では、人間の書き起こしの成績も測られています。この仕事を職業にしている人でも、単語誤り率は5.9%と11.3%でした（同じ英語データでの測定です）。機械が苦手にしている会話は、人間にとっても難しい会話です。この結果をそのまま一般化はできませんが、音声認識の評価で「間違いゼロ」だけを合格条件にするのは現実的でない、というのが本記事の整理です。

商品名や社内用語は、なぜ間違えやすいのか？

3つ目の原因は、言葉の偏りです。

音声認識AIは、大量の音声と、それに対応する正しい文章の組で学習して作られます。一般的でない固有名詞や略語は、音声認識が間違えやすい語とされています[4]。学習データにあまり現れない言葉は、音として近い候補が並んだときに選ばれにくいためです。コールセンターで飛び交う商品名や社内の略語、担当者の名前は、この「あまり現れない」側に集まります。

これに対しては、認識のときに「この通話ではこういう言葉が出やすい」というリストをあらかじめ渡し、認識結果をそちらへ寄せる手法が研究されています[4]。商品名の一覧や顧客名簿を手がかりとして与えるイメージです。与えた語のほうへ認識を傾けるこの仕組みは、文脈バイアス（コンテキストバイアシング）と呼ばれます。リストに載せる言葉が増えるほど効果が薄れるという課題も残っており、いまも改善が続いている領域です。

誤認識が残る前提で、どう設計するのか？

どの対策にも限界があります。入力が狭帯域なら、送られてこない音は認識モデルを替えても増えません。利用者に自然な会話をやめてもらうわけにもいきませんし、文脈バイアスで直接支援できるのは、事前にリストへ登録した語句です[4]。

だから設計の軸は、誤認識をゼロにすることではなく、誤ったまま確定したときの影響で確認方法を変えることに移ります（ここからは研究結果ではなく、本記事の実務上の整理です）。金額・日付・契約の意思のように影響が大きい項目は、通話中に復唱して相手に確かめます。要約や記録は、保存する前に人が目を通してから確定します。検索用の全文は下書きとして使い、確定した記録とは区別します。

文字起こしは、影響の大きい項目を確定前に確認するための下書きとして使う。それが、この3つの原因と付き合う現実的な設計です。文字にしたあとの理解と応答は 自動応答のAIは、言ってはいけないことをどう避けているのか に、業務としての位置づけ（後処理）は AIコールセンターと呼ばれているものは、4種類ある に記載しています。

まとめ

電話の音声認識の誤りには、回線で音の手がかりが減ること、自由な会話そのものが難しいこと、会社固有の言葉が学習データに少ないことの3つが関わります。どれも、認識モデルの性能だけで決まる要因ではありません。誤認識をゼロにするのではなく、間違ったときの影響に応じて、復唱・人の確認・下書き扱いという確認方法を分けることが現実的な設計になります。

よくある質問

電話の音声認識はなぜ聞き間違えるのですか？

電話回線を通る過程で音の高さの範囲が狭められ、聞き分けの手がかりが減っているためです。そこに、言いよどみや相槌を含む自由な会話の難しさと、商品名や社内用語が学習データに少ないことが重なります。認識モデルの性能だけが原因ではありません。

コールセンター通話の文字起こしに誤りが残るのはなぜですか？

自由な会話の電話音声は、決められた話題の通話に比べて単語誤り率がおよそ2倍という測定があります。書き起こしを職業にする人でも誤りはゼロになりませんでした。誤りが残る前提で、金額や日付のような影響の大きい項目は復唱で確かめ、記録は人が確認してから確定する設計にします。

商品名や固有名詞の誤認識は減らせますか？

出やすい言葉のリストを認識時に渡して、結果をそちらへ寄せる文脈バイアスという手法が研究されています。商品名の一覧や顧客名簿を手がかりに使うイメージです。ただしリストが大きくなるほど効果が薄れる課題が残り、事前に登録していない固有名詞は拾えません。