電話の音声認識はなぜ聞き間違えるのか

コールセンターには、通話のあとに内容を記録する仕事があります。応対しながらメモを取り、電話を切ったあとに要約を残します。1件ごとに積み重なるこの作業を、音声を自動で文字にする技術（音声認識）に任せる動きが広がっています。

ところが実際に使ってみると、間違いが思ったより多く残ります。人名が別の言葉になっている。商品名が崩れている。相手が言っていない相槌まで、そのまま文として記録されることもあります。

間違いの出どころは、AIの性能だけではありません。電話回線の作り、通話という話し方、その会社でしか使わない言葉の3つが、それぞれ別の理由で認識を難しくしています。この記事では、公開されている研究をもとに順に説明します。要点は次の3つです。

• 電話は国際標準の時点で音を削っており、音声認識に届く前から手がかりが減っている
• 台本のない会話の誤りは、決まった話題の会話のおよそ2倍になる
• 会社固有の言葉は学習データに乏しく、誤認識が残る前提の運用設計が要る

自動応答全体のどこで音声認識が使われているかは コールセンターの自動応答は何でできているのか で説明しています。

電話の音は、もともと狭い

最初の原因は、AIではなく電話そのものにあります。

電話で声を運ぶには、空気の振動をいったん数値の列に置き換えます。この方式を符号化（コーデック）と呼びます。電話で音を扱う部分には国際的な標準があり、2種類の制限がかけられています。

1つは、音をどれくらい細かく写し取るかです。1秒あたりに音を測る回数をサンプリング周波数と呼びます。1972年に定められた電話の符号化標準では、これが毎秒8,000回と決められています[1]。いまの音楽配信で使われる設定と比べると、ずっと粗い刻みです。

もう1つは、どの高さの音まで運ぶかです。音の高さはヘルツという単位で表し、運ぶ高さの範囲を帯域と呼びます。伝送品質の標準では、電話の帯域はおよそ300〜3400ヘルツと定められています[2]。この帯域の音声はナローバンド（狭帯域）と呼ばれます。人の声にはこの範囲の外側にも成分がありますが、電話に乗る前に削られます。

これほど狭いのは、電話網の設計が古いためです。限られた回線で多くの通話を運ぶために、音は「会話が成り立つ最低限」まで切り詰められました。その設計がいまも土台に残っています。

削られているのは、聞き分けの手がかりでもあります。サ行やハ行のような息の音は、成分が高い側に偏っています。帯域の上限で切り落とされると、こうした音どうしの違いは小さくなります。人間はそれでも前後の文脈から補って聞き取れます。一方、音声認識に渡されるのは、手がかりが減ったあとの音です。同じ言葉でも、静かな場所でマイクに向かった音声と電話を通った音声とでは、認識の難しさが違います。

台本のない会話は、誤りがおよそ2倍になる

次の原因は、話し方です。

音声認識の精度は、正解の文章と見比べて「100語のうち何語を間違えたか」で測ります。この指標を単語誤り率（WER）と呼びます。数字が小さいほど正確です。

電話の通話を集めて比べた研究では、性質の違う2種類の通話で成績が分かれました[3]。初対面どうしが決められた話題について話す通話では、機械の単語誤り率は5.8%でした。家族や友人どうしの自由な会話になると、同じ機械でも11.0%まで悪くなりました。

決まった話題か自由な会話かという違いだけで、誤りはおよそ2倍に増えます。自由な会話には言いよどみが混ざります。話は途中で別の方向へ動きます。言い回しもくだけますし、二人が同時に話し出す瞬間も生まれます。どれも書かれた文章には出てこない形です。コールセンターの通話にもこうした要素は現れるため、認識の難しさは自由な会話の側に近づきます。

相槌も厄介です。人間どうしなら「はい」「ええ」は聞き流されます。機械のほうは、聞こえた音をすべて文字にしようとします。オペレーターの相槌が相手の発言に混ざり、別の言葉として記録されることがあります。誰がいつ話したかを区切る処理は話者分離（ダイアライゼーション）と呼ばれます。ここを取り違えると、発言が話者ごと入れ替わります。どちらも、原稿を読み上げた音声では起きにくい崩れ方です。

同じ研究では、人間の書き起こしの成績も測られています。この仕事を職業にしている人でも、単語誤り率は5.9%と11.3%でした。人間でも条件によって6〜11%ほどは聞き間違えるということです。機械が苦手にしている会話は、人間にとっても難しい会話です。「間違いゼロの文字起こし」は、比較の基準としてそもそも成立しません。

会社の言葉は、辞書にない

3つ目の原因は、言葉の偏りです。

音声認識のAIは、大量の音声と文字の組で学習して作られます。この学習データにほとんど出てこない言葉ほど、間違えます。音として近い候補が並んだとき、めったに使われない言葉は選ばれにくいためです。コールセンターで飛び交う商品名や社内の略語、担当者の名前は、その「ほとんど出てこない」側に集まります。

これに対しては、認識のときに「この通話ではこういう言葉が出やすい」というリストをあらかじめ渡し、認識結果をそちらへ寄せる手法が研究されています[4]。商品名の一覧や顧客名簿を手がかりとして与えるイメージです。与えた語のほうへ認識を傾けるこの仕組みは、文脈バイアス（コンテキストバイアシング）と呼ばれます。リストに載せる言葉が増えるほど効果が薄れるという課題も残っており、いまも改善が続いている領域です。

3つの原因はどれも消せないので、誤認識が残る前提で設計する

• 電話の帯域は国際標準で決まっており、送られてこない音は復元できません
• 自由な会話の難しさは、話し方を変えてもらうわけにはいきません
• 文脈バイアスは、リストに載っていない新しい言葉には効きません

そのため設計の軸は、誤認識をゼロにすることではなく、誤認識が残る前提で備えることに移ります。認識結果をそのまま正式な記録にはせず、要約を保存する前に人が目を通します。金額や日付のように間違いの影響が大きい項目は、通話中に復唱して相手に確かめます。文字起こしは、下書きを作る係として位置づけます。

まとめ

• 電話の音声は標準の時点で帯域が300〜3400ヘルツに絞られており、聞き分けの手がかりが少ない
• 自由な会話の単語誤り率は、決まった話題の会話のおよそ2倍になる。人間の書き起こしでも約6〜11%は間違える
• 会社固有の言葉は学習データに乏しく、文脈バイアスで補う手法が研究されている
• 誤認識が残る前提で、人の確認を挟む設計が必要になる

文字にしたあと、その内容を理解して返事を組み立てるのは、また別の技術です。そちらは 自動応答のAIは、言ってはいけないことをどう避けているのか で説明しています。