コールセンターの自動応答は何でできているのか

企業への電話の入口が、変わりつつあります。番号をプッシュして選ぶ従来の自動音声応答（IVR）の代わりに、「ご用件をお話しください」と聞いてくるAIが増えてきました。話し言葉で用件を伝えると、AIが質問に答えたり、担当につないだりします。いわゆるボイスボットです。

背景にあるのは、コールセンターという業務の性質です。問い合わせは営業時間外にも届きます。件数は季節や障害で急に増えます。応対には商品と手続きの知識が必要で、覚えた人から辞めていきます。求められるのは、いつでも受けられて、件数が動いても崩れず、品質も一定に保てる体制です。この要求に人の配置だけで応えるのは難しく、応対の一部を自動化する動きが続いてきました。

では、あの応対は何でできているのでしょうか。「電話AI」という1つの製品があるわけではありません。役割の違う4つの技術が、リレーのようにつながっています。 実用的な音声対話システムの多くがこの直列の構成で作られていることは、研究でも整理されています[3]。要点は次の3つです。

• 電話の自動応答は、音声認識・文章生成・音声合成・発話区間検出（VAD）という4つの技術を直列につないだもの
• 前の段階の誤りは後ろの段階へそのまま伝わるため、体験はいちばん弱い段階に引っ張られる
• 難しさの中心は、4段階ぶんの誤りと待ち時間を足した合計を、会話の速さに収めること

この記事では、4つの技術がそれぞれ何をしていて、どこでつまずくのかを順に見ていきます。

4段階は直列につながり、前の誤りが後ろへ伝わる

利用者が「住所変更をしたいのですが」と話してから、AIの返事が聞こえるまでに、裏側では次の4段階が順に走ります。

段階	役割	使われている技術
聞く	音声を文字にする	音声認識
考える	文字から答えを組み立てる	文章生成（大規模言語モデル）
話す	答えの文字を声にする	音声合成
間を計る	いつ聞き、いつ話すかを決める	発話区間検出（VAD）

4つ目の発話区間検出（VAD）は、声が出ている区間と出ていない区間を分ける技術です。自動応答はこの検出をもとに、相手が話し終えた位置と話し始めるタイミングを決めます。

前の段階の出力が、そのまま次の段階の入力になります。最初に聞き間違えれば、後ろの段階は誤った文字を前提に答えを組み立てます。文脈から補えることもありますが、補いきれなければ答えはずれたままです。答えの中身が正しくても、声になるまでが遅ければ、利用者には沈黙が聞こえます。電話の体験は、いちばん弱い段階に引っ張られやすい構造です。

聞く: 音声を文字にする

最初の関門は、音声を文字に起こす音声認識です。電話は音を運べる範囲が狭く決められているため、マイクの前で話すときより手がかりが減ります。そのうえ、自由な会話は決まった話題の会話より認識の誤りが大きく増えることが研究で示されています。商品名や社内用語のような、その会社でしか使わない言葉も苦手です。

なぜそうなるのか、どこまで直せるのかは 電話の音声認識はなぜ聞き間違えるのか で説明しています。

考える: 文字から答えを組み立てる

文字になった用件に答えを組み立てるのが、文章生成です。大量の文章から言葉のつながり方を学んだAI（大規模言語モデル、LLM）が使われます。流暢な受け答えができる一方、もっともらしいのに事実ではない案内を作ってしまう性質があります（ハルシネーションと呼ばれます）。電話では、それがそのまま会社の発言になります。対策として、社内資料を検索して根拠付きで答えさせる仕組み（検索拡張生成、RAG）や、入出力を検査して範囲外の発言を止める仕組み（ガードレール）を組み合わせる方法が提案されています。

その仕組みと限界は 自動応答のAIは、言ってはいけないことをどう避けているのか で説明しています。

話す: 答えの文字を声にする

答えの文字を声に変えるのが音声合成です。聴取実験では、人の録音とほぼ並ぶ自然さに達したと報告されています。一方で、自然な声ほど生成の計算が重く、電話では生成にかかる時間がそのまま沈黙になります。計算を並列にする工夫や、文を作り終える前に先頭から話し始める方式（ストリーミング）で、体感の待ちを縮めるのが現在の作り方です。

自然さと速さの綱引きは AIの声はなぜ自然になったのに、返事は遅いのか で説明しています。

間を計る: いつ話し始めるかを決める

4つ目の段階が扱うのは、発言権のやりとり（ターンテイキング）です。人間の返事は、相手の発話終了から0〜0.2秒で始まります。一方、多くの自動応答は「沈黙が一定の長さ続いたら話し終わり」という判定に頼っています。この待ち時間を短くすれば相手の発話に被せ、長くすれば沈黙が延びます。

この板挟みの正体は AIとの通話はなぜ会話が噛み合わないのか で説明しています。

難しさの中心は、4段階の合計を会話の速さに収めること

4つの技術は、それぞれ単体でも広く使われています。電話の対話として直列につなぐと、各段階の誤りと待ち時間が足し合わさります。この構成では、利用者の言葉を最後まで聞き終え、答えを考え終わってからでないと、声を作り始められません。順番に待つぶんだけ応答が遅くなりやすいことは、研究でも指摘されています[2]。そこで、前の段階が終わりきるのを待たずに、聞き取りと回答づくりと読み上げを一部重ねて進める方式が提案されています。

部品の組み合わせ方そのものも、設計の対象になります。音声認識・文章生成・音声合成の組み合わせを比べた評価では、個々の性能指標の高さと利用者の満足度は必ずしも一致しないと報告されています[1]。数値の良い部品を集めれば良い体験になる、とは限りません。

別の方向の研究も進んでいます。4つに分けず、聞くことと話すことを1つのAIにまとめて学ばせるやり方です。人間のように、相手の声を聞きながら同時に話す対話が目標になります。話者の交替を待つ対話から同時に進む対話へという研究の流れは、調査として整理されています[3]。いまは段階ごとに磨く作り方と、まとめて学ばせる作り方が、並んで進んでいる段階です。

まとめ

• 電話の自動応答は、聞く（音声認識）・考える（文章生成）・話す（音声合成）・間を計る（発話区間検出）の4技術を直列につないだリレーでできている
• 前段の誤りは後段へ伝わりやすく、後段だけを磨いても体験全体が良くなるとは限らない
• 4つの弱点はそれぞれ性質が違う。検討時は「どこでつまずいているか」を段階ごとに切り分けると見通しがよくなる
• 難しさの中心は、4段階を足し合わせた合計を会話の速さに収めること。段階ごとに磨く研究と、1つのAIに統合する研究が並走している

各段階のつまずきの正体は、上でリンクした4本の記事にそれぞれまとめています。