ボイスボットの中身は、4つの技術のリレー

ボイスボットやAI電話対応と呼ばれる製品の応対がおかしいとき、「AIの精度が悪い」だけでは原因が分かりません。聞き間違えたのか、答えを間違えたのか、読み上げがおかしいのか、会話の間が合わないのか。原因によって直す場所が違います。「ご用件をお話しください」と聞いてくる自動応答は、1つのAIが応対しているのではなく、役割の違う4つの技術の組み合わせで動いています[3]。聞く・考える・話すの3つがリレーのように順につながり、間を計る技術が、いつ聞き終えていつ話し始めるかというリレーの進行を決めます。この4つの役割に分けると、不具合の原因を切り分けられます。

役割	何をするか	使われている技術
聞く	音声を文字にする	音声認識
考える	文字から応答を組み立てる	文章生成（大規模言語モデル）
話す	応答の文字を声にする	音声合成（Text-to-Speech）
間を計る	発話の終わりを判断する	発話区間検出（VAD）

発話区間検出（VAD）がやっていることは、声が出ている区間と出ていない区間を分けることです。この情報を手がかりに、システムは利用者が話し終えたかどうかを判断します。

症状から、壊れている段階を切り分ける

リレーなので、前の段階の出力がそのまま次の段階の入力になります。最初に聞き間違えれば、そのあとの「考える」「話す」は誤った文字を前提に走ります。だからこそ、不具合は症状から起きた段階を切り分けられます。

症状	最初に疑う場所
聞き取りが違う	聞く（音声認識）
答えの中身が違う	考える（文章生成）
声・読み方がおかしい	話す（音声合成）
割り込む・待たされる	間を計る（発話区間検出）

症状と原因は、いつも一対一ではありません。答えの中身は、聞き間違いから崩れることもあります。この表は、最初に確認する場所の当たりを付けるためのものです。

製品資料の数値だけを比べても、この切り分けはできません。音声認識・文章生成・音声合成の組み合わせを入れ替えて比べた評価では、客観的な品質指標と利用者の満足度の相関は弱かったと報告されています[1]。認識率の高い部品を集めた構成が、話していて満足できる応対になるとは限りません。

聞く: 電話の声は、聞き間違いが起きる条件がそろっている

電話を通った声は、マイクで直接拾った声より情報が削られた状態で音声認識に届きます。そこに騒音、自由に変わる話題、商品名や社内の略語のようなその会社でしか使わない言葉が重なって、聞き間違いが起きます。理由の詳細は 電話の音声認識はなぜ聞き間違えるのか にまとめています。

対処の一つは、認識させる範囲を狭めることです。受ける用件を絞った窓口から始め、商品名や顧客名の一覧をあらかじめ音声認識に渡しておきます。語彙の登録に対応した製品なら、これだけでも固有名詞の聞き間違いを減らす手がかりになります。

考える: 流暢な誤答が、会社の回答として届く

文字になった用件から応答を組み立てるのは、大規模言語モデル（LLM）です。受け答えは流暢ですが、もっともらしいのに事実ではない案内を作ることがあります（ハルシネーション）。すでに終了した料金プランを自信を持って案内する、といった形です。電話では、その誤答が会社の回答として相手に届きます。

対策の代表例は、社内資料を検索して根拠付きで答えさせる仕組み（検索拡張生成、RAG）と、入力と出力を検査して範囲外の発言を止める仕組みの組み合わせです。仕組みの中身と限界は 自動応答のAIは、言ってはいけないことをどう避けているのか に記載しています。導入する側が先に確かめるのは、AIより資料の状態です。料金や手続きの説明が最新の文書にそろっているかどうかが、この段階に任せられる範囲を決めます。

話す: 自然な声を求めるほど、処理時間との両立が課題になる

応答の文字を声に変えるのが音声合成です。聴取実験で、合成した声の自然さは人の録音とほぼ並ぶところまで来ています。社名や人名の読みを誤る不具合は、この段階です。一方で、自然さを高めた読み上げは生成の計算が重くなりがちで、電話ではその計算時間が沈黙として聞こえます。実験の数字と、沈黙を縮める工夫は AIの声は自然になったのに、なぜ返事は遅いのか が扱っています。短い沈黙しか置けない窓口では、声の質より生成の速さを取ることになります。

間を計る: 早すぎれば被せ、遅すぎれば待たせる

「電話番号は、090の……」。番号を思い出すあいだの短い沈黙で、自動応答が「かしこまりました」と話し始め、利用者の言葉を切ってしまう。間を計る段階の不具合は、こういう形で現れます。

多くの自動応答は、沈黙が一定の長さ続いたところを「話し終わり」と判定します。ところが人間どうしの会話では、返事は相手が話し終えてから0〜0.2秒で始まります[4]。この速さに近づけようと判定の待ち時間を削れば、考えながら話す相手には割り込みます。割り込みを避けて待ち時間を延ばせば、今度はテンポの良い相手を待たせます。両立しない板挟みの正体と対策は AIとの通話はなぜ会話が噛み合わないのか に記載しています。

遅さだけは、どこか1つの段階のせいにできない

症状から段階を切り分けられる、と書きましたが、例外が1つあります。返事の遅さです。返事までの時間は、発話の終わりを待って判定する時間と、聞く・考える・話すの処理時間の合計になります。だから、音声合成だけを速くすれば解決するとは限りません。前の段階の終わりを待たずに処理を重ねる方式や、聞くことと話すことを1つのAIで学ばせる研究も進んでいます[2,3]。

作り方がどう進んでも、選ぶ側の確かめ方は変わりません。自社に実際に来る用件でテスト通話をして、聞き取り・答えの中身・声・間合いのどれが崩れるかを見ます。崩れた段階が分かれば、設定や渡す語彙で直せる不具合か、その製品では直らない不具合かを、導入の前に切り分けられます。製品名や総合スコアだけでなく、自社の実際の通話で4つの役割を一つずつ確認することが、導入前の比較の出発点になります。TARVOでは、この切り分けを含む音声AIの調査から開発までを受託で承っています。詳しくは AI受託開発 をご覧ください。