AIの声はなぜ自然になったのに、返事は遅いのか

「オペレーターにおつなぎしますので、しばらくお待ちください」。自動音声のあの棒読みは、長らく「機械と話している」と一瞬でわかる目印でした。抑揚が平坦で、つなぎ目がぶつ切りで、長く聞かされると疲れる。案内の内容以前に、声そのものが顧客体験を削っていたわけです。

いまのAIの声は違います。文章を声に変える技術を音声合成（TTS）と呼びます。音声合成はこの十数年で様変わりし、短い案内文なら、人の録音との差が採点上ほとんど残らない水準に近づきました。ところが実際にAIの電話応対を受けてみると、別のことが気になります。こちらが話し終えてから、AIは一呼吸置いて話し始めます。声は自然になったのに、「間」はなぜ不自然なままなのでしょうか。この記事では、まず声を作る側の速さから説明します。要点は次の3つです。

• 波形を一から生成する方式によって、合成音声の自然さは採点上プロの録音とほぼ並んだ
• その自然さは計算の重さと引き換えで、電話では生成にかかる時間がそのまま沈黙になる
• 並列に生成する方式とストリーミング合成で待ちは縮むが、先読みが狭いほど抑揚はそろえにくい

自動応答が音声認識・文章生成・音声合成・発話区間検出（VAD）の4つでできていることは コールセンターの自動応答は何でできているのか で説明しています。

声は、録音の切り貼りからAIによる波形生成に変わった

かつての主流は、録音した声を細かく切って並べ直す方式でした。部品として使うのは人の声そのものです。それでも、切ってつないだ箇所で抑揚が途切れるため、文全体では機械らしさが残ります。

いまの主流は、AIが声の波形を一から生成する方式です。波形とは、声が空気を震わせる形をそのまま数値で表したものです。大量の録音から「この文字の並びは、こういう音になる」を学習し、録音に存在しなかった文でも、抑揚のつながった声を作ります。

自然さは聴取実験で測ります。聴取実験は、音を人に聞かせて評価や判定を答えてもらう、音声研究の標準的な方法です。聞いた人が5点満点で自然さを採点し、その平均を取る評価を平均オピニオン評点（MOS）と呼びます。この採点では、波形から生成した合成音声が4.53、プロの話し手の録音が4.58という結果が報告されています[1]。採点上はほぼ並んだことになります。

自然さは、計算の重さと引き換えになっている

ただし、この自然さには計算の重さがついてきます。

波形を一から生成する方式、特に初期のものは、音を少しずつ順番に作ります。前に作った音を踏まえて次の音を決める作り方で、自己回帰と呼ばれます。この積み重ねが、途切れのない滑らかなつながりを生みます。裏を返せば、後ろの音は前の音ができるまで作れません。そのぶん、生成には時間がかかります。

電話応対では、この生成の時間がそのまま沈黙になります。文字で答えが返る対話なら、表示までの数秒は待てます。通話では、同じ長さの沈黙が相手の無反応として意識されます。自然さを取ったら応答が遅くなった、というのがこの技術の最初のトレードオフでした。

並列に生成する方式とストリーミング合成で、待ちは縮む

このトレードオフを縮める工夫が、大きく2系統あります。

1つ目は、作り方を並列にすることです。音を1つずつ順に作るのではなく、文全体の長さや高さの設計図を先に決めます。そのうえで、声のもとになる情報をまとめて並列に生成します。この方式では、自然さの採点を保ったまま生成を大きく速められることが示されています[2]。

2つ目は、作り終わる前に話し始めることです。文の先頭から小刻みに声を作り、最初のかたまりができた時点で再生を始めます。この作り方をストリーミング合成と呼びます。生成そのものが速くなるわけではありませんが、聞き手が沈黙を待つ時間は縮みます。

待ち時間の中身は、公開されている技術資料から見当がつきます。速さを優先した設定の内訳では、声を作る計算そのものはおよそ0.075秒です[3]。ここに通信の往復（0.02〜0.2秒）と、再生を始める前に少しだけ音をため込む時間が足されて、聞き手が感じる待ちになります。声を作る計算より、通信の往復のほうが長くなる場合もあります。

先読みが狭いほど、文全体の抑揚はそろえにくい

この工夫にも代償があります。小刻みに作って話し始めるほど、文の後半を知らないまま前半を読むことになります。

日本語は文末で意味が変わる言語です。その文が質問だとわかるのは、最後の「か」まで来てからです。質問なら文末を上げ、断定なら下げる、といった設計は、文全体を見たあとでなければ決まりません。先読みできる範囲が狭いほど、文全体としてそろった抑揚は付けにくくなります。

声が自然でも、読みを外せば案内としては誤りになる

速さとは別の軸で、読み方の問題も残ります。「10/3」は日付とも分数とも読めます。「市場」には「いちば」と「しじょう」の2通りの読みがあります。文字を音にする前に、数字・記号・漢字の読みを確定させる工程が必要です。この工程をテキスト正規化と呼びます。ここを外すと、どれだけ声質が自然でも、案内としては誤りになります。金額や日付を多く読み上げるコールセンターの用途では、声の自然さと同じくらい、この読みの正確さが効いてきます。

届く音質の上限は、回線側で決まる

丁寧に作った声も、電話回線を通る時点で音の一部が間引かれます。電話がもともと狭い帯域で音を運ぶ仕組みであることは、電話の音声認識はなぜ聞き間違えるのか で説明しています。聞かせる経路が電話である限り、相手に届く音質の上限は、合成側の工夫では超えられません。

自然さと速さの配分は、案内の種類で分けられる

自然さと速さは、いまも綱引きの関係にあります。ここまでの工夫で、同じ自然さのまま待ちを短くできる範囲は広がりました。それでも、片方を最大まで伸ばせばもう片方が引かれる構図は残っています。

電話応対では、この綱引きを案内の種類で分ける構成もあります。毎回同じ定型の挨拶は録音済みの音声で流し、内容が変わる回答だけをその場で生成する形です。即時性と柔軟さをどこに配分するかという選択になります。

まとめ

• 声を作る技術は、録音を並べ直す方式からAIが波形を生成する方式に変わり、採点では人の録音とほぼ並んだ
• その自然さは計算の重さと引き換えで、電話では生成の時間がそのまま沈黙になる
• 並列に生成する方式と、作り終わる前に話し始めるストリーミング合成で、待ち時間は縮んだ
• ただし先読みが狭いほど文全体の抑揚は付けにくく、自然さと速さの綱引きは残る

声が速く返せるようになっても、「いつ話し始めるべきか」の判断はまた別の技術です。相手が話し終えたことをどう見きわめるかは AIとの通話はなぜ会話が噛み合わないのか で説明しています。