RTFが小さくても、音声合成の返事は遅いことがある

会話に使う音声合成は、RTFだけでは速さを判断できません。RTFは「音声の長さに対して、作るのに何倍の時間がかかるか」の比率で、1未満なら音声の長さより短い時間で作れます。TARVOの音声合成検証では、これを最低条件に置きました。ただ、会話でのもたつきを大きく左右するのは、全体の処理速度とは別の、最初の音が出るまでの時間（初動）です。

文を丸ごと合成してから返す方式では、文が長いほど初動も延びます。英語と中国語で試した研究では、先頭のかたまりから順に返すストリーミング（できた部分から再生していく方式）で初動を縮めています[1]。音声を段階的に仕上げる計算の回数を減らす方法もあります。ただし、分けすぎて前後の文脈を削ると、自然さが下がったり、入力した文どおりに読めなくなったりすることがあります。

RTFが小さければ返事も速いのか。初動はどう縮めるのか。導入前に初動をどう測ればよいのか。この3つの順に見ていきます。

RTFが小さければ会話の返事も速いのか？

RTFと初動では、測っている時間が違います。ある研究では、RTFを「決まった長さの音声を作るのにかかった時間」から計算しています[3]。たとえばRTFが0.2なら、10秒の音声を2秒で作る計算です（説明のための例です）。文を丸ごと作ってから返す方式では、この2秒がそのまま利用者の待ち時間になります。一方、ストリーミング音声合成の研究では、最初のかたまり（チャンク）が出るまでの時間を初動として別に測り、会話での体験を大きく左右する指標として扱っています[2]。

本記事では、RTFは1台のGPU（音声を作る計算に使う装置）で同時に何本の通話をさばけるかの見積もりに使い、利用者を待たせる時間は初動で測る、と整理します。初動は、品質や話者性（元の人の声らしさ）と並べて要件にします。

初動はどう縮めればよいのか？

出典[1]の方式は、文を丸ごと作らず、先頭のかたまりから返して初動を縮めています。英語と中国語の実験では、文を丸ごと合成してから返すと、初動は文の長さに比例して延びました。先頭から分けて返すと、文の長さに関係なくほぼ一定になったと報告されています[1]。

ただし同じ実験で、後ろの語をまったく見ずに合成すると自然さが下がりました。1〜2語だけ先読みすると、丸ごと合成と同じくらいの評価に戻っています[1]。別の研究でも、分けて返す方式は、普通のテスト文では入力どおりに読む性能がほとんど落ちなかったと報告されています[2]。一方、難しい文では性能が下がり、文脈が失われたことが原因とみられています[2]。分け方の設計は、AIの声は自然になったのに、なぜ返事は遅いのかでも扱っています。

たとえば「お電話ありがとうございます。ご予約の確認のため、お名前をお願いします。」という応答では、声が出始めるまでの時間が方式で変わります。

方式	声が出始めるタイミング
2文をまとめて合成する	2文目まで合成が終わってから
文ごとに分けて順に返す	1文目の合成が終わった時点

本記事では、句点や疑問符で文を分け、短すぎる断片はつなげて順に返す形を勧めます。研究の分け方は1語以上のかたまり単位で、文単位とは粒度が違います。区切り方に決まった正解があるわけではないので、自社の説明文で初動と品質の両方を確かめる条件を決めることになります。

音声を段階的に仕上げる計算では、繰り返しの回数も変えられます。ある研究の条件では、回数を半分にするとRTFも半分近くになり、読み誤りと音質の指標はわずかな変化にとどまりました[3]。この研究が測ったのはRTFで、初動は測っていません。ただ、文を丸ごと作ってから返す方式では、全文の生成時間がそのまま初動になります[1]。この方式なら、回数を減らせば初動も縮む見込みです。品質との兼ね合いは、自社の文で初動と品質を同じ条件で測って決めます。

導入前には初動をどう測ればよいのか？

初動は、自社で使う文を渡してから、最初の音声フレーム（再生できる最初の短い音声データ）が返るまでの時間を測ります。候補どうしを比べるときは、文の長さ、実行の経路、キュー待ち（順番待ちの時間）を含めるかどうかをそろえます。デモには本番に近い長い説明文も入れ、同じ文・同じ経路・同じ測り方で比べます。

音声合成の初動は、会話の1往復にかかる遅れの一部です。音声認識（人の声を文字にする処理）や返事を考える時間も、同じ待ち時間に足されます。音声合成単体ではなく、会話1往復の遅れを変えた実験では、遅れが長いほど好印象や有能さ、また使いたい気持ちが下がり、つなぎの言葉を入れても速い返事のほうが好まれました[4]。処理全体の流れはボイスボットの中身は、4つの技術のリレーで説明しています。

初動の許容ラインは、数値だけでは決めにくいものです。本記事では、利用者役とシステム役の会話台本を収録し、各処理の遅れを再現した動画を作って、会話が成り立つかを確かめる方法を勧めます。最終判断は、個別の計測値と、会話全体を聞いた印象の両方で行います。

まとめ

会話用の音声合成では、RTFが1未満というだけでは足りません。RTFと初動は別の指標で、文を分けて返す方式や、文を丸ごと合成してから返す場合の計算回数で初動は変わります。導入前には、自社の長い説明文を同じ経路で渡して最初の音が出るまでを測り、品質・話者性・コストと一緒に、会話全体で判断します。

よくある質問

RTFが1未満なら、会話用の音声合成として十分ですか？

十分とは限りません。RTFが1未満でも、最初の音が出るまでに時間がかかることがあります。RTFと初動を分けて測り、会話用では両方を条件にします。

ストリーミングにすると初動は短くなりますか？

先頭のかたまりから返す方式にすると、初動を短くできることがあります。ただし分け方の細かさで自然さや読みの正確さが変わるので、自社の文で確かめます。

音声合成の初動はどのように測ればよいですか？

実際に使う文を渡してから、最初の音声フレームが返るまでを測ります。文の長さ、実行の経路、キュー待ちを含めるかどうかをそろえ、同じ条件で候補を比べます。

音声を仕上げる計算の回数を減らすと品質も下がりますか？

回数を減らしても、品質指標の変化がわずかなことがあります。研究では、回数を半分にしても読み誤りと音質の指標はわずかな変化にとどまりました[3]。初期設定を前提にせず、初動と品質を同じ条件で測ります。