ボイスチェンジャーの遅延は何秒まで許されるのか

「遅延はどれくらいまでなら大丈夫ですか？」

よくある質問ですが、この問いだけでは答えが決まりません。単一の答えが存在しないからです。用途によって必要な水準は80倍ほど違う。同じ「リアルタイム」という言葉で語られていても、中身はまったく別物になります。

この記事では、公開されている研究や国際的な決まりごとをもとに、用途ごとの目安を整理します。遅れがそもそもどこで生まれるのかは ボイスチェンジャーの遅延はどこで生まれるのか をご覧ください。

用途別の目安

使い方	目安
自分の声を聞きながら話す（生の声も聞こえている）	0.005〜0.006秒
自分の声を聞きながら話す（耳をふさいでいる）	0.02〜0.03秒
相手と会話する（通信経路すべて合わせて）	0.15秒未満
話しづらさが最も強く出る	0.2秒あたり
会話として成り立たなくなる	0.4秒超

いちばん上といちばん下で、80倍。用途を決めないまま「遅延を減らしたい」と話し始めると、途中で話が噛み合わなくなります。

いちばん厳しいのは「自分の声を聞く」使い方

意外に思われるかもしれません。いちばん厳しいのは、自分の変換後の声を自分でヘッドホンで聞きながら話すという使い方です。

この状況、補聴器をつけている状態とよく似ているんです。補聴器も「自分の声が少し遅れて耳に返ってくる」。だから補聴器の研究が、そのまま参考になります。

ある研究では、耳をふさいだ状態での許容範囲は0.02〜0.03秒とされました。このうち0.025秒を超えたあたりから「わずらわしい」という評価が出はじめます。さらに厳しいのが、耳をふさがないタイプ。この場合に聞こえてくるのは「生の自分の声」と「遅れて返ってくる声」の混ざったものです。2つが干渉するので、0.005〜0.006秒より短くしないと受け入れられないと報告されています。

0.006秒。これ、研究として公表されている最も速いボイスチェンジャー（約0.02秒）でも届かない水準です。

この使い方には、遅れとは別の問題もあります。変換音声をヘッドホンで聞いていても、骨を伝わって届く自分の生の声は消えません。くわしくは 変換した自分の声を聞きながら話すと、なぜ違和感があるのか に書きました。

「気持ち悪い」と「話せなくなる」は別の話

もう少し遅れが大きくなると、今度は別の現象が起きます。

自分の声が遅れて聞こえると、人はうまく話せなくなる。話す速度が落ち、声が大きく高くなり、同じ音を繰り返したり言い間違えたりする。カラオケでマイクの返りがズレたときの、あの話しづらさです。

研究によれば、この乱れが最も強く出るのは0.2秒あたり。0.1秒でも0.4秒でも0.8秒でもなく、0.2秒前後がいちばん話しにくい。1音節を発音するのにかかる時間とだいたい同じだからだと説明されています。

ここで区別しておきたいのは、さきほどの話とは別の現象だということ。0.005〜0.03秒の話は「気持ち悪い・わずらわしい」という感覚の問題。0.2秒の話は「うまく話せなくなる」という体の問題です。ボイスチェンジャーが実際に使われる0.02〜0.2秒あたりは、ちょうどこの2つの間に落ちます。困ったことに。

会話は「経路ぜんぶ」で0.15秒

通話やオンライン会議のように、相手とやりとりする使い方はどうか。

これには国際的な目安があります。口元から相手の耳元まで、片道0.15秒未満ならほぼ違和感なくやりとりできる。逆に0.4秒を超えると、会話として成り立たないとされています。

ただし、ここに大きな落とし穴があります。この0.15秒は経路ぜんぶを合わせた予算だということ。

インターネットを通る時間、音を圧縮したり戻したりする時間、通信のゆらぎを吸収する待ち時間。こうしたものが、すでに0.15秒の大部分を使っています。声を変える処理に使えるのは、その残りでしかない。「0.15秒まで使える」と読んでしまうと、実際には予算が足りません。

配信では、映像とのズレがもっと厳しい

カメラ映像と一緒に配信する場合は、さらに別の制約が乗ります。音と映像がズレて見えるからです。

しかもボイスチェンジャーの場合、音は必ず遅れる方向にしかズレません。処理に時間がかかるぶん、映像より後ろに下がるだけ。

音と映像のズレをどこまで許容するかには放送分野の基準がありますが、視聴者がズレに気づき始める目安は、会話の0.15秒より短いところにあります。つまり配信用途では、会話より厳しい基準が上限になることがあります。「会話できる程度の遅れなら大丈夫だろう」と見積もると、映像とのズレのほうで引っかかります。

自分の企画はどこに当てはまるか

目標の秒数を決めるには、次の3つが要ります。

1. 変換後の自分の声を、自分で聞きますか？ 聞くなら、いちばん厳しい水準（0.006〜0.03秒）です
2. 相手とリアルタイムに会話しますか？ するなら、経路ぜんぶで0.15秒を分け合います
3. 映像と一緒に届けますか？ 届けるなら、会話より短い側の基準が上限になります

3つとも当てはまるなら、要求される水準はいちばん厳しい側に寄ります。つまり、この記事でいちばん厳しかった条件が、そのまま企画全体の上限になります。

目標の秒数が決まったら、次は「どこを削れば縮むのか」です。手立ては 声質変換の遅延を減らす7つの方法 にまとめました。