ボイスチェンジャーの遅延を縮めても、自分の声は消えない

ボイスチェンジャーで変換した自分の声をヘッドホンで聞きながら話すとき、遅延をゼロに近づけても残る条件があります。ヘッドホンから聞こえる変換後の声とは別に、話している本人の声も、空気（気導）と頭の骨（骨導）を通って耳に届いているからです。話しているときに自分の耳に届く自分自身の声を、自己聴取音と呼びます。

この自己聴取音は、ヘッドホンをつけるだけでは消えず、耳のふさぎ方によっては低い周波数の音がかえって強く聞こえることがあります。変換後の声と自分自身の声が重なるため、設計では遅延以外の条件も確認することになります。この記事で扱うのは、リアルタイム声質変換（ボイスチェンジャー）で、変換後の自分の声を聞きながら話す使い方です。配信や、発声障害の支援などで使われています。

なぜ遅延を縮めるだけでは足りないのか。ヘッドホンをつけても自分の声が消えないのはなぜか。企画段階では何を確認すればよいのか。この順に、研究の報告から整理します。遅延そのものがどこで生まれるかは ボイスチェンジャーの遅延はどこで生まれるのか で説明しています。

なぜ、遅延を縮めるだけでは足りないのか？

変換後の自分の声を聞きながら話す状況は、補聴器と似た構造をしています。補聴器は、マイクで拾った音を増幅して耳に届ける機器です。耳の穴をふさがない装用形態（オープンフィッティング）では、処理を通って遅れて届く音と、耳の穴から直接届く音の両方が耳に入ります。同じ音が2つ重なる、という構造です。

この構造で許される遅延を調べた補聴器の研究では、正常な聴力の人に外部の話し声を聞かせた条件で、0.005〜0.006秒という短い遅れでも、主観的な煩わしさの評価が「ぎりぎり許容できる」水準まで下がったと報告されています[1]。直接届く音と遅れた処理音が混ざる条件では、遅延が増えるにつれて煩わしさの評価が高くなっています[1]。

この値は外部の声を聞く実験によるもので、自分の声を出しながら聞く場合の許容値そのものではありません。それでも、直接届く音と処理を通った音が混ざる構造では、短い遅れでも煩わしさにつながりうることを示す参考になります。用途ごとの遅延の目安は ボイスチェンジャーの遅延は何秒まで許されるのか で整理しています。

ボイスチェンジャーは、直接届く音と処理を通った音が重なるという点で、補聴器と似ています。ただし違う点もあります。補聴器では自分の声がそのまま返ってきますが、ボイスチェンジャーでは別人の声になって返ってきます。重なるのは、声質の違う2つの声です。だから、遅延を縮める検討と並んで、この重なりそのものをどう扱うかが問題になります。

ヘッドホンをつけても、自分の声が消えないのはなぜか？

自己聴取音は、2つの経路を通って耳に届いています。ひとつは、口から出た音が空気を伝わって自分の耳に入る経路で、気導と呼ばれます。もうひとつは、声を出すときの振動が頭の骨を伝わって直接耳の奥に届く経路で、骨導（骨伝導）と呼ばれます。録音した自分の声が、ふだんの自分の声と違って聞こえるのは、録音のマイクに入るのが気導の音だけだからです。ふだん自分が聞いている声には、骨導の音が混ざっています。

声を出しているときの2つの経路を分けて測った研究では、気導と骨導の寄与は周波数や発音する音によって大きく変わり、骨導が優勢になる帯域もあると報告されています[2]。骨導の影響が大きい周波数帯もあるため、自己聴取音の経路として無視できません。ヘッドホンで気導の音を減らしても、骨導のぶんは残り続けます。

では、耳をしっかりふさげばよいのでしょうか。耳栓のように耳の穴（外耳道）をふさぐ装着では、骨導で外耳道まで伝わった自分の声が外へ逃げられずにこもり、かえって大きく聞こえる場合があります。この現象は閉塞効果（オクルージョン効果）と呼ばれています。耳栓をして声を出すとこもって響くのは、この閉塞効果です。耳の模型を使った測定では、耳栓による音圧の増加は100ヘルツ付近でおよそ30デシベル、1000ヘルツ付近では10デシベルほどと報告されています[3]。デシベルは音の大きさの単位で、30デシベルは大きな増加です。つまり、外耳道をふさぐ装着では、変換した声をよく聞くつもりが、自己聴取音の骨導成分まで増えることがあります。これは耳の構造によって起きる現象です。

自己聴取音がどれだけ抑えにくいかは、聴覚の研究のやり方からも読み取れます。自分の声の聞こえを操作する実験では、イヤホンから音を流すだけでなく、自己聴取音の影響を抑えるための大きな雑音（マスキングノイズ）を流し、骨伝導のヘッドホンまで併用した例があります[4]。通常のヘッドホン装着より強い方法が必要だったことから、ヘッドホンをつけるだけで自己聴取音が消えるとは考えないほうがよい、というのが本記事の読み方です。

企画段階では、何を確認すればよいのか？

遅延をどこまで縮めても、自己聴取音と変換音声が同時に聞こえる状態は残ります。通常のヘッドホンの装着だけでは骨導で届く自分の声を取り除けず、耳をふさげば閉塞効果で低い周波数が強くなることもあるからです。密閉型ヘッドホンを含めたシステム全体で聞こえがどうなるかは、構成ごとに確かめることになります。

二重に聞こえても、発話練習が成り立った例はあります。入力から出力までの遅延が0.077秒のリアルタイム声質変換で、参加者が変換後の自分の声を聞きながら発話練習をした実験では、話し手が発声を調整して、変換音声の自然さと目標の声への近さを高められたと報告されています[5]。遅れた自分の声で読み上げの誤りが増えるような悪影響も、この実験の指標では示されませんでした。

一方で、この実験は話しにくさの感覚を直接測ったものではありません。変換音声を後から聞き直す条件でも同様の改善が見られたため、聞きながら話すことだけの効果とも切り分けられていません。違和感なく聞こえる水準と、話す練習が成り立つ水準は、別の問いです。肝心の、自己聴取音と変換音の重なりが主観的な違和感にどの程度影響するかを直接測った結果は、本記事で引用した文献にはありません。

だから、自分の声を聞きながら使う企画では、遅延の目標を決めるだけでは検討が閉じません。企画を立てる段階では、「何秒まで縮めるか」と並べて「自己聴取音とどう共存させるか」が検討項目になります。

まとめ

変換後の自分の声を聞きながら話す使い方では、遅延を縮めても、気導と骨導で届く自己聴取音と変換音声が重なる状態が残ります。耳をふさぐと閉塞効果で低い周波数がかえって強く聞こえることもあります。企画段階では、遅延の目標と並べて、自己聴取音との共存のさせ方と、実機構成での聞こえの確認を検討項目に入れます。

よくある質問

変換した自分の声を聞きながら話すと違和感があるのはなぜですか？

ヘッドホンから聞こえる変換後の声とは別に、自分自身の声も空気（気導）と頭の骨（骨導）を通って耳に届き、声質の違う2つの声が重なって聞こえます。この重なりが主観的な違和感にどの程度影響するかを直接測った結果は、本記事で引用した文献にはありません。

耳をふさげば自分の声は聞こえなくなりますか？

なくなりません。骨導で伝わる自分の声は残り、耳の穴をふさぐ装着では閉塞効果によって、低い周波数の自分の声がかえって大きく聞こえる場合があります。研究の実験では、雑音や骨伝導ヘッドホンまで併用して自己聴取音を抑えており、ヘッドホンだけで消える前提には立てません。

二重に聞こえる状態でもボイスチェンジャーは使えますか？

使いものにならないとは限りません。遅延0.077秒のリアルタイム声質変換で発話練習が成り立ち、変換音声の自然さと目標の声への近さが高まったという報告があります。ただし話しにくさの感覚を直接測った結果ではないため、実際の構成で確かめることになります。