変換した自分の声を聞きながら話すと、なぜ違和感があるのか

ボイスチェンジャーで変換した自分の声を、ヘッドホンで聞きながら話してみる。どうにも落ち着かない感じが残る。遅れを減らしても、すっきりとは解消しない。

この違和感は、処理の遅れだけが原因だと思われがちです。速くすれば解決するはずだ、という前提で時間と費用がかかることもあります。

ただ、原因は遅れだけではありません。この記事で扱うのは、遅れとは別のところにあるもうひとつの理由です。

遅れそのものの話は ボイスチェンジャーの遅延はどこで生まれるのか を、用途ごとの目安は ボイスチェンジャーの遅延は何秒まで許されるのか をご覧ください。

まず、遅れの面から見ても厳しい

自分の変換後の声を聞きながら話す状況は、補聴器をつけている状態とよく似ています。だから補聴器の研究が参考になる。

ある研究では、耳をふさいだ状態なら0.02〜0.03秒程度が許容範囲とされました。ところが耳をふさがないタイプになると話が変わります。この場合、耳には「口から直接聞こえてくる生の声」と「機械を通って遅れて返ってくる声」の両方が届く。2つが混ざって干渉するので、0.005〜0.006秒より短くしないと受け入れられないと報告されています。

ボイスチェンジャーで自分の声を聞く状況は、まさにこの後者と同じ形をしています。ただし補聴器と決定的に違う点がひとつある。補聴器は自分の声がそのまま返ってきますが、ボイスチェンジャーでは別人の声になって返ってくる。

ここから先が、その「別の理由」です。

自分の声は、2つの道筋で聞こえている

人が自分の声を聞くとき、実は2つの道筋が同時に働いています。

• ひとつめ：口から出た音が、空気を伝わって自分の耳に入ってくる道筋
• ふたつめ：声を出すときの振動が、頭の骨を伝わって直接、耳の奥に届く道筋

録音した自分の声を聞いて「こんな声だったの？」と感じたことがありますよね。あれは録音にひとつめしか入っていないからです。ふだん自分が聞いている自分の声には、骨を伝わる音が混ざっている。

では骨を伝わる音は、どれくらいの大きさなのか。声を出しているときの2つの道筋を分けて測った研究によれば、骨を伝わる音の寄与は、空気を伝わる音と同程度です。おまけの経路ではなく、半分を担っているということです。

さらに厄介なことがあります。骨を伝わる音がとくに強く出るのは、ちょうど声質変換が作り替えたい音の範囲と重なっているんです。生の声は「変換の邪魔にならない場所」でおとなしくしていてはくれない。

耳をふさぐと、かえって大きくなる

ここで多くの方が思いつく対策があります。「変換した声をしっかり聞きたいなら、耳をふさげばいい」。密閉型のヘッドホンや、耳栓のように差し込むイヤホンを使う方法です。

これが、うまくいかない。

耳をふさぐと、骨を伝わって届く自分の声は、かえって大きくなるからです。耳をふさいで「あー」と声を出してみてください。自分の声がこもって大きく響きますよね。あれです。研究では、低い音でおよそ30デシベル大きくなると報告されています。デシベルは音の大きさを表す単位で、30デシベルの差は聞いてはっきりわかるほどの違いです。

つまり、変換した声をよく聞くためにふさぐと、生の声のほうも大きくなる。工夫が足りないのではなく、構造上そうなってしまう。しかも大きくなるのは、さきほどの「変換したい範囲」と重なる部分です。

研究者は、大きなノイズで生の声を消している

この問題の大きさは、研究のやり方から逆算できます。

「変換された自分の声だけ」を被験者に聞かせたい実験では、生の声をかき消すための大きな雑音（マスキングノイズ）を流したり、骨伝導のヘッドホンを併用したりして、生の声を積極的に消す必要があります。そこまでしないと実験の条件が成立しない。

裏を返せば、どうなるか。ヘッドホンをつけただけのふつうの環境では、生の声は消えていないということになります。

遅れを詰めても残るもの

遅れをどこまで縮めても、生の声と変換音声が「2つ同時に聞こえる」状態そのものは消えません。ここまで見てきたとおり、生の声は遮断できませんし、耳をふさげばむしろ大きくなります。

そして、この2つが同時に聞こえることの影響は、公開されている文献では扱われていません。 変換した声が「自分の声」として聞こえるには生の声よりどれくらい大きければいいのか。元の声からかけ離れた声に変えるほど混ざりにくくなるのか。生の声が同時に聞こえていると、遅れの感じ方まで変わるのか。いずれも、測定結果を示した公開文献は確認できません。

まとめ

自分の声を聞きながら使う企画では、遅れの目標だけを追いかけても頭打ちになります。

• 骨を伝わる自分の生の声は、空気を伝わる声とほぼ同じ大きさで聞こえている
• しかもそれは、声質変換が作り替えたい範囲と重なっている
• 耳をふさぐと、その生の声はかえって大きくなる
• 生の声を消すには実験室なみの仕掛けが必要で、ふだんの環境では消えていない

企画を立てる段階では、「何秒まで縮めるか」と並べて「生の声とどう共存させるか」が検討項目になります。