AIの声は、どこまで本人の声と聞き分けられないのか

家族や上司に似せたAI音声が作れるようになると、「声が本人らしい」ことを本人確認の根拠にはしにくくなります。研究を見ると、人の耳にも機械検出にも限界があります。そして、偽音声を見抜けることと、相手が本人だと確認できることは同じではありません。

この不安は、AI架電を業務に使う側にとっても他人事ではありません。企業がAIの声で電話をかける世界は、悪意ある誰かがAIの声で電話をかける世界と地続きだからです。この記事では、だます側ではなく防御側を扱います。合成や変換された声を機械で見分ける技術（ディープフェイク音声検出）が対象です。人の耳は偽音声をどこまで見抜けるのか。機械の検出はどこまで来ていて、なぜ追いかけっこになるのか。検出結果を本人確認にどう使えばよいのか。この順に見ていきます。架電の全体像は AIからの電話は、AIが受ける電話と何が違うのか に記載しています。

人の耳は、偽音声をどこまで見抜けるのか？

AIで声を再現する方法には、文章を特定の人の声で読み上げる方式（音声合成）と、話している声を別人の声に変換する方式（声質変換）があります。前者はボイスクローンとも呼ばれます。どちらの方式でも、聞き手が偽音声かどうかを判定する場面は同じです。

音を人に聞かせて判定を答えてもらう方法を、聴取実験と呼びます。合成音声を対象にした実験では、音声を1本ずつ聞かせた条件で、合成音声を合成だと正しく見抜けたのは73%、真偽を合わせた全体の正解率は70.35%でした[3]。おおむね3〜4回に1回は判定を間違える水準です。合成音声の例を先に聞かせる訓練をしても、確信度を加味した別の指標での改善は3.76ポイントにとどまりました[3]。

なおこの実験が調べたのは「合成音声かどうか」で、知っている人の声かどうかを照合したものではありません。少なくともこの条件では、人の耳だけで安定して偽音声を見分けることはできませんでした。

機械による検出は、どこまで来ているのか？

そこで、人ではなく機械に聞かせる研究が進められてきました。

機械の検出性能は、研究チームが同じデータで競うASVspoofという共通試験で比較されています。最新のASVspoof 5では、53チームの提出結果が評価されました[2]。渡されるデータは、話し手も収録環境もさまざまな音声に、新旧の技術で作られた偽音声を大量に混ぜたものです。

人の耳と機械では、判断に使える手がかりが違います。人は自然さや違和感を手がかりにしますが、検出器は大量の本物と偽物の音声から、判別に役立つ音響的・統計的な特徴を学習します。人にはまったく自然に聞こえる偽音声でも、機械には見分けられる場合があり、ベンチマークには、この差を使って偽音声を検出する手法が多数提出されています[2]。

検出は、なぜ追いかけっこになるのか？

この分野の結論は「解決済み」ではありません。検出性能が落ちる理由は、大きく2つあります。音声そのものが変わることと、検出器が想定していない偽音声が来ることです。

ひとつは、音声を圧縮したり符号化し直したりする処理です。電話では、コーデックと呼ばれる方式で音声を圧縮して回線に運びます。この処理は、誰かに攻撃されなくても起きます。ベンチマークでは、ニューラル圧縮や狭帯域コーデックを通した条件で検出性能の低下が確認されています[2]。電話は、圧縮の影響を受けやすい経路だと本記事では見ています。

もうひとつは、検出器そのものを狙った攻撃です。機械の判断を狂わせる目的で音声に加工を施す手口は、敵対的攻撃（adversarial attack）と呼ばれます。ASVspoof 5では、デジタルフィルタなどを使い、検出器や話者照合器が偽音声を通しやすくなるよう加工する攻撃が、初めて正式な評価項目に加わりました[1,2]。守る側の物差しそのものが、だます側の進化に合わせて作り替えられています。

生成の技術も、毎年新しいものが出てきます。検出器が、学習時に見ていない生成手法にも同じように対応できるとは限りません。ベンチマークでは、生成手法ごとの性能差と、未知の手法への一般化の弱さが課題として報告されています[2]。

検出結果を、本人確認にどう使えばよいのか？

検出器は万能の門番ではなく、学習時と異なる生成技術や音質条件では性能が低下する場合があります。偽音声と判定する基準を厳しくすれば見逃しは減りますが、本物の声を偽と判定する誤り（誤検知）が増え、疑われた本人への負担という別のコストが生まれます。この判定の基準になる値を閾値と呼びます。見逃しと誤検知の重さは業務によって釣り合わないので、閾値は一律には決められません。

だから本記事では、検出器の判定を参考情報として扱い、金銭や個人情報が動く依頼だけは別の経路で確かめる運用を勧めます。いったん電話を切り、事前に登録された番号へかけ直す。社内で定めた、声とは独立した別の認証手段を使う。声だけに頼らない運用との組み合わせが、検出を活かす前提になります。

かける側が誠実さを示す設計（AIであることの開示）は 電話の相手がAIだと、人はどう気づくのか に、他人の声をAIで使う行為の法的な扱いは 学習データに本人の声がなくても、権利侵害になりうる に記載しています。

まとめ

人の耳は、合成音声を3〜4回に1回は聞き分けられませんでした。機械の検出は共通試験で進歩を続けていますが、電話の圧縮や新しい生成手法、検出器を狙った加工によって性能は変わります。そして、偽音声ではないという判定は、本人である証明にはなりません。金銭や個人情報が動く依頼では、登録済み番号へのかけ直しなど、声と独立した本人確認を組み合わせます。

よくある質問

AIで再現した声は、本人の声とどこまで聞き分けられませんか？

聴取実験では、合成音声を1本ずつ聞いて合成だと見抜けた割合は73%で、3〜4回に1回は間違える水準でした。合成の例を先に聞く訓練をしても、改善は限定的でした。人の耳だけで安定して見分けることはできていません。

ディープフェイク音声は機械でどこまで検出できますか？

共通試験ASVspoofでは、人に自然に聞こえる偽音声を機械が見分けられる場合があることが示されています。ただし、電話の圧縮のような音質を落とす処理や、学習時に見ていない新しい生成手法、検出器を狙った敵対的攻撃で性能は低下します。検出器は、学習の範囲から離れるほど当てにしにくくなる道具です。

偽音声ではないと判定されれば、本人だと確認できますか？

できません。検出器が判定するのは合成・変換の痕跡で、相手が本人かどうかではありません。見逃しも誤検知も残るため、判定は参考情報として扱い、金銭や個人情報が動く依頼は、事前に登録された番号へのかけ直しなど、声と独立した経路で本人確認します。