AIとの通話はなぜ会話が噛み合わないのか

AIの電話応対には、内容以前の不満がつきものです。まだ話しているのに被せてくる。かと思えば、話し終えたのに沈黙が続きます。一つひとつは1秒に満たないズレでも、積み重なると被せと言い直しが繰り返されます。かけた側は「会話が噛み合わない」と感じ、用件を伝えること自体に手間取ります。

会話では、話す人が入れ替わりながら発言権が渡っていきます。この渡し合いをターンテイキング（発言権のやりとり）と呼びます。人どうしの通話では意識せずに済んでいる渡し合いを、AIとの通話では機械が判定しています。「間」のズレは、答えを考えるのが遅いから起きるとは限りません。相手が話し終えたかどうかを機械が判定していることそのものから生まれています。要点は次の3つです。

• 人の返事は相手が話し終えてから0〜0.2秒で始まるのに、返事の準備には0.6秒以上かかる。人は相手の話の途中から予測して備えている
• 多くの自動応答は沈黙の長さで話し終わりを決めるため、待ちを短くすれば被せ、長くすれば沈黙が延びる
• そこに理解と生成の時間、声が回線を通る時間が足し算で乗る

この記事では、人間の会話の速さ、機械が話し終わりを見つける仕組みの順に説明します。

人の返事は0.2秒で始まるのに、準備には0.6秒以上かかる

比較の基準になるのは、人間側の数字です。世界の10の言語で日常会話を調べた研究があります。質問への返事がいつ始まるかを測ったところ、どの言語でも、返事は相手の発話が終わってから0〜0.2秒の範囲に集中していました[1]。言語によって多少の差はあるものの、その差も平均で0.25秒ほどの幅に収まります。

0.2秒という数字は、人が言葉を組み立てる速さと釣り合いません。別の研究によると、人が発話を準備するには0.6秒以上かかるとされています[2]。相手が話し終えてから考え始めたのでは、間に合わない計算になります。つまり人間は、相手の話の途中から「そろそろ終わる」「趣旨はこうだ」を予測して、返事の準備を始めているわけです。ターンテイキングの自然さは、この予測の上に成り立っています。

機械は沈黙の長さだけで話し終わりを決めている

一方、多くの自動応答は、もっと単純な方法で話し終わりを見つけています。声が出ている区間と出ていない区間を分ける仕組みを発話区間検出（VAD）と呼びます。自動応答はこの検出の結果を見て、沈黙が一定の長さ続いたら、話し終わりとみなすという判定をします。どこを話し終わりの位置とするかを決めるこの判定は、エンドポインティングと呼ばれます。

この方法には、構造的な板挟みがあります。

沈黙の待ち時間を	起きること
短くする	考えながらの言いよどみを「話し終わり」と誤判定し、途中で被せてしまう
長くする	本当に話し終えたあとも待ち続け、沈黙が延びる

「えーと、住所変更をしたくて……あ、あと」の「……」で発言権を取られる現象は、この誤判定によるものです。人間なら、声の調子や文の形から「まだ続く」とわかります。沈黙の長さしか見ていない判定には、その区別がつきません。この、相手の発話への割り込みはバージイン（barge-in）と呼ばれます。被せと沈黙は、別々の不具合ではありません。調整できるつまみは、話し終わりとみなすまでの沈黙の長さ1つだけです。そのつまみを、右に回すか左に回すかの違いが、被せと沈黙として現れます。

しかも電話は、判断材料が音だけの世界です。対面の会話では、視線や身振りもターンテイキングの手がかりになることが知られています。冒頭の10言語の研究でも、話し手が相手を見ながら質問すると返事が速くなる傾向が報告されています[1]。電話には、その手がかりが最初からありません。人間どうしでも、対面より間は取りづらくなります。沈黙の長さだけを頼りにしている機械にとっては、なおさら条件の悪い環境です。

理解と生成と伝送の時間が、待った沈黙の上に積み上がる

話し終わりだと判定してから、AIは聞き取った内容を理解し、答えを組み立て、声を作ります。この3つは順番に走るので、かかった時間はそのまま足し算になります。その合計は、エンドポインティングのために待った沈黙の上に乗ります。遅れが段階の積み上げで生まれる構造は声質変換でも同じで、どの段階で何秒かかるかは ボイスチェンジャーの遅延はどこで生まれるのか で説明しています。

さらに、声が回線を通って相手に届くまでの時間も加わります。通信の分野には、この口元から耳元までの片方向の遅れについての国際的な目安があります。約0.15秒までならほとんどの利用者が快適で、0.4秒を超える計画は避けるべきとされています[4]。これは声が回線を通る時間の目安なので、AIが返事を考える時間はこれとは別に足されます。人間の返事が0.2秒で始まる世界では、待った沈黙も、理解と生成の時間も、回線を通る時間も、そのまま「間」に積み上がります。

予測する判定は動き始めているが、相槌の扱いは残っている

沈黙の長さだけに頼らない研究も進んでいます。対話の音声から「この先どちらが話すか」を途切れなく予測しつづける方式が提案されています。この方式は、通常のパソコン程度の計算能力でも、通話をしながらその場で動くことが示されています[3]。人間がやっている途中からの予測に、エンドポインティングの仕組みを近づける方向だといえます。その先には、聞きながら同時に話すという人間の会話のかたちを、判定の部品ではなくAI本体に学ばせようとする研究の流れもあります。

それでも、人間が無意識にさばいている判断のうち、機械にはまだ難しいものが残っています。相槌なのか発言の始まりなのかの区別が、その一つです。考えている途中の沈黙と本当の話し終わりの区別も、複数の人が同時に話し出した場面の整理も同じです。そのため設計の側は、判定の誤りをゼロにすることを目指しません。被せてしまったときに聞き直しや言い直しへ自然に戻れる対話の流れを用意して、影響を小さく抑える方法が使われます。

まとめ

• 人間の返事は相手の発話終了から0〜0.2秒で始まる。発話の準備には0.6秒以上かかるため、人は相手の話の途中から返事を準備している
• 多くの自動応答は発話区間検出で沈黙を見て話し終わりを決めており、待ちを短くすれば被せ、長くすれば沈黙になる
• そこに理解・生成の時間と伝送の遅れが積み上がる。伝送の片方向遅延には約0.15秒・0.4秒という国際的な目安がある
• 話し終わりを予測する方式は提案されているが、相槌と発言の区別などの課題が残る

電話の自動応答は、聞く仕組みと、考える仕組みと、話す仕組みと、間を計る仕組みでできています。この4つがどう組み合わさって1本の電話になっているかは、ハブ記事 コールセンターの自動応答は何でできているのか にまとめています。