LLMが入れ替えたのは、音声対話の「考える」部分だけ

車のナビに「自宅に帰る」と言えば通じるのに、「そろそろ帰ろうかな」では通じない。少し前の音声操作には、こういう歯がゆさがありました。いまのAIは、くだけた言い方でも意図を汲んで返してきます。

この間に入れ替わったのは、音声対話AIを作る4つの技術（聞く・考える・話す・間を計る）のうち、答えを組み立てる「考える」だけです。聞く技術（音声認識）と話す技術（音声合成）は、この入れ替えの対象になっていません。4つの技術の全体は 音声アシスタントと電話の自動応答は、同じ4つの技術でできている に書いています。この記事は、その1つの入れ替えで何が自由になり、代わりに何が新しく壊れるようになったのかを追います。

以前は、命令の一覧表に振り分けていた

LLM以前の音声対話は、音声認識で文字にした発話を、人があらかじめ決めた「意図の一覧表」に振り分ける作りでした（意図分類）。「自宅に帰る」は経路案内、「音量を上げて」は音量操作。こうした作りはコマンド型と呼ばれます。表にある言い方なら速く動きます。近い言い換えもある程度は拾えますが、登録した言い方から離れるほど、正しい意図に振り分けられなくなります。

コマンド型の運用では、表がいつも利用者の言い方の後追いになります。「エアコンつけて」「冷房入れて」といった言い換えを安定して拾うには、意図ごとに例文を足し続けるしかありません。利用者の言い方は無限にあり、表は追いつきません。その代わり、表にない答えを作り出すこともありません。この「想定外の動きをしない」堅さは、業務用途では大きな利点です。

LLMは、文脈で解釈する

いまの音声対話では、意図の一覧表の代わりに、大量の文章から言葉のつながり方を学んだLLMが答えを組み立てます。「えっと、前に頼んだやつ、もう一回お願い」には決まった命令が1つも入っていませんが、前後のやりとりから「さっきと同じものをもう一度頼みたい」のだと解釈できます。例文を足し続ける保守作業は減り、言い方の自由が広がりました。

認識で文字にし、LLMで答えを作り、合成で声にする。この直列の構成は、研究の総説で音声対話AIの基本形として整理されています[1]。実際の音声対話システムの多くも、この構成に頼っていると報告されています[3]。

自由と引き換えに、新しい壊れ方が2つ入ってきた

言い回しの縛りが消えた代わりに、コマンド型にはなかった壊れ方が入ってきました。

• 事実でない答え。LLMは、もっともらしいのに正しくない内容を作ります（ハルシネーション）。コマンド型の一覧表は、誤るとしても別の命令への振り分けか「わかりません」のどちらかで、誤った内容がもっともらしい回答として出てくることはありませんでした。範囲外の発言を止める仕組みは 自動応答のAIは、言ってはいけないことをどう避けているのか に書いています
• 返事の遅れ。聞き終えてから考え、考え終えてから声を作る直列では、各段階の時間が足し算になります。答えが正しくても、声になるのが遅ければ利用者には沈黙が続きます。この綱引きは AIの声は自然になったのに、なぜ返事は遅いのか に書いています

もう1つ、LLMになっても解決していない難しさがあります。言い直しと、話の途中で変わる用件への追従です。「あ、やっぱりいいです、さっきのに戻してください」と言われたとき、どの発言を生かしてどれを取り消すのか。この解釈は、コマンド型でもLLMでも難しいままです。

なお、部品それぞれの数値を上げれば全体が良くなる、とも限りません。組み合わせを入れ替えて比べた評価では、会話の質の客観的な採点と、対話した人の満足度があまり相関しませんでした[3]。部品単体の数値では満足度を予測できないので、選ぶときは組み合わせた状態の対話で確かめる必要があります。

コマンド型は現役で残っている

LLM型が広がっても、コマンド型は消えていません。言い方が決まっている操作と、間違いが許されない操作では、一覧表の「想定外の動きをしない」性質がいまも利点です。定型の操作はコマンド型で受け、表から外れた発話だけをLLMに渡す併用も組めます。

研究は、文字を経由しない方向へ

いまの構成は、音声をいったん文字にしてから考えます。文字を経由することで、声の調子や抑揚といった文字にならない情報が落ちます[1]。そこで、音声を音声のまま理解して答える音声言語モデルの研究が進んでいます[1]。相手の声を聞きながら同時に話す対話を目指す研究も、その延長にあります[2]。認識・LLM・合成を段階ごとに磨く作り方と、音声から音声までを1つのAIで学ばせる作り方が、いまは並んで進んでいます。

業務への導入で決めるのは、結局のところ「どの用件をLLMに任せ、どの用件をコマンド型で受けるか」です。得たのは言い方の自由、手放したのは想定外の動きをしない堅さ。この交換を用件ごとに選び直すところから、音声対話の設計は始まります。