自動応答のAIは、言ってはいけないことをどう避けているのか

コールセンターの自動応答（ボイスボットとも呼ばれます）が、解約手数料を実際と違う金額で答える。終わったキャンペーンを、いま申し込めるかのように案内する。しかも、よどみなく言い切るので、聞いている利用者には、誤りだと気づくための手がかりがありません。

問題なのは、答えている大規模言語モデル（LLM）が「分からないことには答えない仕組み」ではないことです。実際の営業時間を知らなくても、「本日は18時まで営業しております」という自然な一文を作ることはできます。こうした、もっともらしいのに事実ではない出力はハルシネーションと呼ばれ、なぜ起きるのか、どう抑えるのかが研究で整理されています[1]。この誤りは電話の応対に限りません。LLMで答えを作る仕組みなら、スマートフォンの音声アシスタントでも同じように起きます。音声対話AIに共通する4つの技術と3つの苦手は 音声AIは、画面が使える場所では意外と出番がない にまとめました。

電話では、事後訂正より事前に止める設計が重要になる

チャットなら、回答を画面に残して確認できますし、あとから運営側が訂正のメッセージを送ることもできます。電話では、聞き逃した箇所や数字をその場で見返せません。そのため、料金や日時のような情報を誤って案内すると、利用者が誤りに気づかないまま行動するリスクがあります。請求額が聞いた金額と合わない。案内された日に窓口へ行くと、受付が終わっている。そこで初めて問い合わせが入り、経緯の確認と訂正に、自動応答を導入した会社の人手が割かれます。

だから電話の自動応答は、誤りが出たあとに直すのではなく、出る前に止める設計にします。止め方は、回答の根拠を与えるRAGと、回答できる範囲を制限するガードレールの2つです。どちらかを選ぶ関係ではなく、役割の異なる防御層として重ねて使います。

防御層	主な役割	それでも残る誤り
検索拡張生成（RAG）	回答に使う根拠を渡す	検索漏れ、無関係な資料の取得、根拠から外れた生成
ガードレール	話してよい範囲と会話の手順を制限する	想定外の入力、止めすぎ、検査漏れ

なお、この2つが効くのは、自動応答のうち答えを組み立てる部分だけです。聞き取りの誤りや読み上げの不自然さは別の対策の話で、応対全体のどこにどの技術が入っているかは ボイスボットの中身は、4つの技術のリレー に記載しています。

止め方1: 記憶に頼らせず、社内資料を検索して答えさせる

自社の最新の料金表や約款を、LLMが最初から正確に知っているとは限りません。そこで、質問のたびに料金表・契約約款・過去のFAQを検索し、関係する記述を回答時にLLMへ渡します。これが検索拡張生成（RAG）で、AIの記憶だけで答えさせるより事実に即した文を作れることが示されています[2]。本記事が勧める実装方針は、答えは検索で見つかった記述だけを根拠にする、という決まりで動かすことです。ただし、RAGを入れれば事実だけを話すようになるわけではありません。検索漏れもあれば、取得した記述から外れた回答を作ることもあります。

導入してみると、手間がかかるのはAIの側より資料の側です。料金表が部署ごとに別々のファイルに散っていれば、検索して渡す材料が揃いません。約款のどれが最新版か担当者にしか分からない状態でも同じです。自動で答えられる質問の範囲は、渡せる資料の範囲を超えません。

RAGの運用では、モデルだけでなく、検索対象の資料を誰が更新するかまで決めておく必要があります。

止め方2: 入口と出口にガードレールを置く

もう1つの止め方は、利用者の発言とAIの答えを毎回検査して、決めた範囲から外れるものを止めることです。この仕組みはガードレールと呼ばれます。道路のガードレールが車の運転そのものには手を出さないように、典型的には、回答を作るLLMの前後に別の制御を置きます。見張るのは、AIに入る発言と、AIから出る答えです（検査の手段には固定ルールのほか、分類モデルや別のLLMを使う実装もあります）。

入口の検査では、業務と関係のない話題や、AIへの指示を書き換えさせようとする入力（プロンプトインジェクション）をはじきます。出口の検査では、できあがった答えが話してよい範囲に収まっているかを、読み上げる前に確かめます。会話の進み方も検査の対象にできます。あらかじめ書いた案内の手順から外れた応答を、外側から止める仕組みが公開されています[3]。本人確認が済む前に契約内容を答えてしまう、といった順番の崩れを止められます。

業務上の線引きに責任を持つのは、導入する会社です。返金の約束や法的な判断にあたる発言は止めて定型文に差し替える。契約変更のような影響の大きい操作はAIだけで完結させない。答えられない質問をどう断るかは文言まで用意し、人への引き継ぎ先と手順もあわせて決めておく。この線引きの作業が、ガードレール導入の本体になります。

完全には止まらず、止めすぎれば負荷が人に戻る

2つの止め方を重ねても、漏れは残ります。検索が肝心の記述を取りこぼせば根拠のある答えは作れませんし、ガードレールも、想定していない聞き方をすべて止められるわけではありません。

逆に、検査を強めれば止めすぎが起きます。「その質問にはお答えできません」が増え、人に引き継ぐ通話が積み上がれば、自動化で減らしたかった負荷が人の側に戻ります。どこまで答えさせて、どこから人に渡すか。線引きでは、誤案内を通した場合の影響だけでなく、正しい回答まで止めた場合の人手や離脱、検査によって増える応答時間も見ます。契約変更や返金のように誤案内の影響が大きい処理ほど厳しく止め、一般的な質問への回答は止めすぎを抑える、という形で業務ごとに決めます。

ガードレールを厳しくして増えるのは、人への引き継ぎだけではありません。検査の処理そのものが、返事を遅くします。検索も検査も、答えを返す前に挟まるためです。チャットなら気にならない遅れが、通話では沈黙として聞こえます。読み上げの側で沈黙がどう生まれ、どう縮めるかは AIの声は自然になったのに、なぜ返事は遅いのか に記載しています。検査を1つ足すかどうかは、防ぎたい誤りと許せる沈黙を天秤にかけて決めることになります。