自動応答のAIは、言ってはいけないことをどう避けているのか

コールセンターに届く問い合わせは、どれも同じ重さではありません。よくある質問なら誰でも答えられます。一方で、契約条件の例外や過去の経緯がからむ質問に答えられるのは、詳しい担当者だけです。その担当者が席を外すと、待ち行列が伸びていきます。この差を埋める手段として、文章を作るAIに応対の一部を任せる動きが広がっています。大量の文章から言葉の続け方を学んだ仕組みで、大規模言語モデル（LLM）と呼ばれます。

ただ、この自動化には、規模を問わず共通する論点があります。問題は、間違った案内をしてしまったときにどうするかです。 解約手数料を実際と違う金額で答える。存在しないキャンペーンを案内する。どちらも声として記録に残り、会社の発言として扱われます。

この記事では、なぜAIがもっともらしい間違いを言うのか、そして言わせないためにどんな仕組みが使われているのかを説明します。要点は次の3つです。

• 文章を作るAIは正しさではなく続きそうな言葉を選ぶため、事実でない案内を流暢に作れてしまう
• 対策の軸は2つ。社内資料を検索して根拠付きで答えさせる仕組みと、入出力を検査して範囲外を止める仕組み
• どちらも完全ではなく、制限を強めるほど自動で答えられる範囲は狭くなる

自動応答が何でできているか（聞く・考える・話す・間を計るという4つの技術のつながり）は コールセンターの自動応答は何でできているのか で説明しています。

AIは正しさではなく、続きそうな言葉を選んでいる

このAIの間違い方には名前がついています。もっともらしいのに事実ではない内容を作ってしまう現象で、ハルシネーション（幻覚）と呼ばれます。発生の原因と対策を分類したサーベイ研究がまとめられるほど、広く知られた問題です[1]。

なぜ起きるのでしょうか。このAIは「正しいこと」を選んでいるのではありません。選んでいるのは続きそうな言葉です。大量の文章から「この流れならこう続くことが多い」を学んでいるので、それらしい流れの文なら、事実かどうかに関係なく作れてしまいます。営業時間を聞かれた場面で考えてみます。このAIは実際の営業時間を知らなくても、案内らしい文をよどみなく作れます。流暢であることと正しいことは、まったく別だということです。

電話では、この問題が文字の画面より重くなります。画面に出た文章なら、読み返せますし、手元の資料と見比べることもできます。声はその場で消えるので、聞き手には言われた内容が残りません。誤りに気づいたあとの訂正も、根拠の提示も難しくなります。そのため電話の自動応答では、間違いが出たあとに直すのではなく、出る前に止める設計が求められます。

社内資料を検索して渡せば、記憶に頼らせずに済む

対策の1つ目は、AIの記憶に頼らせないことです。

このAIが学んだのは世の中に出回っている文章であって、自社の料金表や約款ではありません。手元にない情報を思い出させようとするかぎり、誤りは残り続けます。そこで、答えさせる前に資料のほうを渡します。質問を受けたら、まず社内の資料（料金表、契約約款、過去のFAQ）から関係する記述を検索します。そのうえで、見つかった記述だけを根拠に答えを組み立てさせます。検索と生成を組み合わせるこの手法は検索拡張生成（RAG）と呼ばれ、AIの記憶だけで答えさせるより事実に即した文が作れることが示されています[2]。

この方式には副産物もあります。答えの根拠がどの資料のどの記述かを示せるため、あとから「なぜこう案内したのか」をたどれます。資料が改定されたときも、AIを作り直す必要はありません。検索する対象を差し替えれば、返ってくる答えも変わります。案内の中身を、資料の管理という日常業務の側に寄せられます。

入口と出口の検査で、話してよい範囲の外を止める

対策の2つ目は、AIの外側に検問を置くことです。

利用者の発言とAIの答えを毎回検査し、決めた範囲から外れるものを止める仕組みをガードレールと呼びます。道路のガードレールが車の走り方そのものには手を出さず、車線の外側だけを受け止めるのと同じで、この仕組みもAIの中身は変えません。変えるのは、範囲の外に出た入力と出力の扱いだけです。

入口では、業務と関係のない話題や、AIに与えた手順を書き換えさせようとする入力をはじきます。後者はプロンプトインジェクションと呼ばれ、想定した範囲の外の答えを引き出す手口として知られています。出口では、作られた答えが話してよい範囲に収まっているかを、読み上げる前に確かめます。こうした検査の条件は、AI本体とは独立に書き足せます。決められた対話の流れから外れさせないところまでAIの外側から制御する仕組みが、公開されています[3]。

コールセンターの文脈なら、たとえばこうなります。返金の約束や法的な判断にあたる発言は止めて、定型文に差し替えます。契約内容の変更のように影響の大きい操作は、AIに完結させず、必ず人につなぎます。答えられない質問に無理に答えさせず、引き継ぐところまで含めて設計します。

安全側に倒すほど、自動で答えられる範囲は狭くなる

この2つを重ねても、リスクがゼロになるわけではありません。検索が肝心の資料を取りこぼせば、根拠のある答えは作れません。その場合は、答えを控えるか人に引き継ぐかを判断することになります。検問のほうも、想定していない聞かれ方までふさげるわけではありません。

そして対策には代償があります。制限を強めるほど、「その質問にはお答えできません」と返す場面が増えます。安全側に倒すほど自動で答えられる範囲は狭くなり、人につなぐ件数が増えて、自動化の効果そのものが薄まっていきます。どこまで答えさせ、どこから人に渡すかという線引きまでが、この技術を使うときの実質的な設計対象になります。

もうひとつ、電話ならではの代償があります。検索も検問も、答えを返す前に挟まる処理です。重ねるほど返事は遅くなります。その遅れは、通話ではそのまま沈黙として聞こえます。安全性を積むほど「間」が延びるという綱引きが、音声の自動応答には常について回ります。

まとめ

• 文章を作るAIは「続きそうな言葉」を選ぶ仕組みのため、もっともらしい誤り（ハルシネーション）を流暢に言うことがある
• 対策の軸は2つ。社内資料を検索して根拠付きで答えさせる検索拡張生成（RAG）と、入出力を検査して範囲外を止めるガードレール
• どちらも完全ではなく、制限を強めるほど答えられる範囲は狭くなる
• 影響の大きい操作は人につなぐ、という線引きまで含めて1つの設計になる

正しい内容が決まっても、それを声としてすぐ届けられるかは別の問題です。読み上げの自然さと生成の遅さがなぜ引き換えになるのかは AIの声はなぜ自然になったのに、返事は遅いのか で説明しています。