音声翻訳を挟むと、会話がターン制になる

研究段階の音声翻訳を日英・英日の双方向で使うと、会話が明らかにターン制になりました。相手の発話が終わり、訳が出て、それから次の人が話します。重なりも相槌も入る余地がなく、やりとりの形そのものが変わります。

この待ちは、翻訳エンジンの計算を速くしても解消しません。文が訳せる状態になるまで、原文を聞く必要があるからです。話し終わりを判定する無音待ちに、さらに語順による待ちが重なります。

日本語から英語へは、動詞が出るまで確定しない

同時翻訳の遅れを測る Average Lagging は、理想的に同期した出力に対して、平均で原文何語ぶん遅れているかを表します[1]。単位が秒ではなく原文の単語数であるところに、この分野が遅れをどう捉えてきたかが表れています。

日本語から英語へ訳す場合は、動詞が文末に来ることが待ちにつながります。「行きます」か「行きません」かは、最後まで聞かなければ確定しません。否定や敬語も文末に現れるため、途中で英語を出すには後半を予測することになります。語順が逆の言語へ訳すときは動詞を待つ必要がある、と原論文も述べています[1]。

語順を保って訳すと、訳文が長くなる

英語から日本語への同時通訳を分析した研究では、原文の語順を保って訳した文と、実際の同時通訳の出力を比べています[2]。

訳し方	1文あたりの語数
原文の語順を保って訳す	28.38 ± 18.66語
実際の同時通訳	18.73 ± 12.08語

語順を保った訳文のほうが、約1.5倍長くなります。語順を維持したまま意味を通すには、同じ語句を繰り返したり、訳す位置を後ろへ送ったりする操作が必要になるためです。

この比較は時間制限を設けずに作られた訳文によるもので、速さを競った結果ではありません。それでも、語順の隔たりが訳文の量にどれだけ表れるかは分かります。原文の並びに沿って訳そうとするほど、言葉数が増えていきます。

待ちを埋める方法は2つあり、どちらも何かを手放す

1つ目は予測です。対応する原文をまだ読んでいない段階で訳語を出させると、先読みが過剰になり、原文にない内容を生成する hallucination が起きると報告されています[4]。ただし同じ研究は、予測に頼らずに待ちを縮める訓練方法も提案しています。待ちを縮めること自体が、常に誤りを増やすわけではありません。

2つ目は省略です。人間の同時通訳者は、要約という技法で情報を落としながら速度を保ちます[3]。理解を妨げない範囲であれば、これは許容される技法として扱われます。速さと網羅性の両方を保っているのではなく、片方を選んでいます。

原文と訳文を画面に出しておくと、話者は自分の発話がどう文字になったかを確認できます。音声認識の誤りはここで見つかります。ただし訳文が正しいかどうかは、両方の言語を読める人でなければ判定できません。

会話の形が変わることを先に見る

待ちを完全になくす方法は、予測か省略のどちらかに寄ります。どちらも訳文の内容を、原文から少しずつ引き離します。

会話がターン制になるのは、設定を詰め切れていないからではありません。訳せる状態になるまで待つという構造から来ています。音声が選ばれるのは、電話や現場のように画面を使いにくい場面でもありますが、そうした場面では待ちの影響がそのまま会話の形に出ます。

導入を考えるときは、エンジンの速さを比べる前に、ターン制のやりとりで成り立つ用件かどうかを見ます。相槌や割り込みが要る場面では、速度を詰めても形は戻りません。