議事録の要約からは、話者分離が何を間違えたか分からない
話者分離の誤りをDERの3つの内訳に分け、構成によって何が主要因になるかと、公表値を読むときの確認点を整理します
打ち合わせの録音をマイク1本で取り、既存の文字起こしサービスに通しました。出てきた要約を読んでも、どこが正しくないのかは分かりませんでした。怪しい部分ほど滑らかに丸められるためです。発言が誰かに取り違えられたのか、そもそも文字になっていないのかも、要約からは区別がつきません。判断できたのは、その場にいた参加者だけでした。
話者分離の誤りは1種類ではありません。3種類あり、どれが主要因になるかは構成によって変わります。要約された議事録は、その区別をすべて消します。
話者分離が出すのは「誰がいつ話したか」
話者分離は、音声や映像の記録に話者の識別情報を付け、「誰がいつ話したか」を特定する処理です[3]。音声認識が「何を言ったか」を扱うのに対し、話者分離は「誰がいつ話したか」を扱います。両方を合わせると、話者付きの文字起こしになります。複数人の声が入った録音を後から扱うときに必要になる処理です。
DERは3つの誤りの足し算
話者分離の精度は、DER（diarization error rate）で測られます。DERは次の3種類の誤りの合計を、正解ラベルに含まれる全話者の発話時間の合計で割った値です[3]。同時に話している区間では、話者の人数ぶんが分母に数えられます。
| 誤りの種類 | 内容 |
|---|---|
| 誤検出（false alarm） | 発話でない部分を発話として扱う |
| 聞き落とし（missed speech） | 実際の発話を検出できない |
| 取り違え（speaker confusion） | 話者ラベルを誤る |
「声が似ていると分けられない」という見方が捉えているのは、このうち取り違えだけです。残る2種類は、声の似かたとは別の理由で起きます。
典型的な単一話者クラスタリング型の構成では、各時刻を1人の話者に割り当てるため、重なった発話をそのまま表現できません。クラスタリングの手続きに、1区間に1人が話すという暗黙の仮定があるためです。従来の x-vector などの話者embeddingモデルも、重なりのない単一話者の区間で学習されることが多いという事情があります[1]。複数の人が同時に話し出す場面では、出力されなかった側の発話時間が聞き落としとして数えられます。DERは話者ごとの発話時間で測るため、重なった区間は人数ぶんが評価の対象になります。
重なった話者の一部が、構造的に聞き落としへ加算される
重なりを1話者としてしか出力できない構成では、同時に話した話者の一部が聞き落としとして計上されます。CALLHOMEの2話者による電話会話148本（重なり比率13.0%）で、x-vectorを使った手法のDERは11.53%、内訳は聞き落とし7.74%、誤検出0.54%、取り違え3.25%でした[1]。複数人のヘッドセット音声を混合したAMI Mix-Headsetの会議音声でも、pyannote 1.1のDERは29.7%、聞き落とし16.2%、取り違え8.5%です[2]。録音条件も話者数も違うので値そのものは比べられませんが、聞き落としが取り違えの2倍前後という比は共通しています。話者ごとにマイクがあっても、混ぜてしまえば重なりは残ります。
重なりの多さと誤りの量も連動します。重なり比率を変えた模擬データでは、x-vectorのDERが重なり比率19.5%で19.78%、27.2%で24.46%、34.4%で28.77%でした。各条件は別々に生成された音声ですが、重なりが多いほどDERが高くなっています。論文は、クラスタリングによる手法が重なりを考慮しないため、重なり比率が高いほど聞き落としが増えると説明しています[1]。
重なりを検出して割り当て直す後処理を足すと、内訳は変わります。AMIでは聞き落とし7.9%・取り違え10.9%となり、聞き落としのほうが小さくなりました[2]。DIHARD 3の別の構成でも、聞き落とし9.8%に対して取り違え10.3%です。
ただし後処理を入れれば必ず逆転するわけでもありません。同じAMIでも、重なり対応を入れた別の構成では聞き落とし13.0%・取り違え9.1%で、聞き落としが上回ったままです[2]。どの誤りが最大になるかは、データと重なり検出の精度と後処理の構成で決まります。 「話者分離はこう間違える」と一括りにできる性質ではありません。
公表値は、評価条件とセットで読む
DERの値だけでは、どの構成の何を測ったのかが分かりません。2019年のEEND論文は、その時点の多くの先行研究について、正解の発話・非発話ラベルが使われていたため聞き落としと誤検出がDERに含まれておらず、重なりのある区間も評価から除外されていたと説明しています[1]。除外して測った値は、重なりのある録音で起きることを表しません。
実際の会話には重なりがあります。日本語話し言葉コーパスの対話部分54本では、平均20.1%が2人以上の話している時間でした[1]。重なり比率は、2人以上が話している時間を1人以上が話している時間で割った値です。
話者分離を選ぶときは、対象の録音にどれだけ同時発話があるかを先に見ます。公表されたDERを比べるときは、重なり区間・聞き落とし・誤検出が評価に含まれているかを確認します。そして出力を確かめるときは、要約ではなく話者付きのタイムラインを見ます。要約は誤りの種類を消してしまうので、そこからは何が起きたのか判別できません。