Ian R. Lane †,‡ 、河原達也 †,‡ 、中村哲 ‡ † 京都大学情報学研究科 ‡ ATR 音声言語コミュニケーション研究所

ドメイン外発話の検出における対話コンテキストとトピッククラスタリングの効果Effect of Dialogue Context and Topic Clustering on Out-of-Domain Detection Ian R. Lane†,‡、河原達也†,‡ 、中村哲‡ †京都大学情報学研究科 ‡ATR音声言語コミュニケーション研究所

研究の背景 • 現在の音声言語システムは限られたドメインしか扱えない • ユーザが明確にドメインの知識を持っていない場合システムが扱えない発話を試みる • このドメイン外発話を検出して、ユーザに適切にフィードバックする必要システムのフィードバックにより、ユーザは • 現在のタスクをやり直すか、 • ドメイン外のタスクならば、取り止めることが可能

ドメイン外検出の例 • 例: 音声翻訳システム (旅行対話ドメイン) A)ドメイン内発話が正しく翻訳できない場合ユーザ:「すみませんが、お手洗いはどこにあるか教えてくれませんか」システム:もう一回言い直してくださいユーザ:「お手洗いはどこですか」 B) OODの発話が得られた場合ユーザ:「分類手法について、もっと詳しく説明してください」システム: 注意：　旅行と関係ない発話は翻訳できません…

研究の経緯 • 以前、OOD発話の検出の枠組みを提案　[2004] • システムのドメインは複数のトピックから構成される • OOD検出を以下の二つのステップで行う 1. トピック分類の信頼度を求める 2. ドメイン内検証モデルを用いて検証を行う検証モデルはドメイン内データの削除補間に基づいて学習ドメイン外の実データを必要としない、汎用性の高いアルゴリズム

システム概要[2004] 入力発話 (X) 単語ベクトル空間への写像単語ベクトル(W) 複数トピックへの分類 (1~m) (Support Vector Machines) トピック分類の信頼度　(C(t1|W), ... ,C(tｍ|W)) ドメイン内検証Vin-domain(X) (線形判別モデル) ドメイン内検証のスコア Vin-domain(X) 閾値( )と比較検出の判定 (ドメイン内/OOD)

本研究の位置づけ • 従来：OOD発話検出は単一発話のタスクに限られている • コール・ルーティング[Gorin ’02, Haffner ’03] • 音声入力を用いた Phrasebook [Lane ‘04] 本研究：自然な音声対話に適用 • ATRの音声翻訳システムを介した自然な対話

自然な音声対話に対処するためのOOD検出の枠組みの拡張自然な音声対話に対処するためのOOD検出の枠組みの拡張 • 単一発話タスクと比べると、発話とトピックの関係が明確ではない • 複数の発話でタスクが行われる • 発話は言語的な文と異なる • 一つの発話の中で複数のトピックが存在する可能性がある • 対話コンテクストを導入 • トピッククラスタリングにより、トピック分類の頑健性を向上

入力発話 (X1,…,Xn) 単語ベクトル (WRD) 単語ベクトル空間への変換複数トピックへの分類　(1~m) (Support Vector Machines) トピック分類の信頼度 (TOP) ドメイン内検証 V(X) (線形判別モデル) ドメイン内検証のスコア (VER) 閾値( )と比較検出の判定対話のコンテクストの導入 • 連続する n発話 (X1,…,Xn) に対して以下の３段階で結合

トピッククラスタリング • “Agglomerative hierarchical clustering”により、複数のトピックを含むメタ・トピックを自動的に作成 • クラスタリングで扱うトピック間の距離 dist(ti,tj) : トピック iの学習セット : 入力文（W)からトピック iのSVM超平面までの垂直距離 • 正しい単独トピックが判別できない場合でも、メタ・トピックの信頼度が高い  ドメイン内発話

トピッククラスタリングの例 6 自動的に求めたメタ・トピック 5 4 3 2 1 (ドメイン外に設定されたトピック: sightseeing) クラスタリング停止の閾値トピック間の距離が大きくなる a snack restaurant drink airplane basic communication trouble airport transport contact shopping exchange accommodation

トピッククラスタリングの例 92% 2% 33% (ドメイン外に設定されたトピック: sightseeing) 6 「すみません、市内のホテルまで行きたいですが、どうやって行ったらよいですか。」 5 4 3 2 1 a snack restaurant drink airplane basic communication trouble airport transport contact shopping exchange accommodation

評価実験のシステム • 音声翻訳システムを介した自然対話 • ATR音声翻訳システム • 機械翻訳のバックエンド (JE / EJ) • 音声認識のフロントエンド • OOD検出モジュールを導入するユーザへのフィードバック OOD 機械翻訳のバックエンド JE / EJ ドメイン内 ASR モジュール OOD検出モジュールユーザ

評価実験 • 学習コーパス: ATR-BTEC • ドメイン:旅行会話 • 学習データ: 14 個のトピック、 400k文 (accom, shopping …) • 辞書サイズ: 20k (日本語) / 10k (英語) • 評価セット: 305 対話 • 評価シナリオ: 5 • 一つのトピックをOODに設定する • 残りのドメイン内データで、LMとOOD検出モジュールを学習 • 評価測度: EER (Equal-Error-Rate) • FAR, FRRが同じになるようにドメイン内検証の閾値を設定 • FAR:OODの対話がドメイン内と判別された率 • FRR:　ドメイン内の対話がOODと判別された率

トピッククラスタリングの評価 • 対話の最初の発話を用いてOOD検出 (書き起こし利用) • トピッククラスタリングを用いることで検出性能が大きく向上 • 英語話者でも EER 減少 (18.4%  14.9%)

発話の結合の評価 • 対話の最初のn 発話を用いてOOD検出 (書き起こし利用) • ５つの評価シナリオの平均 WRD:単語ベクトル [結合] TOP:トピック分類の信頼度 [平均] VER:ドメイン内検証のスコア [平均] • WRD: ｎ発話中のトピックの変化を一つの単語ベクトルで表せない • VER: ダイナミックレンジが大きいため, 平均では不適切 • TOP: 検出性能を改善 • 英語話者でも EER 減少 (18.8%  16.5%)

対話コンテクストとクラスタリングの統合 • トピッククラスタリングと発話結合 (TOP) の手法を用いる • ASRの単語誤り率:ドメイン内: 11.8% OOD: 15.5% • 2つの手法を組み合わせることで、検出性能が向上 • 音声認識の場合でも効果を確認

まとめ • 自然な音声対話に対応したドメイン外検出手法 • 対話コンテクストを導入 複数の発話を３段階で結合 • 単語ベクトル、トピック分類の信頼度、ドメイン内検証のスコア • トピッククラスタリング • 正しい単独トピックが判別できない場合ても、メタ・トピックの信頼度が高い  ドメイン内 • 音声翻訳システムを介した自然な対話で評価 • ２つの手法を組み合わせると OOD検出性能を向上することができた

Ian R. Lane †,‡ 、河原達也 †,‡ 、中村哲 ‡ † 京都大学情報学研究科 ‡ ATR 音声言語コミュニケーション研究所