Download
1 / 31
310 likes | 487 Views
ゼロ照応解析のための 統語的パタンの学習. 飯田 龍 乾 健太郎 松本 裕治 奈良先端科学技術大学院大学 {ryu-i,inui,matsu}@is.naist.jp FIT2006 9,6,2006. はじめに. 先行詞. 奈良、平安時代に中央政府の最北の出先機関だったとされる国史跡・秋田城跡に派遣された 役人 1 は、サケやマスなどを食材にした郷土料理は （ φ 1 ガ） 口にせず 、あくまで「関西風」の食事にこだわっていたことが （ φ 2 ガ） 分かった 。. ゼロ代名詞. ゼロ代名詞.
E N D
ゼロ照応解析のための統語的パタンの学習 飯田 龍 乾 健太郎 松本 裕治 奈良先端科学技術大学院大学{ryu-i,inui,matsu}@is.naist.jp FIT2006 9,6,2006
はじめに 先行詞 奈良、平安時代に中央政府の最北の出先機関だったとされる国史跡・秋田城跡に派遣された役人1は、サケやマスなどを食材にした郷土料理は（φ1ガ）口にせず、あくまで「関西風」の食事にこだわっていたことが（φ2ガ）分かった。 ゼロ代名詞 ゼロ代名詞 • ゼロ照応解析:文章内のゼロ代名詞を検出し，ゼロ代名詞の先行詞を同定する処理 • ゼロ代名詞: 述語と直接の係り関係にない必須の項を指す省略された要素 • 応用: 機械翻訳や情報抽出で必須の処理 FIT2006 9,6,2006
発表の焦点 • ゼロ照応解析の問題を文内と文間で二つに分割 • 文内ゼロ照応 • 文間ゼロ照応 それぞれ捉える特徴が異なる • 文内ゼロ照応解析の問題を，文の構造情報を機械学習に基づく解析手法と統合することにより，解析精度の向上を目指す 統語的なパタンlocal topicの遷移 太郎は遅刻して（φガ）授業に遅れた。 そこにいたお年寄りたちは、ただボーッとしているような感じの人がほとんどだった。 私は近づくのを躊躇った。しかし、私が近くに行くと、とてもうれしそうに話を（φガ）してくれ、笑顔を見せてくれた。 談話の挿入global topicの遷移 FIT2006 9,6,2006
文内ゼロ照応解析の問題設定 「太郎」を先行詞として同定 • 先行詞同定: 与えられたゼロ代名詞に対して先行詞候補集合から適切な先行詞を同定する処理 • （文内）照応性判定: ゼロ代名詞が文内に先行詞を持つか否かを分類する処理 太郎は遅刻して（φガ）授業に遅れた。 「照応性あり」と決定 (φガ)早く帰りたい。 「照応性なし」と決定 FIT2006 9,6,2006
先行研究 • 人手で作成した規則に基づく手法（村田ら 95, 田村ら 95 ,中岩ら 96 ） • センタリング理論(Groszら 95)などの言語学的な知見に基づく • 南(`74)の節間の主語同一性の分析を利用 • 統語的なパタンを網羅的に記述することは困難 • 機械学習に基づく手法（Soonら 01,関ら 01, Ngら 02, 磯崎ら 04, Yangら 05, 飯田ら 05） • 表層情報からわかる簡単な素性で規則ベースの手法と同程度の精度を得ている • MUCのCOタスク, ACE programのEntity Detection and Trackingタスクのデータを対象に着実に進歩している • 文内と文間を区別せずに処理している FIT2006 9,6,2006
文内ゼロ照応解析の手がかり 先生も遅れたので（φガ）怒られなかった。 NPが～ので(φガ)～する。NPはφの先行詞となりにくい メアリはジョンに（φガ）タバコをやめるように言った。 NPに(φガ)～するように言った。NPはφの先行詞となりやすい NPが(φガ)～するように言った。NPはφの先行詞となりにくい • 統語的なパタンが手がかりとなる 太郎は遅刻をして（φガ）授業に遅れた。 NPが～して(φガ)～する。 NPはφの先行詞となりやすい FIT2006 9,6,2006
提案手法 • 探索先行分類型モデル （飯田ら, 05）で解析 • 既存のゼロ照応解析で利用されている情報に加え統語パタンも同時に学習する FIT2006 9,6,2006
探索先行分類型モデル 村山首相 … 村山首相 独自 社会党 φ 村山首相 φ 最尤先行詞候補 村山首相 照応性判定モデル score ≧θ :照応性あり(文章内に先行詞を持つ) φ 照応解析の問題を2段階で解析 • 先行詞同定 • トーナメントモデル (飯田ら, 03) 2つの先行詞候補の間で勝ち抜き戦を行い先行詞を唯一に決定 • 照応性判定（先行詞が文章内にあるか否かを判定） 村山首相 トーナメントモデル 先行詞候補集合 八日 超党派 独自 社会党 … φ ゼロ代名詞 FIT2006 9,6,2006
探索先行分類型モデル 村山首相 φ 照応性判定モデル score ≧θ :照応性あり(文章内に先行詞を持つ) φ 先行詞同定と照応性判定の各処理で統語パタンを利用する 村山首相 トーナメントモデル 先行詞候補集合 八日 超党派 最尤先行詞候補 独自 村山首相 社会党 … φ ゼロ代名詞 FIT2006 9,6,2006
提案手法 • 探索先行分類型モデル （飯田ら, 05）で解析 • ゼロ照応解析で利用されている情報に加え統語パタンも同時に学習する • 文の構造をどのように表現するか • どのようにして構造から重要な統語パタンを学習するか FIT2006 9,6,2006
文の構造の表現 係り受け解析 メアリは 先行詞 ジョンに ゼロ代名詞 φガ タバコを 述語 やめるように 述語 言った。 ゼロ代名詞と先行詞のパスを抽出 先行詞 ジョンに ゼロ代名詞 φガ 述語 やめるように 述語 言った。 • 文節を単位とした係り受け木で表現 メアリはジョンに（φガ）タバコをやめるように言った。 FIT2006 9,6,2006
文の構造の表現(Cont’d) 内容語の情報を削除 機能語をノードの子にする 木構造から統語パタンを学習 先行詞 ゼロ代名詞 述語 述語 に よう に た 。 先行詞 ジョンに ゼロ代名詞 φガ 述語 やめるように 述語 言った。 FIT2006 9,6,2006
トーナメントモデルで利用する構造 左の候補メアリは 右の候補 ジョンに ゼロ代名詞 φガ 述語 やめるように 述語 言った。 (TL) (TI) 左の候補 ゼロ代名詞 述語 述語 (TR) 左の候補 右の候補 述語 右の候補 ゼロ代名詞 述語 述語 • 2つの候補とゼロ代名詞の関係を学習 FIT2006 9,6,2006
最終的に利用する訓練事例 … … 1 2 n 先行詞候補とゼロ代名詞の関係を表す素性 照応性判定 ラベル:φが文内に先行詞を持つ +1φが文内に先行詞を持たない -1 root … T … 1 2 n 最尤先行詞候補とゼロ代名詞の間の部分木 先行詞候補とゼロ代名詞の関係を表す素性 • 先行詞同定 ラベル:左側が先行詞 +1右側が先行詞 -1 root TR TL TI 2つの先行詞候補とゼロ代名詞の間の部分木 FIT2006 9,6,2006
統語パタンの学習 • カーネル法に基づく手法 • Tree Kernel (Collins and Duffy 01) • Hierarchical DAG Kernel (鈴木ら 05) • ブースティングに基づく手法 • 分類に寄与する部分構造をdecision stumpを弱学習器としたブースティング(工藤ら 04) FIT2006 9,6,2006
目次 • ゼロ照応解析 • 先行研究 • 文の構造情報を利用した解析手法 • 評価実験と考察 • まとめと今後の課題 FIT2006 9,6,2006
評価実験 • 日本語新聞記事中の文内ゼロ照応解析の問題 • 新聞記事コーパスに照応関係タグを付与(http://cl.naist.jp/~ryu-i/coreference_tag.html) 適切にゼロ照応の関係を同定できた個数 再現率= 文内に先行詞を持つゼロ代名詞の個数 適切にゼロ照応の関係を同定できた個数 精度= システムが文内に先行詞を持つと出力したゼロ代名詞の個数 FIT2006 9,6,2006
評価実験 • 5分割交差検定(ガ格のみを対象に) • あらかじめ教える情報: • ゼロ代名詞の出現位置 • 述語と係り関係にある格関係，連体修飾の関係 • 対象となるゼロ代名詞以外の箇所のゼロ照応関係（他の箇所をうまく解析できた場合の上限を見る） • 比較する4つのモデル • Ng and Cardie (02) (ベースラインモデル) • ゼロ代名詞に対してある先行詞候補がゼロ照応関係にあるか否かを分類 • 照応性判定の問題は候補探索の副作用として解く FIT2006 9,6,2006
文内ゼロ照応の先行詞同定の結果 • どちらのモデルに関しても部分構造から統語パタンを学習することにより先行詞同定の精度が向上 • すでに解析精度の良い探索先行分類型モデルに関しても約3ポイントの向上 FIT2006 9,6,2006
文内ゼロ照応の解析結果 • 先行詞同定 + 照応性判定 の再現率-精度曲線 パタンを利用しない(BM_ORG) Ng and Cardie (02)のモデル 木構造(BM_TREE) BM_TREE BM_ORG FIT2006 9,6,2006
文内ゼロ照応の解析結果 • 先行詞同定 + 照応性判定 の再現率-精度曲線 パタンを利用しない(BM_ORG) Ng and Cardie (02)のモデル 木構造(BM_TREE) パタンを利用しない(SCM_ORG) 探索先行分類型モデル 木構造(SCM_TREE) SCM_TREE SCM_ORG BM_TREE BM_ORG FIT2006 9,6,2006
誤り分析(文内のゼロ照応解析) • 文内に直接引用を含む場合に解析を誤る場合が多い • 文の中に異なる談話が埋め込まれる • 文間ゼロ照応の問題に近い 談話の構造を考えなければならない 「選手はそのときの経験を生かしてくれた。（φiガ）言わなくても分かっていた」と古前田監督i。 緑色の候補: システムが出力した先行詞赤色の候補: φiの先行詞 FIT2006 9,6,2006
まとめ • 文の統語的なパタンを学習し，そのパタンを分類に利用するゼロ照応解析モデルを提案した • 先行詞同定，照応性判定それぞれで既存手法より解析精度が向上することを示した FIT2006 9,6,2006
今後の課題 • Kernel法を用いた場合との比較 • Tree Kernel (Collinsら 01)や HDAG Kernel(鈴木ら 05) • 文間ゼロ照応の解析に取り組む • 引用の中の現象を参考に • 述語項構造解析 • 格解析や連体修飾の解析との統合 FIT2006 9,6,2006
タグの一致率 • ゼロ代名詞タグ付与の一致率を調査 • 二人の作業者が137記事を対象にタグ付与 • ガ格のみ：作業者の一致率 84.6% (1670/1975) FIT2006 9,6,2006
ゼロ照応解析全体の解析手順 村山富市首相 先行詞候補集合 八日 超党派 独自 社会党 scoreinter≧θinter … 文間ゼロ照応解析モデル 文間の最尤先行詞候補NPjを先行詞に決定 φ ゼロ代名詞 scoreinter<θinter 照応性なし(φは外界照応) • 文内と文間を2段階で解析 scoreintra≧θintra 文内ゼロ照応解析モデル 文内の最尤先行詞候補NPiを先行詞に決定 scoreintra<θintra FIT2006 9,6,2006
全体の解析結果 緑色の線: 文内と文間を区別しない探索先行分類型モデル(統語パタンは学習しない)赤色の線: 提案手法 • θintraとθinterを変動させて再現率-精度曲線を描く -0.007 0.001 0.004 0.006 0.008 0.011 0.013 θintra= 0.017 0.024 閾値をうまく推定することで既存手法より精度が向上 FIT2006 9,6,2006
推定した閾値を利用して得られた実験結果 FIT2006 9,6,2006
文内ゼロ照応の先行詞同定の結果 • Ng and Cardie のモデル • 「パタンを利用しない パスを利用 木構造を利用」の順で解析精度が向上 • 探索先行分類型モデル • 「パタンを利用しない 木構造を利用」で解析精度の向上 • 機能語を含む部分構造から統語パタンを学習することにより先行詞同定の精度が向上 FIT2006 9,6,2006
文内ゼロ照応の解析結果 • 先行詞同定 + 照応性判定 の再現率-精度曲線 パタンを利用しない Ng and Cardie (02)のモデル パス 木構造 パタンを利用しない 探索先行分類型モデル パス 木構造 FIT2006 9,6,2006
