大規模時系列ウェブコーパスを用いた新造語の盛衰のダイナミズムの分析

大規模時系列ウェブコーパスを用いた新造語の盛衰のダイナミズムの分析大規模時系列ウェブコーパスを用いた新造語の盛衰のダイナミズムの分析鍜治伸裕1宇野良子2 東京大学　生産技術研究所1 東京大学大学院　総合文化研究科2

ちょっと大きな狙い

大規模時系列コーパスを活用した言語学とそれを支援する自然言語処理技術大規模時系列コーパスを活用した言語学とそれを支援する自然言語処理技術新造語の通時的な用例気になってググってみるとお父さんをファブるから服全部脱いで 2005 用例の検索 2006 2007 2008 大規模時系列ウェブコーパス（10年100億ページ）言語学者

研究課題 • 言語処理 • 辞書未登録語（⊇新造語）を解析するためのモデル • 言語学 • 通時的な言葉の変化の理論化，および実データにもとづく理論検証 • （データベース） • クローラの設計，および大規模データの管理

新しい知見 • Tsujimura & Davis (2008) • (a)分類 • 外来語由来、漢語由来、 • オノマトペ由来、固有名由来 • (b)特徴 • 音韻・形態的 • 五段活用 • 　　二モーラ以上 • 　　アクセント（＊） • 語用論的 • playfulness, ノリ　[米川、2002] • (c)新造語動詞はconstruction • (意味と形の特殊な結びつき、Goldberg [1995]) • ウェブコーパスの利用によって • (a) 新たなカテゴリーを指摘 • (b) 検証・時間変化に関わる特徴の指摘 • (c)　形と意味の特殊な結びつきの出現を分析 * …(C)V(C)V-C]- | /r/

事例研究：「ファブる」における構文交替の出現事例研究：「ファブる」における構文交替の出現「ファブる」と「ファブリーズする」の相関ファブリーズをかける対象がとる格の変化

新造語の通時的な用例 気になってググってみるとお父さんをファブるから服全部脱いで用例の検索 2005 2006 2007 2008 言語学者大規模時系列ウェブコーパス（10年100億ページ）

品詞に特徴的な文字列 動詞「ググる」名詞「ブログ」前後５文字のベクトル表現（実際には正規化している）右側文脈左側文脈のたこの… のをのみ… （ブログ）　→　（ 3, 1, 1, … 1, 1, 1, … ）

問題：単語と句の区別が困難 他には「この国」「社会と文化」「横に長（い）」などが問題に句の内部構造をモデル化することによって解決を図る

既知語から推定した 文脈ベクトルの平均語幹の文脈ベクトル単語モデル（ググる）動詞（ググる，動詞）（ググる|動詞）（文脈をvMF分布でモデル化）句モデル 1/2 （ブログ|名詞）（ブログ-検索，名詞-名詞）（検索|名詞）単語モデルの幾何平均（３単語以上の場合も同様）品詞は不明なのでmaxをとる．句モデル（分母）の場合は単語境界も不明対数尤度比によるランキングある文字列　　の単語らしさ句モデルの尤度が高いと全体のスコアが低くなる

品詞の推定 文字列　　に以下を満たす品詞　　を与えるただし

尤度比の計算 文字列　　を単語と考えたときのコサイン句と考えたときの構成要素のコサインの平均

獲得例 Juman辞書に登録されていないスコア上位の語

大規模時系列ウェブコーパスを用いた 新造語の盛衰のダイナミズムの分析