Download
1 / 18
180 likes | 331 Views
基于维基百科的中文命名实体识别与消歧. 于淼 2012.11.3. 维基百科介绍 ( 现场上网展示 ). 解释型页面 重定向页面 消除歧义页面 分类 信息框. 维基百科介绍. 中文页面： 508,865 篇条目 英文页面： 4,021,627 篇条目 支持 282 种语言，共突破 2100 万个条目. 维基百科数据库的建立. JWPL 开源工具包 11 个表，包含了维基页面几乎所有的信息 数据库的访问 繁简转换 去除噪音. 基于维基百科的命名实体识别. 维基百科中页面的第一段是对条目的概括性描述
E N D
基于维基百科的中文命名实体识别与消歧 于淼 2012.11.3
维基百科介绍(现场上网展示) • 解释型页面 • 重定向页面 • 消除歧义页面 • 分类 • 信息框
维基百科介绍 中文页面：508,865篇条目 英文页面：4,021,627篇条目 支持282种语言，共突破2100万个条目
维基百科数据库的建立 JWPL开源工具包 11个表，包含了维基页面几乎所有的信息 数据库的访问 繁简转换 去除噪音
基于维基百科的命名实体识别 维基百科中页面的第一段是对条目的概括性描述 中国移动通信集团公司（简称“中国移动通信”或“中国移动”）是2000年4月20日成立的中国国有重要骨干企业 李宁（1963年3月10日－），壮族人，生于广西柳州，中国退役体操运动员，企业家 中国是位于亚洲东部的一个地理或国家区域，最早是泛指炎黄子孙在中原建立的国度[4]，至现代国际体系成形后才开始作为国家的通称。
基于维基百科的命名实体识别 “是”后面的核心名词反应了条目的属性 机构、企业家、区域有利于我们判断一个条目是人名、地名还是机构名 抽取维基百科页面的定义特征作为一种额外的知识加入基于CRF的命名实体识别中
抽取维基百科定义特征 1.将维基百科页面的第一段用词法分析工具进行分词并做词性标注 2.抽取第一段第一句话中定义性动词后的最后一个名词 3.若无定义性动词，则抽取第一段最后一句话最后一个名词
将维基百科特征加入CRF 利用AC算法进行正向最大匹配，若词序列是维基百科中的条目则将它的定义特征作为维基特征，若不存在于维基百科中则维基特征置为null
基于维基百科的命名实体识别 此后 t O 此后 t null O 国家 n O 国家 n null O 经贸委 j O 经贸委 j null O 主任 n O 主任 n null O 盛 nr B-PER 盛 nr 经济师 B-PER 华人 nr I-PER 华人 nr 经济师 I-PER 多次 m O 多次 m null O 在 p O 在 p null O 公开 a O 公开 a null O 场合 n O 场合 n null O 讲话 v O 讲话 v null O
基于维基百科的命名实体识别 实验 数据来源：863命名实体评测2004年 训练集：17102句 测试集：2000句
基于维基百科的命名实体消歧 命名实体存在歧义问题 华盛顿 华盛顿州 （地名） 华盛顿总统 （人名） 维基百科中的消歧页面 华盛顿（Washington）通常是指： 乔治.华盛顿，美国第一任总统 华盛顿哥伦比亚特区，美国首都 华盛顿州，美国西北部的州之一
基于维基百科的命名实体消歧 用CRF训练维基百科语料 测试集的词序列进行正向最大匹配维基的消歧词条 计算词序列与消歧页面的文档相似度（VSM） 选出top3相似度最大的维基词条 将相似度*P（人名或地名或机构名|词条） 等9个特征加入CRF训练 利用上下文信息构建双层CRF
基于维基百科的命名实体消歧 布隆伯格 华盛顿哥伦比亚特区 飞赴华盛顿州 华盛顿州 华盛顿 丹泽尔.华盛顿 华盛顿哥伦比亚特区 推销 华盛顿郡 华盛顿镇 自己 华盛顿湖 的 华盛顿镇 想法 乔治.华盛顿 相似度（华盛顿州）*P（人名|华盛顿州) 相似度（华盛顿州）*P（地名|华盛顿州） 相似度（华盛顿州）*P（机构名|华盛顿州） 。。。 相似度（华盛顿镇）*P（机构名|华盛顿镇）
基于维基百科的命名实体消歧 国际乒联于日前公布最新世界排名，男单方面德国波尔续居首位 波尔 地名（南苏丹的都市） 人名（德国的乒乓球运动员） 德国 乒乓球 男单
