1 / 21

SEWM2007 中文 Web 检索评测

SEWM2007 中文 Web 检索评测. 李静静 , ljj@net.pku.edu.cn 北京大学网络实验室 2007-03. 提纲. 评测任务介绍 CWT200g 测试集构建 评测结果 总结. 评测任务之一：主题提取（ Topic Distillation ）. 对于一个特定主题发现一组关键资源 注重以站点作为资源的查询 要求是在前十个结果中寻找尽可能多的不同站点（用它们的网站的入口页面表示） 判断是否一个好的入口页面 , 应该考查结果是否符合下面三个条件 : 是否大部分切合主题； 提供主题的可靠的信息； 不是一个更大的切合主题站点的一部分.

yan
Download Presentation

SEWM2007 中文 Web 检索评测

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. SEWM2007中文Web检索评测 李静静, ljj@net.pku.edu.cn 北京大学网络实验室 2007-03

  2. 提纲 • 评测任务介绍 • CWT200g测试集构建 • 评测结果 • 总结

  3. 评测任务之一：主题提取（Topic Distillation） • 对于一个特定主题发现一组关键资源 • 注重以站点作为资源的查询 • 要求是在前十个结果中寻找尽可能多的不同站点（用它们的网站的入口页面表示） • 判断是否一个好的入口页面,应该考查结果是否符合下面三个条件: • 是否大部分切合主题； • 提供主题的可靠的信息； • 不是一个更大的切合主题站点的一部分

  4. 评测任务之二：导航搜索(Navigation search) • 主页查询(Home Page finding，HP) • 通常是一个网站的主页 • 指定页面查询(Named Page finding，NP） • 满足用户需求的特定页面 • 评测准则 • 第一个正确答案出现位置的倒数平均值（MRR）

  5. 测试集使用框架

  6. CWT200g文档集 • CWT200g • 根据天网搜索引擎在2005年11月份数据中的627,036个站点为数据基础 • 容量:197GB • 覆盖29,100个网站，37,482,913个网页 • 网页本身是压缩保存, 以天网格式保存

  7. Topic 示例：主题提取(TD) <top> <num>Number:TD217 <title>体育新闻</title> <desc>Description: 足球，篮球，奥运，亚运等等的新闻报道 </top>

  8. Topic 示例：导航搜索(HP/NP) <top> <num>Number:NP890 <title>中国政法大学学工部</title> </top> <top> <num>Number:NP1145 <title>政府网站2005年十件大事</title> </top>

  9. 相关答案集的构建 • 采用pooling方法，pooling的深度比去年加大 • 每个主题1000个待判断的文档 • 相关判断结果 • 保留了56个主题，共1848个相关文档 • 各主题平均答案数 • SEWM2007：33个 vs. SEWM2006：33.5个

  10. 各主题相关答案数分布

  11. pool深度对相关答案数的影响之一

  12. pool深度对相关答案数的影响之二

  13. 2007年提交结果的参赛队

  14. TD评测结果 根据保留的56个主题来评分的结果

  15. 不同pool深度结果与评测结果一致性

  16. NPHP评测结果

  17. HP评测结果

  18. NP评测结果

  19. HP/NP/NPHP的MRR分布图

  20. 总结 • 人工评测耗费的资源较大 • pooling深度对评测结果的影响不大，即答案集不全对评测的影响不大 • 不同的主题对pooling深度的要求不同，采用更好的pooling方法可提高构建答案集的效率

  21. 谢谢！

More Related