300 likes | 515 Views
一个基于图像内容检索的植物识别系统. 学 生:赵朝阳 学 号: A0917057 学院导师:吕肖庆. 北京大学软件与微电子学院 2012-06-08. 总结与展望. 4. 项目背景. 1. 2. 成果演示. 3. 内容要点. 系统介绍. 项目背景 – 问题提出. 植物特征 => 植物相关知识? 植物特征: 整体形状、树叶形状、树干形状等 植物相关知识:归属、生态特征、人文价值等 如何检索? 书本检索? Google 、 Baidu ?. 项目背景 – 现有方法. 书本检索 效率低 不一定能找到
E N D
一个基于图像内容检索的植物识别系统 学 生:赵朝阳 学 号: A0917057 学院导师:吕肖庆 北京大学软件与微电子学院 2012-06-08
总结与展望 4 项目背景 1 2 成果演示 3 内容要点 系统介绍
项目背景 – 问题提出 • 植物特征 => 植物相关知识? • 植物特征: 整体形状、树叶形状、树干形状等 • 植物相关知识:归属、生态特征、人文价值等 • 如何检索? • 书本检索? • Google、Baidu?
项目背景 – 现有方法 • 书本检索 • 效率低 • 不一定能找到 • Google、Baidu? • 查找结果不理想
项目背景 – 我们的方法 • 构建一个图片检索系统 • 基于图像内容+辅助信息 • 图像内容:形状、纹理、颜色等 • 辅助信息:整体形态、树叶形态、树干形态等 • 效率比书本检索要高 • 支持“平民”检索 • 问题聚焦 • 检索范围:北京常见行道树 • 在问题范围和检索准确之间找到平衡
项目背景 – 参考系统 • Google图片搜索 • 基于文本关键词的搜索 • 基于图像低层特征(如颜色等)搜索 • Tineye、淘淘搜&淘宝图像 • 根据用户上传的本地图片或Internet上的图片,自动查找相似的图片,是典型的以图找图的系统 • QBIC • IBM开发 • 关键词检索 • 内容检索:基于模板图像、草图等 • ……
系统介绍 • 图像形状特征检索+辅助信息数据库检索 • 范围:北京行道树(40多种) • 检索方式 • 上传图片 • 选择辅助信息 • 受众 • 大众版:在校的中小学生 • 专业版:具有较强的植物相关的专业知识的爱好者、高校教师或研究人员
系统介绍 – 主要功能 • 自助识别 • 分类检索 • 专家解答(论坛) • 我的收集 • 推荐书籍 • ……
数据库系统进程 TCP 图像搜索引擎进程 web进程(IIS) TCP TCP memcache进程 系统介绍 –总体设计(进程视图)
系统介绍 – 系统实现 • 开发环境 • Windows XP/2003/7 • IIS 6 • Visual Studio 2008 • SQL SERVER 2008 Express • IE 7/8/9 • Firefox 6/7 • DISCUZ!NT • Memcache • …..
系统介绍 – 系统实现 • 前端网站子系统 • 采用ASP.NET在Visual Studio 2008的环境下进行开发,之所以采用ASP.NET而不是其它目前流行且效率较好的网站设计技术如Python、php等是因为考虑到开发人员的熟练程度,虽然网站的效率稍微慢一点点,但是开发的性价比(开发效率vs. 运行效率)却是相对较高的
系统介绍 – 系统实现 • 基于图形识别的内容搜索引擎子系统 • 接口模块。和前端网站子系统的(采用.NET开发) • 核心的图形识别和搜索模块。C++基于Open CV框架开发 • 两个模块交互的接口规格
系统介绍 – 系统实现 • 数据库子系统 • SQL SERVER 2008 Express • T-SQL • 存储过程
系统介绍 – 系统实现 • 论坛子系统 • DISCUZ!NT • 缓存子系统 • memcache
系统介绍 – 系统实现 • 论坛子系统 • 前端网站子系统和后端的基于图形识别的内容搜索引擎子系统的通讯接口基于.NET 3.0的WCF开发,采用的通讯协议为TCP。其通讯接口的规格如下:
总结与展望 • 总结 • 立足于图形识别技术的探索针对北京常见行道树检索的一套实用性较强的检索系统 • 结合图像内容搜索+人机交互等辅助信息 • 支持上传图片和选择辅助信息检索 • 友好界面的植物识别网站 • 距离普通人对于植物识别的要求和大规模的应用还有一段距离 • 展望 • 进一步提高查询结果的精确度 • 改进用户体验 • 智能手机应用、Open API