数字图书馆前沿技术

1. 刘炜 数字图书馆前沿技术

2. 主要内容 • 资源整合 • Web2.0 • 情报检索前沿技术

3. 资源数字化 纸质资源 ILS 开放资源获取 租订数字资源 数字图书馆1.0 网站建设 用户 参考咨询 读者管理 人员培训

4. 资源数字化 社区 用户 开放资源获取 租订数字资源 数字图书馆2.0 知识组织 门户建设 Web服务 资源整合

5. 为什么要资源整合？ 参照美国肯特州立大学的曾蕾教授摘译自Lorcan Dempsey “Terms and conditions ... libraries, subject terminologies and the web 2004”改编。原文http://www.oclc.org/research/presentations/dempsey/dewey_20040316.ppt

6. Synthesise, Local CSUSM, David Walker From: Lorcan Dempsey’s presentation

7. From: Lorcan Dempsey’s presentation

8. 资源整合(互操作)三个方面 • 技术方面：模型，格式，协议，安全 • 内容方面：数据，元数据，语义表达 • 社会方面：版权，存取规定，支付，认证

9. 资源整合(互操作)三种方式 • 联邦搜索（Federation） • Z39.50/ZING • 非标准(页面分析) • 元数据收割（Harvesting） • OAI/ORE • 本地获取（Gathering） • Google等搜索引擎 • 其它方式：聚合(RSS)、登记注册 • 一种特例(并非整合，只是链接) • OpenURL

10. 资源整合 • 基于协议标准 • Z39.50/ZING • OAI-PMH/ORE • OpenURL • Web Services • 非标准的整合 • 页面分析 • “前”标准：Web2.0方法

11. Z39.50/ZING

12. Z39.50/ZING • SRW/SRU：SRW（Search/Retrieve for the Web）和SRU（Search/Retrieve URL Service） • CQL：Common Query Language通用查询语言 • ZOOM：Z39.50 Object-Orientation Model Z39.50面向对象模型 • ez3950：Simple Implementation of Z39.50 over SOAP using XML Encoding Rule (XER) • ZeeRex

13. OAI-PMH/ORE

14. ORE • 对象重用和交换Object Reuse and Exchange • 2006年10月提出，计划2008年9月完成 • 梅隆基金会和NSF共同资助

15. 与OAI-PMH的关系 • ORE并非OAI-PMH的替代 • OAI-PMH以元数据为核心，ORE以对象（资源）为核心

16. ORE项目组成 • Coordinators: • Carl Lagoze (Cornell) • Herbert Van de Sompel (LANL) • ORE Advisory Committee • UK representatives include Liz Lyon (UKOLN) • ORE Technical Committee • 6 out of 14 members from the UK • ORE Liaison Group • UK representatives include Rachel Heery (UKOLN)

17. ORE目标 • 开发一种标准和协议，使得复合数字对象能够跨越它们所属的资源库、代理或服务进行互操作。 • Develop, identify, and profile extensible standards and protocols to allow repositories, agents, and services to interoperate in the context of use and reuse of compound digital objects beyond the boundaries of the holding repositories.

18. 主要概念 • 复合数字对象Compound digital objects具有一定联系的资源的聚集(bounded aggregations of resources and their relationships) • 复合数字对象包括: • 视图（Views） (即“表现(presentations)”) • 组件（Components） • 上述复合数字对象、视图及组件都必须明确地标识或参照(unambiguously identified and referenced)，即它们都是“资源”。

19. 复合数字对象举例

20. 如何被ORE表示 • ORE resource • “the first-class identifiable object” • acts as the access point for service requests upon the aggregation • formally expresses the boundaries of the aggregation • ORE aggregation • has a defined boundary, as expressed by the ORE resource • and may have relationships to resources external to the aggregation • the ORE aggregation is described by the • ORE representation • a formal description of the members of the ORE aggregation that makes up the ORE resource • “second-class objects” identifiable only via the ORE resource that they represent

21. ORE数字对象模型

22. 关系 • 内部关系 • hasPart • hasView • 相互关系 • hasRelationshipTo • 允许在领域应用中进一步定义，如：并列关系、派生关系、引用关系等

23. 举例：外部关系

24. 数据模型

25. ORE服务 • OAI-ORE服务是ORE模型的交换实例 • 三种类型： • 收割Harvest：请求对于一组ORE资源中ORE模型的批量响应实例； • 获取Obtain：请求某一ORE资源的一个实例响应； • 注册Register：请求对一个ORE聚合增加新节点或者关系。 • 其它服务

26. OpenURL

27. OpenURL • 在Web间传递信息的机制 • 定义 • 应用于Web超链接的一种语法标准。 • 通过预先定义的标签（Tag），增进Web超链接能力。 • 规范 • 定义一个标准的因特网数据链接语法。 • 让标靶（Target）可以轻易解析数据源（Source）所传送的请求。 • 而数据源（Source）能够很容易地对服务提供者（Target）送出深度链接服务要求。

28. OpenURL 北京大学研究生课程进修班 2005 上海

29. 示例：国内全文库整合情况 来自：潘晓玲 2007硕士毕业论文《数字图书馆非标准数据资源整合检索系统的研究与实现》

30. 元数据与本体系统的建立 基于本体的元数据登记注册系统 用户对本体互操作系统的使用 元数据元素(应用纲要)(AP) 领域应用规范 实体关系 数据元素 映射规则 领域词表 登记/注册/建库 注册/登记/建库 XMLRDF/S RDF/SOWL 主体(代理) 主体(代理) 应用本体 元数据登记注册系统MDRS 4.本体查询(REST/SOAP) 8.元数据元素/集查询(REST/SOAP) 本体映射/转换 5a.5b.提问式处理 查询接口 查询接口 元数据库MDR 9.获得A的元数据方案 2.用户信息查询 登记B的元数据方案 7.查询A的元数据方案 OAI收割 1.整合查询 6b.获得元数据 6a.直接提问/获得元数据(SRW/U) 10.获得A的元数据 元数据系统A 元数据系统B 读者/用户 3.安全认证 查询接口 查询接口 查询接口 对象库A 对象库B 图书馆 11a.11b.获得数字对象 一个理想的数图互操作模型

31. Web2.0与图书馆

32. e-mail Search Browse/ purchase items Browsed / purchase books IM Online banking Read a blog Online question service Used chat rooms Search/borrow from library site Read e-books Dating site Social networking Social media Created Web page/site Contributed other's site Blogged or online diary/journal Business-related social networking What We Do Online Browsing 93% 85% 77% 56% 51% Interacting 58% 45% 40% 21% 20% 15% 10% Creating 28% 28% 20% 20% 17% Total General Public 6% From: Lorcan Dempsey’s presentation 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

33. Network level workflow Google, … Personal Workflow RSS, toolbars, .. Institutional Workflow Portals, CMS, IR, … … Integrated local user environment? Library web presence Resource sharing, … library Consumer environments Management environment Bought Licensed Faculty& students Digitized Aggregations Resource sharing From: Lorcan Dempsey’s presentation

34. Web2.0下的个人信息环境 From: Lorcan Dempsey’s presentation

35. 作为一个场所 有固定的咨询专家 宏富的资源馆藏 各类服务系统的支持 From: Lorcan Dempsey’s presentation 图书馆的职能在数字网络时代并没有改变

36. Web 2.0主要“原则” • Web 作为平台 • 获得集体智慧Collective Intelligence • 以数据为核心Data is the next “Intel Inside” • 永远的测试版（由于定位于服务而非软件） • 轻型商务模式Lightweight business models • 软件独立于设备Software above the level of a single device • 丰富的用户体验RUE

37. Web2.0与资源整合相关的技术 • Microformat • Tag/Folksonomy • Mashup • Greasemonkey • CoINS • unAPI • Wedget/gadget • OpenID • REST

38. Web/语义Web的结构 该图片创建者为Tim Berners-Lee

39. 资源创建者 创建 数据 包含 数字对象 由句柄(调度）系统创建 句柄/调度码 包含在 仓储 被存取 句柄注册于 句柄服务器 RAP(仓储存取协议) 数字图书馆微观结构：KWF 左图：Kahn/Wilensky结构 下图：Warwick 结构

40. 元数据的描述层次

41. Microformat微格式 • 为特殊应用而制定的特殊格式； • 可以插入网页或XML元数据中，被收割和索引； • 数据可被重用、与具体应用无关；也可自定义，完全取决于应用； • 例如：XFN, hcalendar, hcard, rel tags, rel license, lists and outlines, 等等…http://microformats.org/

42. 微格式举例 • People and Organizations • hCard • Calendars and Events • hCalendar • Opinions, Ratings and Reviews • VoteLinks, hReview • Social Networks • XFN • Licenses: • rel-license • Tags, Keywords, Categories • rel-tag • Lists and Outlines • XOXO http://microformats.org/about/ http://microformats.org/wiki/Main_Page

43. 微格式举例 <div class="vcard"> <img style="float:left; margin-right:4px" src="http://www.flickr.com/photos/kevenlw/" alt="photo" class="photo"/> <a class="url fn" href="http://my.donews.com/keven/">Keven Liu</a> <div class="org">Shanghai Library</div> <a class="email" href="mailto:kevenlw@gmail.com">kevenlw@gmail.com</a> <div class="adr"> <div class="street-address">Huai Hai Zhong Road</div> <span class="locality">Shanghai</span>, <span class="region">Shanghai</span>, <span class="postal-code">200031</span> <span class="country-name">China</span> </div> <div class="tel">64455555-8311</div> <a class="url" href="aim:goim?screenname=kevenlw">AIM</a> <a class="url" href="ymsgr:sendIM?kevenlw">YIM</a> <p style="font-size:smaller;">This <a href="http://microformats.org/wiki/hcard">hCard</a> created with the <a href="http://microformats.org/code/hcard/creator">hCard creator</a>.</p> </div> 显示形式： Keven Liu Shanghai Library kevenlw@gmail.com Huai Hai Zhong Road Shanghai , Shanghai , 200031 China 64455555-8311 AIMYIM

44. 微内容Microcontent • ‘Microcontent’ 由Jakob Nielsen提出，指一小段包含元数据的文本，有特定的内容，与微格式的区别是不一定有特定的编码。 • microcontent is a finite collection of metadata and data that has at least one unique identity and at least one unique address on the network, and that encapsulates no more than a small number of central ideas, where the number of central ideas encapsulated is usually 1. http://novaspivack.typepad.com/nova_spivacks_weblog/2003/12/defining_microc.html

45. 微资源的功能需求 • 微资源的产生（例如：做网络书签？）； • 微资源需要标识（permanent id？）； • 微资源需要描述（metadata）； • 微资源需要重组（聚合）； • 微资源的重用； • 微资源的呈现（tag cloud？）； • 微资源的管理和利用需要工具（flickr/del.icio.us/blinklist/365key…）。

46. 标签Tag的作用 • 标示，为了查找。专指度高好还是低好？每个人都回折中。 • 指代，索引中指代原件 • 聚类，为了关联。 • 分面标引 • 集体智慧。

47. 民俗分类法Folksonomy • Folksonomy由tag组成。 • Tag在folksonomy中是微资源的指代物。 • 通过检出tag而检出微资源。 • Tag是平面的。 • Tag是随意的。 • Tag云图反映了tag的权重。

48. Tag可能的发展方向 • Tag可以排序（除了目前的字顺和权重，还有多种形式，包括动态形式，如结合相关反馈、合作过滤、点击次数、甚至类pagerank等）； • Tag可以层级化（层次关系，例如del.icio.us目前支持的tag类目）； • Tag可以聚类（反映了资源之间的关系；经常在一起的tag具有较为密切的关系，等等）； • Tag可以规范化（同义词、反义词归并指代；用代属分参关系标注等）。

49. 讨论 • 这些发展，与应用的成本/边际效用/方便性有关。 • 这些发展，到了一定程度，就不是folksonomy了。 • Folksonomy并非绝对“自由”，并非没有体系，只是做标注（tagging）的人没有意识到（自己的体系）而已。 • Folksonomy的一个极端形式是Topic Maps （ISO13250）；

50. Topic Maps/Taxonomy/Folksonomy • Topic Maps可以看成一种Ontology。 • Taxonomy是一类概念体系分类方法的总称，不具有严格的规定。但也可以看成一种不完整的Ontology。 • 对应于极端自由的Folksonomy，极端规范的、形式化的概念体系是Ontology。