第8章多媒体技术及应用

1. 第8章多媒体技术及应用

2. 内容提要 • 本章介绍多媒体的基本概念、多媒体计算机的硬件和软件，介绍超媒体与流媒体、虚拟现实VR的概念与技术。

3. 8.1多媒体的基本概念 • 多媒体技术是近几年来全球信息化发展的比较热门的技术，由于它不仅能处理数据与文本，而且还能处理图形、图像、声音等信息，得到了迅速的发展。

4. 8.1.1 媒体与多媒体 • 通常所说的“媒体”（Media）有两种含义。一种是指信息的物理载体（即存储和传递信息的实体），如书本、挂图、磁盘、光盘、磁带以及相关的播放设备等；另一种含义是指信息的表现形式（或者说传播形式），如文字、声音、图像、动画等。多媒体计算机中的媒体，主要是指信息的表现形式，即计算机不仅能处理文字、数值之类的信息，而且还能处理声音、图形、电视图像等各种不同形式的信息。

5. 1媒体及其类型 • （1）感觉媒体（Perception Medium） • （2）表示媒体（representation Medium）： • （3）表现媒体（Presentation Medium） • （4）存储媒体（Storage Medium） • （5）传输媒体（Transmission Medium） • 在上述的各种媒体中，表示媒体是核心。

6. 计算机处理媒体信息时，首先通过表现媒体的输入设备将感觉媒体转换成表示媒体，并存放在存储媒体中，计算机从存储媒体中获取表示媒体信息后进行加工、处理；最后利用表现媒体的输出设备将表示媒体还原成感觉媒体。此外，通过传输媒体，计算机也可将从存储媒体中得到的表示媒体传送到网络中的另一台计算机。图8.1表示计算机与媒体的这些关系。计算机处理媒体信息时，首先通过表现媒体的输入设备将感觉媒体转换成表示媒体，并存放在存储媒体中，计算机从存储媒体中获取表示媒体信息后进行加工、处理；最后利用表现媒体的输出设备将表示媒体还原成感觉媒体。此外，通过传输媒体，计算机也可将从存储媒体中得到的表示媒体传送到网络中的另一台计算机。图8.1表示计算机与媒体的这些关系。

7. 图8.1各种媒体与计算机的关系

8. 2. 多媒体信息的类型 • （1）文本 • （2）图像 • （3）动画 • （4）声音 • （5）视频影像

9. 3多媒体技术的特点 • 多媒体技术有以下几个主要特点： • （1）集成性 • （2）控制 • （3）交互性 • （4）非线性　 • （5）实时性 • （6）信息使用的方便性 • （7）信息结构的动态性

10. 4. 媒体文件

11. 8.1.2 多媒体计算机的构成 • 通常所说的“多媒体”并不是指多媒体信息本身，面主要是指处理和应用它的整套软、硬件技术。多媒体个人计算机（Multimedia Personal Computer）一般是指能够综合处理文字、图像、动画、声音、音乐等多种媒体信息（特别是指传统微机无法处理的图像信号、音频信号和视频信号等）的个人机，通常是在个人计算机（PC）上，增加多媒体板卡以及多媒体外部设备组成。

12. 1. 多媒体计算机的硬件结构组成 • （1）多媒体主机 • （2）多媒体接口卡 • （3）外部存储设备 • （4）输入设备 • （5）输出设备 • （6）与Internet连接的设备

13. 2. 多媒体计算机的光存储技术

14. 常见的光盘驱动器可分为：CD-ROM（只读光盘驱动器）CD-R（可写光盘驱动器）CD-R/W（可擦写光盘驱动器）DVD-ROM（DVD只读光盘驱动器）DVD- R/W （可反复擦写DVD光盘存储器）。

15. 3. 多媒体计算机的软件系统组成 • 多媒体系统软件包括操作系统，数据库系统、多媒体压缩／解压缩软件、多媒体声像同步软件、多媒体通信软件等。特别指出的是，多媒体系统在不同的应用领域中需要有不同的开发工具，多媒体开发和创作工具、图形、声音、图像、动画以及各种媒体文件的转换与编辑工具。 • 多媒体系统的软件结构如图8.4所示。

16. 图8.4多媒体系统的软件结构

17. 8.2 多媒体技术 • 多媒体涉及的技术范围很广，技术很新、研究内容很深，是多种学科和多种技术交叉的领域。目前，多媒体技术的研究和应用开发主要在下列几个方面： • 8.2.1 音频信息处理 • 8.2.2 图形图像信息处理 • 8.2.3 视频信息的处理

18. 图 8.5 声音数字化示意图

19. 图 8.6 声卡工作原理框图

20. 8.2.2 图形图像信息处理 • 1. 图形图像的基础知识 • 2. 扫描仪 • 3图象文件格式及其转换 • 4图象素材的采集和制作

21. 8.2.3 视频信息的处理 • 1. 视频及有关的基本概念 • 2. 视频卡 • 3. 视频文件的格式 • 4. 流媒体及流式视频文件

22. 图 8.7视频采集卡的连接

23. 8.2.4 多媒体技术的应用 • （1）教育与培训 • （2）商业演示 • （3）多媒体电子出版物 • （4）多媒体电子娱乐与服务 • （5）多媒体电子邮件与通信 • （6）对自然语音进行分析 • 未来多媒体的发展有几个趋势：虚拟现实(Virtual Reality)、超媒体(Hyper media)以及多媒体通讯网络通信等。多媒体加上通讯网络将是多媒体未来发展的重点。

24. 8.3 虚拟现实技术 • 8.3.1 虚拟现实技术的概念 • 8.3.2 虚拟现实技术的关键技术 • 8.3.3 虚拟现实技术的应用 • 8.3.4 虚拟现实建模语言VRML

25. 8.3.1 虚拟现实技术的概念 • 虚拟现实是利用计算机生成一个逼真的视觉、听觉、触觉以及嗅觉等的模拟环境(如飞机驾驶舱、分子结构世界等)，通过多种传感设备使用户“投入”到该环境中，用户可通过其感官与这一生成的虚拟实体进行交互沟通，如同与真实的环境直接进行自然交互的技术。这里所谓的“模拟环境”一般是指用计算机生成的有立体感的图形，它可以是某一特定现实环境的表现，也可以是纯粹构想的世界。虚拟现实技术实现的是人所感受到的虚拟幻境，所以钱学森建议把Virtual Reality的技术叫做“灵境技术”，由它构成的信息处理环境称作“灵境”。

26. 1. 虚拟现实技术的含义 • 第一，虚拟现实技术是通过计算机生成一个非常逼真的实体，逼真要达到三维的视感，甚至还包括听觉、触觉和嗅觉等。这个逼真的实体足以成为“迷惑”人类视觉的虚幻的世界，这种“迷惑”是多方面的，不仅可以看到而且可以听到、触到以及嗅到这个虚拟世界中所发生的一切。这种感觉是如此的真实，以至于能全方位地浸没在这个虚幻的世界中，这就是虚拟现实的第一个特征，即浸没感（Immersion）或临场参与感。

27. 第二，虚拟现实与通常CAD系统所产生的模型是不一样的，它不是一个静态的世界，而是一个动态的、开放的环境，它可以对使用者的输入（如手势，语言命令）作出响应。如拿起一个虚拟的火炬并打开其开关，推动操纵杆，就可以在虚拟环境中的漫游，甚至还可以用虚拟的手感触到虚拟物体的存在。虚拟现实环境可以通过一些三维传感设备来完成交互动作，这是虚拟现实技术的第二个特征，即交互性（Interaction）。第二，虚拟现实与通常CAD系统所产生的模型是不一样的，它不是一个静态的世界，而是一个动态的、开放的环境，它可以对使用者的输入（如手势，语言命令）作出响应。如拿起一个虚拟的火炬并打开其开关，推动操纵杆，就可以在虚拟环境中的漫游，甚至还可以用虚拟的手感触到虚拟物体的存在。虚拟现实环境可以通过一些三维传感设备来完成交互动作，这是虚拟现实技术的第二个特征，即交互性（Interaction）。

28. 第三，虚拟现实不仅仅是一个媒体，一个高级用户界面，它还是为解决工程、医学、军事等方面的问题而由开发者设计出来的应用软件，它以详尽的形式反映了设计者的思想。如在盖一座现代化的大厦之前，首先要做的事是对这座大厦的结构做细致的构思，为了使之定量化，还需设计许多图纸。这些图纸反映的是设计者的构思，虚拟现实同样反映的是某个设计者的思想，只不过它的功能远比那些呆板的图纸生动、强大的多，所以国外有些学者称虚拟现实为放大人们心灵的工具，或人工现实（artifical reality）。这是虚拟现实技术所具有的第三个特征，即思想性（Imagation）。

29. 2. 虚拟现实系统的基本构成

30. 8.3.2 虚拟现实技术的关键技术 • （1）动态环境建模技术 • （2）实时三维图形生成技术 • （3）立体显示和传感器技术 • （4）应用系统开发工具 • （5）系统集成技术

31. 8.3.3 虚拟现实技术的应用 • （1）医学 • （2）娱乐、艺术与教育 • （3）军事与航天工业 • （4）管理工程

32. 8.3.4 虚拟现实建模语言VRML • 虚拟现实建模语言（Virtual Reality Modeling Language，VRML）是一种基于文本的、在网络上使用的描述三维环境的场景描述语言，是HTML的3D(三维)模拟。它定义了3D应用中大多数常见概念，如光源、视点、动画、雾化、材质属性、纹理映射等。VRML语言的诞生，尤其是新的VRML2.0标准，被称为第二代Web语言，它改变了原来WWW上单调、平面的缺点，将人的行动作为浏览的主体，所有的表现都将随操作者行为而改变。

33. VRML2.0标准被称为第二代Web语言

34. 例8.1用VRML构造简单的空间造型

35. VRML是一项包含很多新概念的技术，它定义了一种把3D图形和多媒体集成在一起的文件格式。从语法角度看，VRML文件是显式地定义和组织起来的3D多媒体对象集合;从语义角度看，VRML文件描述的是基于时间的交互式3D多媒体信息的抽象功能行为。VRML文件描述的基于时间的3D空间称为虚拟境界(Virtual World)，简称境界，所包含的图形对象和听觉对象可通过多种机制动态修改。境界中的对象及其属性用节点(Node)描述，节点按照一定规则构成场景图(Scene Grap h)。场景图中的第一类节点用于从视觉和听觉角度表现对象，它们按照层次体系组织起来，反映了境界的空间结构。另一类节点参与事件产生和路由机制，形成路由图(Route Graph)，确定境界随时间的推移如何动态变化。

36. VRML是文本文件，它向VRML浏览器发出如何为虚拟空间创建3D造型的指令。使用VRML创建自己的虚拟空间，需要VRML浏览器（例如Windows中IE的组件VRML2.0）和某种字处理器（如记事本）就可以实现了。VRML是文本文件，它向VRML浏览器发出如何为虚拟空间创建3D造型的指令。使用VRML创建自己的虚拟空间，需要VRML浏览器（例如Windows中IE的组件VRML2.0）和某种字处理器（如记事本）就可以实现了。 • 在字处理器键入VRML指令。然后，将文本文件存成*.wrl 文件，最后将它装入VRML浏览器，以3D形式查看。为了向空间添加更多东西，返回字处理器，键入其他VRML指令，保存文件，并将它重新读回VRML浏览器。重复上述操作，逐渐创建自己的虚拟空间。

37. 8.3.4 媒体数据库 MDBMS面临着的问题：基本数据不再是字符数值型，而是图像、声音，甚至视频数据，那将怎样进行检索？如何表达多媒体信息的内容：该如何组织这些数据呢？查询该如何进行呢？ 多媒体数据库系统的关键技术有多媒体数据模型、用户接口方式、多媒体数据结构化查询语言、多媒体数据库系统的结构及分布式技术等。