主讲 王歧

1. 主讲王歧

2. 第一章 绪论 第二章 媒体与媒体技术 第三章 多媒体数据压缩技术 第四章 多媒体硬件基础 第五章 多媒体软件平台 第六章 多媒体编程技术 第七章 多媒体通信网络技术 第八章 多媒体信息管理技术 第九章 多模态人机交互技术 第十章 分布式多媒体处理技术 第十一章 多媒体应用

3. 第一章 绪论 本章内容 多媒体的含义；（重点） 多媒体技术的主要特征； 多媒体技术的产生和发展； 多媒体技术的应用； 多媒体技术研究的主要内容。（重点）

4. 1.1多媒体的基本概念 一、多媒体和多媒体技术的含义（理解） 媒体在计算机领域有两种含义： 一是指存储信息的实体，如磁盘等，中文常译为煤质；二是指传递信息的载体，如数字、文字、声音、图形、图像等，中文常译为媒介。 多媒体技术中的媒体指后者。

5. 通常，媒体被分为以下五种类型 感觉媒体：指直接作用于人们的感觉器官，从而能使人产生直接感觉的媒体。 如：语言、音乐、自然界的各种声音、各种图形、动画或文本等。

6. 表示媒体：指为了传送感觉媒体而人为研究出来的媒体。借助这种媒体能更有效的存储感觉媒体或将感觉媒体从一个地方传送到遥远的另一个地方。 如语言编码、电报码、条形码等。 例 10011 a 10100 b 10101 c

7. 显示媒体：指用于通信中使电信号和感觉媒体之间产生转换的媒体， 如：输入输出设备、键盘、鼠标器、显示器、打印机等。 存储媒体：指用于存放某种媒体的媒体，如纸张、磁盘、光盘等。 传输媒体：指用于传输某种媒体的媒体。如电话线、电缆、光纤等。 多媒体就是多种媒体的综合？

8. 多媒体是指能够同时获取、处理、编辑、存储和展示两种以上不同信息媒体的技术，这些信息包括文字、声音、图形、图像、动画与视频等。从这个意义中可以看到，我们常说的多媒体最终归结为一种技术。不是指媒体本身，而主要是指处理和应用它的一整套技术。因此，多媒体实际上常被当作多媒体技术的同一语。多媒体是指能够同时获取、处理、编辑、存储和展示两种以上不同信息媒体的技术，这些信息包括文字、声音、图形、图像、动画与视频等。从这个意义中可以看到，我们常说的多媒体最终归结为一种技术。不是指媒体本身，而主要是指处理和应用它的一整套技术。因此，多媒体实际上常被当作多媒体技术的同一语。

9. 多媒体技术的定义： 计算机综合处理文本、图形、图象、音频与视频等多种媒体信息，使多种信息建立逻辑连接，集成为一个系统并且具有交互性。

10. 二、多媒体技术的特性（了解） 多媒体技术的特性主要包括信息载体的多样化、集成性和交互性三个方面，这是多媒体的主要特征。此外还有非循序性、非纸张输出等。

11. 信息载体的多样化 信息载体的多样化是相对于计算机而言的，指的就是信息媒体的多样化。把计算机所能处理的信息空间范围扩展和放大，而不再局限于数值、文本或特定的图形或图像

12. 多媒体的集成性 多媒体的集成性应该说是在系统级的一次飞跃。早期多媒体中的各项技术都可单一使用，但很难有大的作为，因为他们是单一、零散的。多媒体的集成性主要表现在两个方面，几多媒体信息媒体的集成和处理这些媒体的设备的集成。

13. 多媒体的交互性 多媒体的交互性将向用户提供更加有效的控制和使用信息的手段，同时也为应用开辟了更加广阔的领域。

14. 总之，多媒体最显著的特点是具有媒体的多样性、集成性和交互性。从这个角度就可判断什么是多媒体。如电视等不具备交互性所以不是多媒体。

15. 1.2多媒体技术的产生与发展 计算机中信息的表达最初只能用二进制数0、1表示，它的目的纯粹为了计算。后来引入ASCII码等，计算机的功能才逐渐增强。 起源于20世纪80年代初期 90年代得到了迅猛的发展

16. 1.3多媒体技术的应用 多媒体技术的应用极为广泛。 教育与培训、办公自动化、电子出版、影视创作、旅游与地图、家庭应用、商业、新闻出版、电视会议、广告宣传等

17. 1.4 多媒体技术研究的内容 多媒体的研究一般分为两个主要的方面 一是多媒体技术，主要关心基本技术层面的内容；二是多媒体系统，主要重心在多媒体系统的构成与实现。还有专门研究多媒体创作与表现的，则更多的属于艺术的范畴。我们这门课主要强调第一点。

18. 一、多媒体技术的基础 媒体是传播信息的载体，需要研究媒体的性质与相应的处理方法，对于每种媒体的采集、存储、传输和处理就是多媒体技术的首要工作。 多媒体的另一个技术基础是数据压缩。基于时间的媒体，特别是高质量的视频数据媒体，其数据量非常大，不压缩难以在计算机上实现。 本书的第2章第3章分别介绍媒体的基本特性和多媒体数据压缩编码的基本方法

19. 二、多媒体硬件平台技术 大容量的光盘，声音卡，图形显示卡等。计算机CPU也加入了多媒体与通信的指令体系，扫描仪、彩色打印机、数码相机等。 第4章将介绍多媒体的基本硬件设备。

20. 三、多媒体软件技术 操作系统：基于时间媒体的处理就是最关键的环节。对连续性的媒体来说，多媒体操作系统必须支持时间上的实现要求等，支持系统资源的合理分配等。 多媒体的素材采集和制作技术 多媒体创作工具或编辑软件 第5章和第6章将介绍多媒体软件技术和多媒体编程技术。

21. 四、多媒体信息管理技术 信息机数据管理式信息系统的核心问题之一。第8章将介绍多媒体软件技术和多媒体编程技术。 五、多媒体界面设计与人-机交互技术 第9章介绍多媒体界面设计和人机交互技术 六、多媒体通信与分布应用技术 第7章、第10章和第11章介绍

22. 第二章 媒体与媒体技术 本章内容 媒体的种类及特点（重点） 视觉媒体技术（重点） 听觉媒体技术（重点） 触觉媒体技术

23. 2.1媒体的种类和特点 一、媒体的种类 媒体有感觉媒体、表示媒体、显示媒体、存储媒体、传输媒体。在多媒体技术中研究的媒体主要指的是表示媒体。（指为了传送感觉媒体而人为研究出来的媒体。借助这种媒体能更有效的存储感觉媒体或将感觉媒体从一个地方传送到遥远的另一个地方。 ）

24. 主要的表示媒体有以下三种： 视觉类媒体 听觉类媒体 触觉类媒体

25. 1、视觉类媒体 (1)位图图像（bitmap） (2)图形（graphics） (3)符号（也包括文字和文本）由于符号是人类创造出来表示某种含义的，所以它与使用者的知识有关，是比图形更高级的抽象 (4)视频(video） (5)动画（animation） (6)其他（如用图形表示的某种数据曲线）

26. 2、听觉类媒体 (1)波形声音（wave）自然界的所有声音的拷贝，是声音数字化的基础。 (2)语音（voice）也表现为波形声音，有内在的含义。 (3)音乐（music）更规范，是符号化的声音。

27. 3、触觉类媒体 (1)指点 (2)位置跟踪（为了与系统交互，系统必须了解参与者的身体动作，包括头、眼、手、肢体等部位的位置与运动方向。） (3)力反馈与运动反馈（这与跟踪正好相反，是系统向参与者反馈的运动及力的信息，）

28. 二、媒体的性质和特点 1、各种媒体具有不同的性质和特点 从信息表达考虑，媒体数据具有以下四个性质： (1)媒体是有格式的（按格式解释才有确定的含义） (2)不同的媒体表达信息的特点和程度不同（越接近原始媒体，信息量越大；越是抽象，信息量越小但越精确） (3)媒体之间可以相互转换（但可能丢失部分原始信息，或增加一些伪信息） (4)媒体之间的关系也具有丰富的信息

29. 2、媒体具有空间性质（表现空间） 3、媒体的时间性质 4、媒体的语义 5、媒体结合的影响

30. 2.2听觉媒体技术 一、声音的性质 可听声也叫音频（20HZ～20KHZ） （1）随时间变化的连续媒体也称连续性时基类媒体。 （2）声音有三个要素，音调、音强和音色 （3）声音具有连续谱特性 （4）声音有方向感 （5）音色与失真特性

31. 二、数字音频的主要技术参数 分为：波形声音、语音和音乐三种 波形声音：包含所有的声音形式，相应的文件格式是WAV或VOC。 语音：也是一种波形。 音乐：是符号化的声音，格式是MID,MP3或CMF文件。

32. 计算机音频技术主要包括声音的采集，数字化，压缩/解压缩以及声音的播放。影响数字声音波形质量的主要因素有三个： （1）采样频率。 （2）采样精度。 （3）通道数。单声道、立体声。

33. 三、音频的数字化与再现

34. 四、声音的符号化

35. 五、数字音乐国际标准MIDI和MP3 1、电子乐器数字接口：MIDI MIDI音频与波形音频完全不同，他不对声波进行采样、量化与编码，而是将电子乐器键盘的演奏信息（包括键名、力度、时间长度等）记录下来。这些信息称为MIDI消息，是乐谱的一种数字式描述。对应与一段音乐的MIDI文件不记录人和声音信息，而只是包含一系列产生音乐的MIDI消息。播放时只需从中读出MIDI消息，产生所需的声音波形，经放大处理即可。

36. 2、MP3数码音乐 MP3的全称是MPEG-1 Layer3音频文件 压缩比是：10：1~12：1 一分钟的CD音质音乐，未经压缩需要10M的存储空间，压缩后只需1M左右。

37. 2.2 听觉媒体技术 定义：20HZ～20KHZ的音频范围 分类：波形声音、语音、音乐 声音三要素：音调、音强、音色

38. 一、数字音频 音频数字化：把模拟音频信号转换成有限个数字表示的离散序列。 转换过程：选择采样频率，进行采样 选择分辨率，进行量化 形成声音文件

39. 数字录音文件大小的计算： S=R×D ×（r/8） ×1 S以字节为单位

40. 声音文件的格式： WAV(waveform) au(audio) AIF (Audio Interchangeable File Format) snd(sound)为扩展名的文件格式 VOC、MIDI、 SNO、RMI文件

41. 1、WAV文件 存储容量大 2、VOC文件 3、MIDI文件 用于音乐，与WAV文件不同

42. 二、乐器数字接口（MIDI） MIDI信息实际上是一段音乐的描述，只记录产生某种声音的指令，指令中包括了使用MIDI设备的音乐、音量和持续时间长短信息。是数字化的乐谱，由音符序列、定时及合成音色的乐器定义组成。

43. 三、数字化声音和MIDI的比较 MIDI信息实际上就是乐谱的数字表示。与波形声音相比，MIDI数据不是声音而是指令，因此它的数据量要比波形声音少的多。对MIDI的编辑很灵活，可以自由地改变曲调、音色等属性，波形声音就很难做到这点。波形声音与设备有关，MIDI数据与设备有关，即MIDI音乐文件所产生的声音与用来回放的特定的设备有关。数字化声音最重要的优点就是重放质量的一致性、可靠性比较好，可自始至终保证质量。

44. 2.3 视觉媒体技术 计算机的图形、图像均为视觉媒体 表示方式：位图表示、矢量表示、曲线表示（动态图像）、符号表示 一、图形、图像文件格式 DIB、BMP、PCX、TIFF等

45. 二、位图 又称点阵图，是一种写实的手法。 能够忠实地记录图像中每一个象素的颜色和位置 三、矢量图

46. 四、矢量图与位图的比较 1、概念上： 矢量图（图形）一般指计算机绘制的画面，如直线、圆、圆弧、任意曲线和图表等 图像是指由输入设备捕捉的实际场景画面或以数字化形式存储的任意画面。

47. 2、存储容量大小 图像是由一些排成行列的像素组成的，在计算机中的存储格式有BMP、TIF、GIFD等。一般数据量比较大。除了可以表达真实的相片，也可以表现复杂绘画的某些细节，具有灵活和富于创造力等特点。在打印输出和放大时，容易发生失真。

48. 图形也称矢量图文件中只记录生成图的算法和图上的某些特征点，容易进行移动、缩放、旋转和扭曲等变换，主要用于表示线框型的图画、工程制图、美术字等。常用的矢量图文件有3DS（用于3D造型）、DXF（用于CAD）、WMF（用于桌面出版）等。图形只保存算法和特征点，相对于位图的大数据量来说，它占用的存储空间也比较小。但是显示速度没有图像快，打印输出和放大时，质量较高不会发生很大失真。

49. 五、监视器与颜色 监视器的分辨率分类： 屏幕分辨率 图像分辨率 像素分辨率

50. 2.4 动画（animation） 定义：指运动的画面。利用快速变换帧的内容达到运动的效果。 制作工具：animation、Flash、 3D max等