470 likes | 572 Views
第五章 多媒体技术基础. 5.1 多媒体技术概述. 一、媒体与多媒体 1.媒体(媒介、媒质 ) 媒体是信息表示、传递和存储的载体 存储信息的实体 纸张、磁盘、光盘 表示信息的载体 文本、图形、图像 声音、动画、视频. 命运. 5.1 多媒体技术概述. 媒体的种类( CCITT) 感觉媒体 人的感官,如视觉、听觉等 表示媒体 为了处理和传输感觉媒体而人为构造的媒体,如文本、图形、动画等 显示媒体 获取和表现信息的物理设备,如键盘、鼠标器、显示器和音箱等
E N D
第五章 多媒体技术基础
5.1 多媒体技术概述 • 一、媒体与多媒体 • 1.媒体(媒介、媒质) • 媒体是信息表示、传递和存储的载体 • 存储信息的实体 纸张、磁盘、光盘 • 表示信息的载体 文本、图形、图像 声音、动画、视频 命运
5.1 多媒体技术概述 • 媒体的种类(CCITT) • 感觉媒体 人的感官,如视觉、听觉等 • 表示媒体 为了处理和传输感觉媒体而人为构造的媒体,如文本、图形、动画等 • 显示媒体 获取和表现信息的物理设备,如键盘、鼠标器、显示器和音箱等 • 存储媒体 用来存放表示媒体的介质,如磁盘、光盘和内存等 • 传输媒体 传输数据的载体,如光缆
5.1 多媒体技术概述 • 2.多媒体 • 通常是指表示媒体,也就是 • 静态媒体:文本、图形、图像 • 动态媒体:声音、动画、视频 • 多媒体是融合两种或两种以上表示媒体的一种人机交互式信息交流和传播媒体。 • 多媒体的实质:各种媒体数字化。
5.1 多媒体技术概述 • 二、多媒体技术 • 定义 将多种媒体信息通过计算机进行数字化采集、编码、存储、传输、处理和再现等,使多种媒体信息建立逻辑连接,并集成一个具有交互性的计算机系统。 • 利用计算机综合处理图文声像。 • 特征 多样性 • 集成性 • 交互性、实时性
5.1 多媒体技术概述 • 三、多媒体技术的应用 • 1.教育与培训 • 多媒体教学课件 • 多媒体技能培训系统 • 虚拟课堂、虚拟实验室、虚拟图书馆 • 2.出版与图书 • 电子出版物具有容量大、体积小、成本低、检索快、易于保存和复制、能存储图文声像信息等,如光盘百科全书、e-book。
5.1 多媒体技术概述 • 3.商业与咨询 • 商品简报、查询服务、产品演示、商贸交易(电子商务)等。 • 利用多媒体技术可为公众提供各类咨询服务,也可通过触摸屏进行操作。 • 4.通信与网络 • 信息家电(电话、电视、冰箱、音响)、视频会议、可视电话、远程医疗系统。
5.1 多媒体技术概述 • 5.军事与娱乐 • 军事遥感 • 战场模拟 • 核武器模拟 • CD、VCD、DVD、(三维)游戏 多媒体技术的优势可能不在于某些具体的应用,而是在于它能把复杂的事物变得简单、把抽象的东西变为具体。
多媒体应用软件 多媒体开发工具 多媒体操作系统 多媒体驱动程序 多媒体硬件系统 5.2 多媒体系统的组成 • 一、多媒体系统的层次结构 多媒体硬件系统:多媒体控制板卡及I/O电路 多媒体驱动程序:用来控制和操纵多媒体硬件 多媒体操作系统:CD-RTOS(专用),Windows(通用)
5.2 多媒体系统的组成 • 二、多媒体系统的基本组成
5.2 多媒体系统的组成 • 多媒体支持软件(开发工具) • 多媒体素材制作工具 • 文字特效制作软件:MS Word/艺术字 • 音频处理软件:Syntrillium Cooledit Twelve Tone Cakewalk • 图形图像处理软件: • Corel CorelDRAW Adobe Photoshop
5.2 多媒体系统的组成 • 动画制作软件:Macromedia Flash MX • Discreet 3ds max • 视频编辑软件:Adobe Premiere • 多媒体著作工具 • Microsoft PowerPoint • Macromedia Authorware • 多媒体编程语言 • VB、VC++
模拟信号 数字信号 采样 量化 编码 5.3 音频信息处理 • 一、声音信号的类型 • 模拟信号(自然界、物理) • 数字信号(计算机) • 二、声音的数字化 A/D ADC 数字信号 模拟信号 D/A DAC
连续的模拟声音信号 声音信号的采样 离散的音频信号 5.3 音频信息处理 • 声音数字化过程 示意
5.3 音频信息处理 • 声音数字化三要素
5.3 音频信息处理 • 声音数字化计算公式 • 数据量=采样频率×量化位数 ×声道数/8(字节/秒)
5.3 音频信息处理 • 三、音频的文件格式 • WAV文件 • WAV是Microsoft/IBM共同开发的PC波形文件。因未经压缩,文件数据量很大。 • 特点:声音层次丰富,还原音质好 • MP3文件 • MP3(MPEG Audio layer3)是一种按MPEG标准的音频压缩技术制作的音频文件。 • 特点:高压缩比(11:1),优美音质
5.3 音频信息处理 • WMA文件 • WMA(Windows Media Audio)是Windows Media格式中的一个子集(音频格式)。 • 特点:压缩到MP3一半 • MIDI文件 • MIDI(乐器数字接口)是由一组声音或乐器符号的集合。 • 特点:数据量很小,缺乏重现自然音
5.3 音频信息处理 • 四、音频的获取与处理 • 音频的获取主要有: • ①利用录音软件直接录制 • ②使用专业录音棚录制 • ③从唱盘或录音带中进行转录 • ④购买数字音频库
5.3 音频信息处理 • 音频处理: • ①删除无用的部分,将需要合并的音轨拼贴起来。 • ②降噪,去除录音时的背景噪音。 • ③调节均衡,使得高、中、低几个频段听起来更加悦耳。 • ④添加混响、延迟和变速等效果。 • ⑤压缩与限制,即动态处理。 • ⑥音频文件格式的转换。
5.4 图像信息处理 • 一、图形与图像 • 1.图形(矢量图形、几何图形) • 矢量图是用一组指令来描述的,这些指令给出构成图形的各种属性和参数。例如: 圆(圆心坐标,半径及粗细,色彩) • 优缺点:①图形文件占用空间较少 • ②图形复杂时耗时相对较长 • 绘图软件:CorelDRAW • FreeHand
5.4 图像信息处理 • 2.图像(位图图像、点阵图像) • 位图是指在空间和亮度上已离散化的图像,通过描述每一像素的颜色或亮度来表示该图像。它适应表现包含大量细节的图片,如明暗、浓淡、层次和色彩变化等。 • 优缺点:①色彩和色调丰富,景物逼真 • ②缩放处理易失真,数据量大 • 绘画软件:Photoshop • PhotoImpact
真实感图形绘制 图形 图像 模式识别技术 5.4 图像信息处理 • 图形与图像的比较
亮度量化 8b 24b 256 5.4 图像信息处理 • 二、图像的数字化 • 连续空间位置的离散和数字化 • 亮度值的离散和数字化 空间位置采样 m×n 20×13
5.4 图像信息处理 • 图像的主要参数 • ⑴分辨率 • 分辨率直接影响图像质量。 • 显示分辨率:指在显示器上能够显示的像素数目。(640*480,800*600,1024*768) • 图像分辨率:指数字图像的实际像素数目,它反映图像在屏幕中显示的大小。 • 像素分辨率:指像素的宽高比(1:1),在像素分辨率不同的机器间传输图像会变形。
5.4 图像信息处理 • ⑵颜色深度 • 指记录每个像素所使用的二进制位数。 • 彩色图像:可使用的最多颜色数目 • 灰度图像:可使用的亮度级别数目
5.4 图像信息处理 • 图像数据量的计算 • 图像文件的大小是指在磁盘上存储整幅图像所需的字节数。 • 数据量=图像分辨率×颜色深度/8(B) • [例题]一幅640×480的真彩色图像,未压缩的图像数据量是多少? • 640×480×24/8=921600B=900KB
5.4 图像信息处理 • 三、图像的文件格式 • BMP:Windows标准图像文件格式 • JPG:一种高效率压缩格式(1:10~20) • GIF:用于交换图片的,对灰度图像表现佳,但不超过256色的图像。 • PNG:流式网络图形格式,它使用LZ77派生的无损数据压缩算法。PNG存储灰度图像时图像深度达16位PNG存储彩色图像时图像深度达48位
5.4 图像信息处理 • 四、图像的获取与处理 • 1.图像的获取方法 • 采用扫描仪、数码相机进行模数转换 • 从数字图像库、网上获取、自行绘制 • 2.图像的处理技术 • 图像处理手段很多,所有处理都是建立在对数据进行数学运算的基础上,一般用户可通过图像处理软件(Photoshop)来完成。 • 例如:图像亮度、对比度的调整等。
5.5 视频信息处理 • 一、视频的基本概念 • 1.视觉暂留现象 • 人眼有一种视觉暂留的生物现象,即人观察的物体消失后,物体映像在人眼的视网膜上会保留一个非常短暂的时间(约0.1s)。 • 利用这一现象,将一系列画面中物体移动或形状改变很小的图像,以足够快的速度连续播放,就会产生连续活动的场景。
5.5 视频信息处理 • 2.视频的定义 • 视频又称运动图像或活动图像,它是指连续地随着时间变化的一组图像。 • 帧:一幅单独的图像 • 帧率:每秒种播放的帧数,单位是f/s • 典型的帧率:24f/s、25f/s、30f/s • 常见的视频信号:电影、电视
5.5 视频信息处理 • 3.电视的制式 • 色度信息处理方法→三种彩色电视制式 • ⑴NTSC制式(美国、日本、中国台湾等) • National Television Systems Committee (1953,美国) • ①30帧/秒(29.97fps),525行/帧 ②隔行扫描:2场/帧,262.5行/场 ③颜色模型:YIQ ④宽高比:4:3(帧大小:352*240)
5.5 视频信息处理 • ⑵PAL制式(中国、德国、英国、朝鲜等) • Phase Alternation Line(1962,德国) • ①25帧/秒,625行/帧 ②隔行扫描:2场/帧,312.5行/场 ③颜色模型:YUV ④宽高比:4:3(帧大小:352*288) • ⑶SECAM制式(法国、俄罗斯、东欧国家) • “轮流传送彩色与存储”(1966年,法国) • 类似PAL制式
数字视频信号 模拟视频信号 扫描 采样 量化 编码 5.5 视频信息处理 • 二、视频的数字化 视频是连续的图像 图像是离散的视频
5.5 视频信息处理 • 数字视频的优点 • 与模拟视频相比,其优点: • ①数字视频便于创造性的编辑与合成 • ②数字视频可不失真地进行多次复制 • ③在网络环境下容易实现资源共享 • ④数字视频可与其它媒体组合使用 • 缺陷:①处理速度慢 • ②数据量大(压缩、光盘)
5.5 视频信息处理 • 三、视频的文件格式 • AVI文件 • AVI是一种音视频交叉记录的文件格式,微软在1992年推出AVI文件及其应用软件Video for Windows。 • 特点:①AVI采用帧内压缩,可用一般的视频编辑软件进行编辑。 ②提供无硬件视频回放,其窗口大小和帧率可根据播放环境调整。
5.5 视频信息处理 • MOV文件 • MOV(Movie digital video)文件是Apple公司在其Macintosh机推出的视频文件格式,其相应的视频应用软件QuickTime。 • QuickTime for Macintosh • QuickTime for Windows • MOV文件格式的压缩算法Video编码支持16位图像深度的帧内压缩和帧间压缩。
5.5 视频信息处理 • MPG文件 • MPG文件是采用MPEG算法进行压缩的全运动视频文件格式。它在1024*768的分辨率下可用每秒25或30帧的速率同步播放全运动视频图像和CD音乐伴音。 • DAT文件也是基于MPEG压缩算法的一种文件格式,它是Video CD和卡拉OK CD数据文件的扩展名。
5.5 视频信息处理 • 四、视频的采集与处理 • 采集视频数据主要有: • ①从模拟设备中采集视频数据 • ②从数字设备中采集视频数据 • ③从影视光盘中截取视频数据 视频数据的处理包括: ①在保证图像质量的前提下尽可能压缩视频图像的数据量 ②消除视频产生、获取和传输过程中引入的失真和干扰 ③从视频图像中提取某些特征,以便对其进行描述、分类和识别
5.6 多媒体存储技术 • 一、光盘技术 • 光盘(CD-Compact Disc,高密盘) • 特点: • ①存储容量大:CD-ROM→650MB DVD→4.7GB • ②记录密度高:107-108bit/cm2 • ③长期保存信息:10-100年 • ④非接触方式、价格低廉
5.6 多媒体存储技术 • 1.CD-ROM技术 • CD-ROM是只读光盘或固定型光盘(只能读,不能改-重写、擦除)。 • 一张普通光盘可以存储650MB数据,它包括文本、表格、图形、图像、视频、音频等文件。 • 凹坑→0 • 平坦→1
5.6 多媒体存储技术 • CD-ROM的工作原理: • CD-ROM驱动器读取数据时由激光束照射到光盘的平面上,当激光束射到光盘的平坦部分时,有70-80%的光反射并传输到光检测器中,记下ON→1; • 当激光束照在凹坑上时,激光束由于散射而无法接收到反射信号,则光检测器记下OFF→0。
5.6 多媒体存储技术 • 2.CD-R技术 • CD-R是只写一次型光盘或追记型光盘(可写一次,写过后不能修改,只能读写)。 • CD-R光盘主要用于信息存档或备份大型系统,它比CD-ROM多了一层塑料层(记忆数据)。
5.6 多媒体存储技术 • CD-R光盘的工作原理: • 刻录机将数据写入CD-R光盘时,以高功率激光束照射光盘的塑料层。该位置的有机染料会融化并产生化学反应(类似凹坑),而没有被高功率激光束照射的位置可以靠反射层反射激光。 • 读取CD-R光盘数据与CD-ROM相同,但由于它使用有机染料,降低了光反射率,因此用金或银作为反射层以提高对光的反射率。
5.6 多媒体存储技术 • 3.CD-RW技术 • CD-RW是可擦写型光盘,采用重复写入技术(可读,可擦除,可重写)。 • 与CD-R光盘相比,CD-RW具有以下特点: • ①塑料层变为染料层(硒或碲的结晶层) • ②相变技术:通过激光照射能将染料层呈现结晶(平面)和非结晶(凹坑)两种状态
5.6 多媒体存储技术 • 二、光盘格式与标准 • 1.红皮书 • 数字音频光盘、激光唱盘 • CD-DA(CD-Digital Audio) • 2.黄皮书(ISO 9660) • 存放计算机数据(含图文声像) • CD-ROM、CD-ROM/XA • 3.绿皮书 • 交互式光盘,CD-I(CD-Interactive)
5.6 多媒体存储技术 • 4.橙皮书 • 可写光盘,CD-R • 5.白皮书 • 视频光盘,VCD(MPEG-1),650MB • 352*288(25帧/秒),双声道立体声 • 6.DVD规范 • 数字视盘,DVD(MPEG-2),4.7GB • 720*576(50帧/秒),杜比环绕立体声