第一章 多媒体通信技术概述 第二章 音频技术基础 第三章 图像技术基础 第四章 视频信息压缩与处理 第五章 多媒体通信系统中的关键技术 第六章 多媒体通信网络技术

1. 第一章 多媒体通信技术概述 第二章 音频技术基础 第三章 图像技术基础 第四章 视频信息压缩与处理 第五章 多媒体通信系统中的关键技术 第六章 多媒体通信网络技术 第七章 多媒体数据的分布式处理 第八章 多媒体通信应用系统 本书章节

2. 3.1 视觉特性 3.2 图像质量的评价 3.3 图像信号数字化3.4 电视技术基础 本章主要内容

3. 第3章 图像技术基础 • 无论是电视系统，还是电影，其最终的目的都是为接收 • 者提供视觉图像，因此图像质量与人眼的视觉特性有关。为 • 了能够掌握图像通信的基础理论，因此本章将对人眼的视觉 • 特性、图像的数字化过程、电视技术基础以及图像质量的评 • 估等问题进行详细的介绍。

4. 图形是指用计算机绘制的画面，而图像是指由输入设备捕捉的实际场景画面。图形是指用计算机绘制的画面，而图像是指由输入设备捕捉的实际场景画面。 • 图像能够以各种各样的形式出现，例如，可视的和不可视的，抽象的和实际的，适于计算机处理的和不适于计算机处理的。就其本质来说，可以将图像分为两大类：模拟图像和数字图像。将模拟图像信号经A/D变换后就得到数字图像信号，数字图像信号便于进行各种处理。

5. 图像信号按其内容变化与时间的关系分类，主要包括静态图 • 像和动态图像两种； • 图像信号按其亮度等级的不同可分为二值图像和灰度图像； • 图像信号按其色调的不同可分为黑白图像和彩色图像； • 图像信号按其所占空间的维数不同可分为平面的二维图像和 • 立体的三维图像等等。

6. 发射光 反射光 发射光及反射光 发光物体呈现的颜色是由物体本身发出不同波长的光所造成； 不发光物体呈现的颜色是光照射物体时被物体反射出的光所具 有的。

7. 3.1 视觉特性 视觉灵敏度 人眼对不同波长的光所呈现的视觉感知是不同的，而且因人而异。为了了解人眼的视觉特性，因此国际照明委员会（CIE）特推荐标准视度曲线（人眼视觉光谱灵敏度曲线） 图3-1 光谱灵敏度曲线

8. 三基色原理 红、绿、蓝三色光可以混合成自然界的全部色彩， 而这三色光本身相互独立，所以人们常常将红、绿、蓝 称为色光三原色。从生理学上讲：人们眼睛的视网膜上 存在着三种不同类型的锥体细胞，它们分别对红、绿、 蓝有很高的灵敏度（对不同波长有不同的灵敏度），物 体反射光进入人眼睛以后，在三种锥体细胞的作用下， 产生不同颜色的光感。这就是三刺激理论，又称三色学 说理论。

9. 2、光度测量参数 当描述光源的照明效果时，由于无法直接用辐射光功率来描述，因此实际中是使用两套参数来分别描述辐射光和照明光。前者与人眼的视觉特性无关，而后者则考虑了人眼的视觉特性. 常用光度量单位： 光通量：光源在单位时间内所发出的光能量，其单位是流明 （lm). 辐射功率P：是指辐射体在单位时间内所辐射出的总能量， 其与辐射的功率频谱分布有关。

10. 辐射强度I是指点辐射源沿单位立体角所辐射出的功率。辐射强度I是指点辐射源沿单位立体角所辐射出的功率。 发光强度：点光源在单位面积内辐射出的光通量称为发光强度。 亮度表示了单位面积上发射光或反射光的强度。亮度具有方向 性。 照度是指被照表面单位面积上所接收到的入射光功率。可见， 照度是针对入射光进行度量的单位，而亮度则是对射出 光的度量。

11. 3、彩色视觉和立体视觉 （1）彩色的概念 在自然界中，当阳光照射到不同的景物上时，所呈现 的色彩不同，这是因为不同的景物在太阳光的照射下， 反射（或透射）了可见光谱中的不同成分而吸收了其余 部分，从而引起人眼的不同彩色视觉。

12. （2）彩色视觉 从视觉的角度描述彩色的过程中会用到亮度、色度和饱 和度三个术语。亮度表示光的强弱；色度是指彩色的类别， 如黄色、绿色、蓝色等；饱和度则代表颜色的深浅程度，如 浅紫色、粉红色。色调与饱和度又合称为色度，可见它既表 示彩色光的颜色类别，又表示颜色的深浅程度。 尽管不同波长的光波所呈现的颜色不同，但我们会经常 观察到这样的现象。由适当比例的红光和绿光混合起来，可 以产生与黄单色光相同的彩色视觉效果。又如日光也可以由 红、绿、蓝三种不同波长的单色光以适当的比例组合而成。 实际上自然界中的任何一种颜色都能由这三种单色光混合而 成，因而人们称红、绿、蓝为三基色。

13. 图3-3 三种锥状细胞的光谱灵敏度曲线 注意：波长为580nm的黄光对应的灵敏度曲线有两条

14. （3）立体视觉 自然界中的景物都是立体的，具有高度、宽带和深度。 立体视觉一般分为双眼视觉和单眼视觉。 双眼视觉是指双眼同时观看一个空间景物时所形成的立体视 觉； 单眼视觉是指单眼观看景物时所产生的立体感觉。

15. 4、人眼的分辨力与空间频率 人眼的分辨力究竟有多高，可用何种方法对其进行描述，一直是人们非常关注的问题。经过长期的研究发现，将人眼等效为一个空间频率滤波器，这样在考虑到分辨力与照度、对比度和噪音等方面影响的同时，便可以利用滤波器的频率特性来表示人眼的分辨力。可见空间频率的概念在图像技术中具有很重要的地位。 （1）空间频率 时间频率是用单位时间内的某物理量（如电压、电流） 周期性变化的次数来定义的，单位为周/秒，其自变量为时 间。而空间频率则是某物理量（如亮度、发光强度）在单 位空间距离内周期性变化的次数，单位为周/米。

16. 1.0 0.3 MTF 0.1 0.3 1 3 10 30 空间频率(线/mm) （2）人眼的空间频率响应 实验研究发现，人眼对不同空间细节的分辨力是变化的，可用视觉空间频率响应曲线表示，如图3-4所示。图中 横坐标为空间频率，即单位视角（1°）内所含黑白条数， 而纵坐标则表示空间频率的传输特性（MTF）。 图中虚线表示彩色，实线表示亮度 图3-4 人眼的空间频率响应

17. 从图中可以看出，人眼对彩色细节的分辨能力远比对从图中可以看出，人眼对彩色细节的分辨能力远比对 亮度细节的分辨能力低。例如原有黑白相同的条纹，当它 们距人眼一定距离时，仍能分辨出其黑白间的差别，但如 果仍保持其条纹间的距离，只是将黑白条纹换成彩色条 纹，此时便无法做出分辨。 • 据资料显示，人眼分辨景物彩色细节的能力很差。因 • 此彩色电视系统在传输彩色图像时，细节部分可以不传 • 送彩色信息，而只传送黑白信息，以此来节约传输频带 • 资源。

18. 图3-5 色调和饱和度分辨阈与波长的关系

19. 色调分辨阈：人眼分辨出色调差别的最小波长变化值。色调分辨阈：人眼分辨出色调差别的最小波长变化值。 • 从图中可知，人眼对480~640nm区间的色调分辨力较 • 高，对大于655nm和小于430nm的可见光的色调变化不敏感。 • 当饱和度减小时，人眼的色调分辨力也将随之下降。

20. 5、人眼的对比度特性 （1）图像的对比度与灰度 对比度是指景物或重现图像的最大亮度Lmax与最小亮度Lmin之比，用符号C表示，即 而画面的最大亮度与最小亮度之间所能分辨的亮度感觉级数称为亮度层次，也称为灰度。 由于人眼的亮度感觉是相对的，即同一亮度在不同的环境亮度下给人的亮度感觉是不同的，因此当人们看电视时，在考虑到环境亮度后，电视图像的对比度为 其中 为环境亮度。

21. （2）人眼的对比度灵敏度特性 亮度感觉 在定义亮度时虽然考虑了人眼的光谱灵敏 度，但实际观察景物时所获得的亮度感觉，并不 仅由景物的亮度决定，而且与其所处的周围环境 亮度有关。 亮度感觉是指能分辨出不同的亮度层次。

22. 人眼视觉的对比度灵敏度 人眼区分某一给定空间频率的正弦光栅（如图3-6 所示）明暗差别所需的最低对比度，称为分辨这一空 间频率的临界对比度，用Cr表示。临界对比度的倒数 1/Cr被称为人眼对于这一空间频率对比度灵敏度。 由以上定义可知，临界对比度表示人眼在给定的 亮度环境下所能区分景物的最小亮度差别，通常称这 一最小亮度差别为一个亮度级（或灰度级）。

23. 图3-6 定义临界对比度的正弦光栅

24. 6、视觉惰性与闪烁的概念 视觉惰性 当一个景物突然出现在眼前时，需经过一定的时间 才能形成一个稳定的主观亮度感觉；同样当一个实际景 物从眼前消失后，所看到的印象都不会立即消失，还会 暂留一段时间，由此可见人眼亮度感觉的建立与消失都 滞后于实际的光刺激，而且此过程是逐步的，这种现象 就是视觉惰性。

25. 闪烁 如果观察者观察到一个具有周期性的光脉冲，当其重 复频率不够高时，便会产生一明一暗的感觉，这种感觉就 是闪烁，但当重复频率足够高时，闪烁感觉将消失，随之 看到的是一个恒定的亮点。 临界闪烁频率就是指闪烁感觉刚刚消失时的频率。它 与脉冲亮度有关，脉冲的亮度越高，临界闪烁频率也相应 地增高。

26. 3.2 图像质量的评价 • 图像质量的评价方法有两种，即主观评价和客观评价 • 影响图像质量的基本因素 • 发送环境：照度和闪烁 • 接收环境：室内照明、显示器、视距 • 图像传输与处理系统： • 模拟图像通信：随机噪声、周期噪声、衰减失真、时延失真等 • 数字图像通信：颗粒噪声、边缘闪烁、传输抖动、误码等 • 图像编码过程中变换与反变换：清晰度、对比度、亮度等。

27. 图像质量的主观评价 • 主观评价是指观察者依据自己的感觉对图像质量进行评 • 价，是一种最直观、最可靠的评价方法。 • 受人的感觉和心理状态的影响，即图像质量的最终评价 • 与观察者心理因素有关 • 图像的客观评价 • 又称为图像逼真度计量法（数学公式） • 会议电视系统的图像质量评价 • 因素：图像清晰度、帧速率、唇音同步、延时、运动补偿等。

28. 3.3 图像信号数字化 3.3.1 图像信号的表述 • 1、图像信号的时域分析 • 由于人眼所感觉的景物是连续的，所形成的图像为连续 • 图像，而连续图像信号是无法直接在数字系统中实现传输或 • 存储的，因此需要将连续图像信号转化为离散数字信号。通 • 常我们称此过程为图像信号的数字化。 • 包括三大部分，即取样、量化和编码。 • 取样又称为抽样，它是指图像信号空间离散化的过程。这 • 时所选取的点就是取样点、抽样点或样点，也被称为像素。 • 由此可见，一幅图像是由许多大小有限的像素组成，而且 • 每个像素既是时间、空间的函数，同时又有其光学特性

29. 图像中的任何一个像素P通常可用8个物理量表示，即图像中的任何一个像素P通常可用8个物理量表示，即 • 其中 • （x,y,z）表示像素的空间变量; • L,H,S分别代表像素的亮度、色调和饱和度; • R则表示图像的分辨率（即每一个像素面积在图像总面积中 • 的比例; • t是该像素产生上述物理量的时间。

30. 2、（二维）图像信号的频谱 • 图像通信系统是一个二维信息系统，因此可以进行类 • 似的定义，二维函数f（x,y）与其频谱F(μ,ν)的关系：

31. 据分析显示，图像中景物的复杂程度是有限的。通常其据分析显示，图像中景物的复杂程度是有限的。通常其 • 中的大部分区域内的内容变化不大，而且人眼对空间频率上 • 的复杂程度（频率）的分辨能力有一定的局限性，因而从频 • 率域上来观察图像时，大多数情况下其频谱多局限在一定的 • 范围之内。

32. 图3-7 取样图像的频谱 如图3-7所示，其中锥形区域代表二维图像信号f(x,y)在频率域上的有效成分，Um, Vm分别代表水平和垂直方向上的最大空间频率，可见F(μ,ν)所表示的是二维图像信号与空间频率之间的关系，这种关系对图像的数字化以及数字处理具有非常重要的意义。

33. 其中 3.3.2 取样与二维取样定理 • 1、二维取样定理 • 一个模拟信号f（x, y）的傅氏频谱为F(μ,ν),如果其水平方向的截止频率为Um,而垂直方向的截止频率为Vm，那么只要水平和垂直方向的取样频率分别为U0≥2Um和V0≥2Vm（水平间隔Δx≤1/(2Um),垂直间隔Δy≤1/(2Vm),就可以精确地恢复出原图像，这就是二维取样定理。

34. 如果图像信号为有限带宽的信号，那么根据上式可以如果图像信号为有限带宽的信号，那么根据上式可以 • 看出，抽样后的图像信号fp(x,y)的频谱是原频谱F(μ,ν) • 沿μ轴和ν轴分别以Δu，Δv为间隔无限地周期重复的结 • 果.如图3-7（c）所示。

35. 从图中可以看出，只要Δu>2Um，Δv>2Vm，抽样后的从图中可以看出，只要Δu>2Um，Δv>2Vm，抽样后的 • 图像信号频谱就不会出现混叠。因此通常在进行取样之 • 前，图像信号首先经过一个低通滤波器，使其成为一个带 • 宽受限信号。当以满足上述条件的取样间隔进行取样时， • 取样后的图像频谱不会出现混叠的现象，这样可以利用一 • 个低通滤波器将原图像频谱滤出，从而可无失真地重建原 • 图像，这就是二维取样定理，也称为二维奈奎斯特取样定 • 理。

36. 2、亚取样 • 当取样频率小于奈奎斯特取样频率时，通常称其为亚 • 抽样。这就向人们提出了新的课题，即如何在亚取样情况 • 下，减少频谱混叠而引起失真。在自然景物图像中，由于垂 • 直和水平的物体、线条、运动等比在其他方向上多，因此反 • 映在频谱中，就是水平和垂直方向的频谱分量多于其他方 • 向，即自然景物图像的频谱主要分布在以原点为中心的菱形 • 范围内，如图3-8（b）中心阴影区域所示。相应的二维空 • 间取样点分布如图3-8（a）所示，沿水平和垂直方向上的 • 取样间隔分别为2Δx和2Δy。 • 如何在亚取样情况下，减少频谱混叠而引起失真？ • ——菱形亚取样

37. 图3-8 菱形亚取样及其频谱分布

38. 3.3.3 量化与编码 • 1、量化与量化信噪比 • 经过取样后所获得的图像是由一系列空间上离散的样值序 • 列构成，每个样值是一个有无穷多个取值的连续变量。量化是 • 指将具有无限多个取值的样值用有限个离散值来表示的过程， • 并且可以赋予不同的码字，从而成为真正意义上的数字图像。 • 均匀量化：将样本连续灰度等间隔分层量化方式称为均匀量化 • 非均匀量化：不等间隔分层量化方式称为非均匀量化。

39. 量化既然以有限个离散值来近似表示无限多个连续量，量化既然以有限个离散值来近似表示无限多个连续量， • 就一定会产生误差，这就是所谓的量化误差。由此产生的失 • 真叫量化失真或量化噪声，对均匀量化来讲，量化分层越 • 多，量化误差越小，但编码时占用比特数就越多。在一定比 • 特数下，为了减少量化误差，往往要用非均匀量化，如按图 • 像灰度值出现的概率大小不同进行非均匀量化，即对灰度值 • 经常出现的区域进行细量化，反之进行粗量化。

40. 2、编码 • 通过计算可知，编码位长每增加/减小1bit，就使量化 • 信噪比增加/减小约6dB，因此，取样值的编码比特数n，直 • 接决定图像的质量。 • 通常: • 广播电视、视频通信 8bit • 高质量静止图像、遥感图像等 >=10bit

41. 3.3.4 取样、量化对图像质量的影响 • 1、实际取样脉冲宽度的影响 • 由于实际取样脉冲不是理想的δ函数，而是具有τ宽 • 度，因此会存在取样值误差，从而引起高频失真。 • 2、量化误差的影响 • 量化误差所造成图像质量下降的主要原因有斜率过载、 • 颗粒噪声、边缘忙乱和伪轮廓四种： • 斜率过载发生在图像灰度急剧变化的边界，正是由于 • 此处灰度变化太大，即使使用最大的量化值，仍无法反映 • 期间的变化，因此使图像轮廓变得模糊。

42. 图3-10 实际取样脉冲的频谱

43. 颗粒噪声出现在图像灰度变化很小的区域，这时最小的量化颗粒噪声出现在图像灰度变化很小的区域，这时最小的量化 间隔仍不足以反映其缓慢的变化过程，因此可能会在两个最 小量化电平之间出现来回振荡的局面，造成解码后所恢复的 图像中其灰度平坦区域出现颗粒状的细斑。 边缘忙乱是指在变化不太快的边缘出现闪烁不定的现象。这 是由于原始图像中存在噪声，它造成不同图像帧之间在同一 像素位置产生的量化噪声不同，从而引起缓慢变化的边缘出 现这种不确定的现象。 伪轮廓发生在图像亮度缓慢变化的区域，此时预测误差较 小，但实际系统中所采用量化间隔过大，则会在图像亮度缓 慢增加或减小的区域，出现这种伪轮廓的现象。

44. 3-4 电视技术基础 • 3.4.1 电视系统的组成 • 电视是利用光电和电光转换原理，将光学图像转换为电 • 信号进行远距离传输，然后再还原为光图像的一门技术， • 其系统结构如图3-11所示。 • 在发送端首先经过摄像设备，如摄像机，将景物进行 • 图像分解，完成空时、光电变换（在后面介绍），然后送 • 至信道进行图像信息的传送。在接收端再由显像设备，如 • 显示器，对接收信号进行图像复合，还原成原图像，而其 • 中的同步系统，则负责发送与接收数据之间的同步关系， • 这只是初略的划分，一般来说， • 整个电视系统主要由成像、电视信号形成、信号处理、传输系统、电视信号接收与显示等部分组成。

45. 图3-11 电视系统基本组成

46. 电视制式 所谓电视制式，实际上是一种电视显示的标准。不同的制式，对视频信号的解码方式、色彩处理的方式以及屏幕扫描频率的要求都有所不同，因此如果计算机系统处理的视频信号的制式与连接的视频设备的制式不同，在播放时，图像的效果就会有明显下降，甚至根本无法播放 。 目前国际上三大模拟彩色电视制式： PAL、NTSC、SECAM

47. PAL制式 • PAL是phase Alternate Line的缩写，译为相位逐行交换。它是前联邦德国1962年制定的一种电视制式。它规定每秒25帧，每帧625行，水平分辨率为240~400个像素点，隔行扫描，扫描频率50Hz，宽高比例4:3。我国和西欧大部分国家都使用这种制式。

48. NTSC制式 • NTSC是Notional Television System Committe的缩 • 写，译为国家电视制式委员会。它是1953年美国研制成功的 • 一种兼容的彩色电视制式。它规定每秒30帧，每帧526行， • 水平分辨率为240~400个像素点，隔行扫描，扫描频率 • 60Hz，宽高比例4:3。北美、日本等一些国家使用这种制式。

49. SECAM制式 SECAM是Sequential Color Memory System的缩写， 译为顺序传送彩色存储。它是法国于1965年提出的一种标准。 它规定每秒25帧，每帧625行，隔行扫描，扫描频率为 50Hz，宽高比例4:3。上述指标均与PAL制式相同，不同点主 要在于色度信号的处理上。法国、俄罗斯、非洲地区使用这种 制式。

50. 3.4.2 彩色电视信号的形成与传送原理 • 1、电视信号的形成 • 在实用电视系统中是采用扫描的方式来完成图像的分解 • 与变换，即用时间的一维函数来代表像素信息的物理量，完 • 成扫描功能的设备就是摄像机，如图3-11所示。 • 在目前的电视系统中普遍使用电真空摄像器件，以此通 • 过电子束扫描来实现光电转换，但随着CCD摄像机的不断投 • 入使用，也可以利用各种脉冲数字电路来实现光电转换。