1.04k likes | 1.45k Views
Audio Coding Standards. §2.3. 主要介绍. MPEG 及其相关的音频编码标准、算法原理 包括 : MPEG-1 Layer I, II & III , MPEG-2 AAC 以及与之相关的 Dolby AC-3 , MPEG-4 的 Natural Audio ,未来 MPEG 发展方向等。 国家 AVS (Audio Video Standard) 发展计划. 第二章 音频信息处理 ▪ 标准. Contents. 2.3.1 Overview of Audio Coding Standards
E N D
Audio Coding Standards §2.3 主要介绍 MPEG及其相关的音频编码标准、算法原理 包括:MPEG-1 Layer I, II & III,MPEG-2 AAC以及与之相关的Dolby AC-3,MPEG-4的Natural Audio,未来MPEG发展方向等。 国家AVS (Audio Video Standard)发展计划 第二章 音频信息处理 ▪ 标准
Contents 2.3.1 Overview of Audio Coding Standards 2.3.2ITU-T Audio Coding Recommendations 2.3.3 Perceptual Audio Coding Basic 2.3.4 MPEG Audio Coding Systems 2.3.5 Dolby Audio Coding 2.3.6 China Audio Coding Initiatives 2.3.7 Next Step of Audio Coding References
References • Basics about MPEG Perceptual Audio Coding http://www.iis.fraunhofer.de/amm/techinf/basics.html • MPEG _ China • http://www.mpegchina.com.cn/index.htm • MPEG-4 Industry Forum • http://www.m4if.org/ • MPEG.ORG • http://www.mpeg.org/MPEG/index.html 第二章 音频信息处理 音频编码标准
♫♪♫♪ 1. An Overview of Audio & Sound Coding Standards From Source Coding to Perceptual Coding Audio / Sound Coding Technologies Multimedia Communication Multimedia Framework
Audio Coding Overview • From source coding to perceptual coding • Psychoacoustic Model • Low data rate, Hi-Fi • From signal to content • “Structured Audio” & Audio Retrieving • From local application to global access • MPEG 21 perspective • Multimedia Framework • From stereo to surrounding multi-channel • Dolby AC-3 5.1 system & more … 第二章 音频信息处理 音频编码标准
International ORG. / COM. • International Telecommunication Union http://www.itu.int/home/ • CCITT:the International Consultative Committee on Telephony and Telegraphy • International Organization for Standardization http://www.iso.org/ • International Electrotechnical Commission http://www.iec.org/ • MPEG:Moving Picture Experts Group http://mpeg.telecomitalialab.com/ • Dolby Laboratories, Inc. http://www.dolby.com/http://www.dolby.com.cn/ 第二章 音频信息处理 音频编码标准
♫♪♫♪ 2. ITU Recommendations G.711-话音的PCM编码 G.721-32kbit/s自适应脉冲编码调制 G.722-64kbit/s(7KHz)音频编码 低延时CELP-16kbit/s语音编码标准 其他ITU建议
Chronicle 1972年:G.711 64kb/s A律 PCM 编码标准。 1984年:G.721 32kb/s 自适应差值脉冲编码ADPCM G.722 64kb/s 子带ADPCM编码标准 G.723.1 5.3kb/s和6.3kb/s LSF G.726 16kb/s 1990年:G.727 16-40kb/s 嵌入式ADPCM标准。 1992年:G.728 / G.729 16kb/s LD-CELP 1988年:RPE-LTP 13kb/s长时预测规则码激励(欧洲)GSM 1989年:VSELP 6.7kb/s 矢量和激励线性预测(日本) 第二章 音频信息处理 音频编码标准
ITU Recommendations • 所采用的算法 第二章 音频信息处理 音频编码标准
ITU Recommendations • G.711:话音的PCM编码建议 • 给出了话音信号编码的推荐特性 • 话音的抽样率为8000Hz • 每个样值采用8位二进制编码 • 推荐使用A律和μ律量化。分别给出A律和μ律的定义, 将13位PCM码按A律、14位PCM码按μ律转换8位编码 • G.721:自适应差值脉冲编码调制 • 1986年作了进一步修订 • 它用于64kbit/s的A律或μ律PCM到32kbit/s ADPCM之间的转换,实现了对PCM信道的扩容 第二章 音频信息处理 音频编码标准
ITU Recommendations • ADPCM编/解码器 A律或μ律PCM输入信号转换成均匀的PCM。差分信号等于均匀的PCM输入信号与预测信号之差。“自适应量化器”用4位二进制数表示差分信号,但只用其中的15个数(即15个量级)来表示差分信号,这是为防止出现全“0”信号。“逆自适应量化器”从这4位相同的代码中产生量化差分信号。预测信号和这个量化差分信号相加产生重构信号。“自适应预测器”根据重构信号和量化差分信号产生输入信号的预测信号,这样就构成了一个负反馈回路 译码器的部分结构与编码器负反馈回路部分相同。此外,还包含有均匀PCM到A律或μ律PCM的转换部分,以及同步编码调整(synchronous coding adjustment)部分。设置同步(串行)编码调整的目的是为防止在同步串行编码期间出现的累积信号失真。 第二章 音频信息处理 音频编码标准
3. Preliminary for Perceptual Audio Coding 根据人的听觉系统特性(如对响度、音高的感知特性以及掩蔽效应),使用心理声学模型(Psychoacoustic Model)和感知子带编码(Perceptual Sub-band Coding)、Dolby AC-3编码对音频/声音数据进行压缩,其压缩比较大、还原出的音质比较好。 MPEG Audio Coding就是采用了该套算法。
Some Conceptions • 声音的度量方法 • 响度:声音的强弱。度量方法有客观和主观度量方法 • 客观:声压( dyn/cm2 ),声强( W/cm2 ),声强级(dB)。 10-16 W/cm2 = 0 (dB) • 主观:方( phon )或宋 ( sone ) 响度级 人耳刚能听到,此时的主观响度级 = 0 (方) • 音高:客观用频率 ( Hz )表示,主观用 Mel (美)表示 Mel = 1000 Log2(1+) • 听觉系统的感知特性 • 对响度的感知 • 对音高的感知 • 掩蔽效应 第二章 音频信息处理 音频编码标准
Perceptual Audio Coding (1) • 对响度的感知 实验表明: 听阈是随频率变化的。测出的“听阈—频率”曲线如图所示,最靠下面的一根曲线叫做“零方等响度级”曲线,也称“绝对听阈”曲线,即在安静环境中,能被人耳听到的纯音的最小值。 如果频率为1 kHz的纯音的声强级达到120dB左右时,人的耳朵就感到疼痛,这个阈值称为“痛阈”(图中最靠上面所示的一根曲线)。这条曲线也就是120方等响度级曲线。 人耳对不同频率的敏感程度差别很大,其中对2 kHz~4 kHz范围的信号最为敏感,幅度很低的信号都能被人耳听到。而在低频区和高频区,能被人耳听到的信号幅度要高得多。 痛阈 dB 听阈 Hz 第二章 音频信息处理 音频编码标准
Perceptual Audio Coding (2) • 对音高的感知 人耳对频率的感觉也有一个范围。人耳可以听到的最低频率约20 Hz,最高频率约18000 Hz。 测量主观音高时,让实验者听两个声强级为40 dB的纯音,固定其中一个纯音的频率,调节另一个纯音的频率,直到他感到后者的音高为前者的两倍,就标定这两个声音的音高差为两倍。 实验表明,音高与频率之间也不是线性关系。测出的“音高—频率”曲线如图所示。 “音高—频率”曲线 第二章 音频信息处理 音频编码标准
Perceptual Audio Coding (3) • 声音的掩蔽效应 • 定义:一种频率的声音阻碍听觉系统感受另一种频率的声音的现象称为掩蔽效应。前者称为掩蔽声音(masking tone),后者称为被掩蔽声音(masked tone)。 • 声音的掩蔽效应可以分为: • 频域掩蔽(Frequency Domain Masking),也称同时掩蔽(Simultaneous Masking) • 时域掩蔽(Time Domain Masking) 第二章 音频信息处理 音频编码标准
Perceptual Audio Coding (3 cont.) • 频域掩蔽 • 定义:一个强纯音会掩蔽在其附近同时发声的弱纯音,这种特性称为频域掩蔽,也称同时掩蔽。 第二章 音频信息处理 音频编码标准
Perceptual Audio Coding (3 cont.) • 一般来说,弱纯音离强纯音越近就越易被掩蔽。 • 从下图可知: • 在250 Hz、1 kHz、4 kHz和8 kHz纯音附近,对其他纯音的掩蔽效果最明显 • 低频纯音可以有效地掩蔽高频纯音,但高频纯音对低频纯音的掩蔽作用则不明显。 = 0.25, 1, 4 kHz 第二章 音频信息处理 音频编码标准
Perceptual Audio Coding (3 cont.) 临界频带的划分 • 由于声音频率与掩蔽曲线不是线性关系,为从感知上来统一度量声音频率,引入临界频带(Critical Band)的概念。通常认为,在20 Hz到16 kHz范围内有24个临界频带。 • 临界频带的单位叫Bark (巴克) • 1 Bark = 一个临界频带的宽度 • (频率)< 500 Hz的情况下, 1 Bark ≈ /100 • (频率) > 500 Hz的情况下, 1Bark ≈ 9 + 4log( /1000) 第二章 音频信息处理 音频编码标准
Perceptual Audio Coding (3 cont.) • 时域掩蔽 • 定义:在时间上相邻的声音之间的掩蔽现象。 • 时域掩蔽可以分为: • 超前掩蔽(pre-masking) • 滞后掩蔽(post-masking) • 产生时域掩蔽的主要原因是人的大脑处理信息需要花费一定的时间。一般来说,超前掩蔽很短,只有大约5~20 ms,而滞后掩蔽可以持续50~200 ms。 余音绕梁 经久不竭 第二章 音频信息处理 音频编码标准
Perceptual Audio Coding (3 cont.) • Audio Masking在其他方面的应用 • 如办公场所的噪声掩蔽,提高办公环境的舒适度 第二章 音频信息处理 音频编码标准
4. MPEG Audio Moving Picture Experts Group Audio Coding Standards MPEG-1 Audio : Layer I, II &III MPEG-2 Audio : Back Compatible (BC) AAC : Advanced Audio Coding (Non BC) MPEG-4 Audio : Overview MPEG 21 : The Next Step of MPEG
About MPEG • 国际标准化组织ISO和国际电工委员会IEC 所属WG11工作组,1986年成立了运动图像压缩编码组织MPEG,负责开发电视图象数据和声音数据的编码、解码和它们的同步等标准,其开发的标准称为MPEG标准。 • 到目前为止,已经开发和正在开发的MPEG标准有: • MPEG-1:数字电视标准,1992年正式发布 • MPEG-2:数字电视标准 • MPEG-3:已于1992年7月合并到高清晰度电视(High-Definition TV,HDTV)工作组 • MPEG-4:多媒体应用标准(1999年发布) • MPEG-5:还没有见到定义 • MPEG-6:还没有见到定义 • MPEG-7:多媒体内容描述接口标准(正在研究) 第二章 音频信息处理 音频编码标准
Chronicle of MPEG Standards • MPEG Audio Coding Standards工作进程: • 1993年08月 公布 MPEG-1 ISO/IEC 11172 • 1994年08月 公布 MPEG-2 ISO/IEC 13818 • 1999年01月 公布 MPEG-4 ISO/IEC 14496 V1.0 • 1999年12月 公布 MPEG-4 ISO/IEC 14496 V2.0 • 1998年10月 征集建议MPEG-7 • 2001年07月 公布国际标准草案 • 2001年09月 公布国际标准 • 2000年03月 成立 MPEG-21工作组 第二章 音频信息处理 音频编码标准
Some Explanations • MPEG-1 ISO/IEC 11172 MPEG-2 ISO/IEC 13818 • 第一代压缩编码方法:数据编码。如预测编码、变换编码、熵编码、参数编码。 • MPEG-4 ISO/IEC 14496 V1.0 MPEG-4 ISO/IEC 14496 V2.0 • 基于对象的编码 • 面向媒体的基于内容的访问、检索、操作的需求 • 定义的是格式、框架,而不是具体算法 • 视频对象(video object):能够访问(检索或浏览)和操作(剪贴)的实体 • 压缩比高、基于内容的交互功能 • MPEG-7 • 多媒体内容描述接口 第二章 音频信息处理 音频编码标准
Some Explanations (cont.) • MPEG Audio与听觉系统的感知特性 • 声音数据压缩算法的根据是心理声学模型。 • 一个最基本的概念是听觉系统中存在一个听觉阈值电平,低于这个电平的声音信号就听不到 (大多数人的听觉系统对2 kHz~5 kHz之间的声音最敏感。一个人是否能听到声音取决于声音的频率,以及声音的幅度是否高于这种频率下的听觉阈值) • 心理声学模型中的另一个概念是听觉掩饰特性,意思是听觉阈值电平是自适应的,即听觉阈值电平会随听到的频率不同的声音而发生变化 (例如,在一般环境下房间里的普通谈话可以听得很清楚,但在摇滚乐环境下同样的普通谈话就听不清楚了。声音压缩算法也同样可以确立这种特性的模型,根据这个模型可取消冗余的声音数据) 第二章 音频信息处理 音频编码标准
Prices Aspects Why Price ? • MPEG-LA • MPEG本身只制定相关的标准 • MPEG-LA是一家处理MPEG专利转化的机构 • MPEG-LA代表专利人的利益 MPEG 4 第二章 音频信息处理 音频编码标准
4. MPEG Audio Moving Picture Experts Group Audio Coding Standards MPEG-1 Audio : Layer I, II &III MPEG-2 Audio : Back Compatible MPEG-2 AAC : Advanced Audio Coding MPEG-4 Audio : Overview
4. MPEG Audio Moving Picture Experts Group Audio Coding Standards MPEG-1 Audio : Layer I, II &III MPEG-2 Audio : Back Compatible AAC : Advanced Audio Coding MPEG-4 Audio : Overview
4. MPEG Audio Moving Picture Experts Group Audio Coding Standards MPEG-1 Audio : Layer I, II &III MPEG-2 Audio : Back Compatible MPEG-2 AAC : Advanced Audio Coding MPEG-4 Audio : Overview
4. MPEG Audio Moving Picture Experts Group Audio Coding Standards MPEG-1 Audio : Layer I, II &III MPEG-2 Audio : Back Compatible AAC : Advanced Audio Coding MPEG-4 Audio : Overview
Why ? • 人耳可听到的频率范围大约是20 Hz~20 kHz • s≥2 (为被采样信号的最高频率) MPEG-1 Audio • Audio Coding Algorithms • 采用子带编码(sub-band coding,SBC)方法 • 具体思想:首先把时域中的声音数据变换到频域,对频域内的子带分量分别进行量化和编码,然后根据心理声学模型确定样本的精度,从而达到压缩数据量的目的。 • 与音源特定编码法不同,SBC不局限于只对话音进行编码,也不局限于哪一种声源。 • MPEG声音数据压缩的基础是量化。虽然量化会带来失真,但MPEG标准要求量化失真对于人耳来说是感觉不到的。 • 实验表明:采样频率为48 kHz、样本精度为16比特的声音数据压缩到256 kb/s时,即在6:1的压缩率下,即使是专业测试员也很难分辨出是原始声音还是编码压缩后的声音。 (根据奈奎斯特理论,要想不失真地重构信号,采样频率不能低于40 kHz。再考虑到实际中使用的滤波器都不可能是理想滤波器,以及考虑各国所用的交流电源的频率,为保证声音频带的宽度,所以采样频率一般不能低于44.1 kHz) 第二章 音频信息处理 音频编码标准
MPEG-1 Audio (cont.) • MPEG Audio压缩算法框图 • 标准代号:ISO/IEC 11172-3 第二章 音频信息处理 音频编码标准
层1的编码器最为简单,编码器的输出数据率为384 kb/s,主要用于小型数字盒式磁带(digital compact cassette,DCC)。 • 层2的编码器的复杂程度属中等,编码器的输出数据率为256 kb/s~192 kb/s,其应用包括数字广播声音(digital broadcast audio,DBA)、数字音乐、CD-I (compact disc-interactive)和VCD (video compact disc)等。 • 层3的编码器最为复杂,编码器的输出数据率为64 kb/s,主要应用于ISDN上的声音传输。 MPEG-1 Audio (cont.) • 声音的性能 • 是世界上第一个高保真声音数据压缩国际标准 • 主要指标: • 输入/输出信号 • 提供三个独立的压缩层次:Layer I, II & III,用户对层次的选择可在复杂性和声音质量之间进行权衡。 第二章 音频信息处理 音频编码标准
MPEG-1 Audio (cont.) • 声音的性能 • 主要指标: • 在尽可能保持CD音质为前提的条件下,压缩率如下表所示 * MUSICAM ( Masking pattern adapted Universal Sub-band Integrated Coding And Multiplexing ) 自适应声音掩蔽特性的通用子带综合编码和复合技术 **ASPEC ( Adaptive Spectral Perceptual Entropy Coding of high quality musical signal ) 高质量音乐信号自适应谱感知熵编码(技术) 第二章 音频信息处理 音频编码标准
MPEG-1 Audio (cont.) • 声音的性能 • 主要指标: • MPEG编码 / 解码器的延迟时间 • 编码后的数据流支持循环冗余校验CRC • MPEG声音标准还支持在数据流中添加附加信息 第二章 音频信息处理 音频编码标准
MPEG-1 Audio (cont.) • 声音的性能 • 主要指标: • 可预先定义压缩后的数据率(Layer III) ,并支持用户预定义的数据率。 第二章 音频信息处理 音频编码标准
信掩比是指最大的信号功率与全局掩蔽阈值之比,上图表示了某个子带中的信掩比。 MPEG声音编码器结构图 MPEG-1 Audio (cont.) • 声音编码器结构 • 采用子带编码 • 输入声音信号经过一个“时间-频率多相滤波器组”变换到频域里的多个子带中,同时经过“心理声学模型(计算掩蔽特性)”,该模型计算以频率为自变量的噪声掩蔽阈值(masking threshold),查看输入信号和子带中的信号以确定每个子带里的信号能量与掩蔽阈值的比率。 • 量化和编码部分用信掩比(signal-to-mask ratio,SMR)来决定分配给子带信号的量化位数,使量化噪声低于掩蔽阈值。 • 最后通过“数据流帧包装”将量化的子带样本和其他数据按照规定的称为“帧(frame)”的格式组装成位数据流。 第二章 音频信息处理 音频编码标准
MPEG-1 Audio (cont.) • 声音编码器结构 • 多相滤波器组 • 把输入信号变换到32个频域子带中去,子带的划分方法有两种,一种是线性划分,另一种是非线性划分 如果把声音频带划分成带宽相等的子带,这种划分就不能精确地反映人耳的听觉特性,因为人耳的听觉特性是以“临界频带”来划分的,在一个临界频带之内,很多心理声学特性都是一样的。下图对多相滤波器组的带宽和临界频带的带宽作了比较。 从图中可以看到,在低频区域,一个子带覆盖好几个临界频带。在这种情况下,某个子带中量化器的比特分配就不能根据每个临界频带的掩蔽阈值进行分配,而要以其中最低的掩蔽阈值为准。 第二章 音频信息处理 音频编码标准
MPEG-1 Audio (cont.) • 声音编码器结构 • 编码层 • MPEG声音压缩定义了3个分明的层次,它们的基本模型是相同的。层1是最基础的,层2和层3都在层1的基础上有所提高。每个后继的层次都有更高的压缩比,但需要更复杂的编码解码器 • 每一个层都自含SBC编码器,高层SBC可使用低层SBC编码的声音数据 • 声音数据分成帧(frame)。Layer I每帧包含 384个样本的数据,每帧由32个子带分别输出的12个样本组成。Layer II和Layer III每帧为1152个样本,如图所示: 第二章 音频信息处理 音频编码标准
MPEG-1 Audio (cont.) • 声音解码器结构 • 解码器对位数据流进行解码,恢复被量化的子带样本值以重建声音信号。由于解码器无需心理声学模型,只需拆包、重构子带样本和把它们变换回声音信号,因此解码器就比编码器简单得多。 第二章 音频信息处理 音频编码标准
MPEG-1 Audio (cont.) • Layer I • 层1的子带是频带相等的子带,它的心理声学模型仅使用频域掩蔽特性。 • 时间-频率多相滤波器组使用类似于离散余弦变换DCT (discrete cosine transform)的分析滤波器组进行变换,以获得详细的信号频谱信息。根据信号的频率、强度和音调,滤波器组的输出可用来找出掩蔽阈值,然后组合每个子带的单个掩蔽阈值以形成全局的掩蔽阈值。使用这个阈值与子带中的最大信号进行比较,产生信掩比SMR之后再输入到量化和编码器。 • 量化和编码器首先检查每个子带的样本,找出这些样本中的最大的绝对值,然后量化成6比特,这个比特数称为比例因子(scale factor)。 • 然后根据SMR确定每个子带的比特分配(bit allocation),子带样本按照比特分配进行量化和编码。对被高度掩蔽的子带自然就不需要对它进行编码。 第二章 音频信息处理 音频编码标准
MPEG-1 Audio (cont.) • Layer I • 对一个子带中的一个样本组(由12个样本组成)进行编码 • 数据流帧包装 • 按规定的帧格式进行包装,实际上就是一个多路复合器MUX • 帧结构如下图所示,每帧都包含: ①用于同步和记录该帧信息的同步头,长度为32比特,结构如下图所示 ②用于检查是否有错误的循环冗余码CRC,长度为16比特 ③用于描述比特分配的比特分配域,长度为4比特 ④比例因子域,长度为6比特 ⑤子带样本域 ⑥有可能添加的附加数据域,长度未规定。 第二章 音频信息处理 音频编码标准
MPEG-1 Audio (cont.) • Layer II • 对层1作了一些直观的改进,相当于3个层1的帧,每帧有1152个样本 • 心理声学模型 • 除了使用频域掩蔽特性之外还利用了时间掩蔽特性 • 在低、中和高频段对比特分配作了一些限制,对比特分配、比例因子和量化样本值的编码也更紧凑 • 由于采用了上述措施,因此所需的比特数减少了,这样就可以有更多的比特用来表示声音数据,音质也比层1更高。 • 层2(层3亦如此)对一个子带中的三个样本组进行编码,比特流数据格式如上图所示。 层1是对一个子带中的一个样本组(由12个样本组成)进行编码 第二章 音频信息处理 音频编码标准
MPEG-1 Audio (cont.) • Layer III • 使用比较好的临界频带滤波器,把声音频带分成非等带宽的子带 • 心理声学模型除了使用频域掩蔽特性和时间掩蔽特性之外,还考虑了立体声数据的冗余,并且使用了霍夫曼(Huffman)编码器(见下图) • 使用了从ASPEC (Audio Spectral Perceptual Entropy Encoding)和OCF (Optimal Coding In The Frequency domain)导出的算法,比层1和层2都要复杂。 • 所用的滤波器组与层1和层2所用的滤波器组的结构相同,但是层3还使用了改进离散余弦变换(modified discrete cosine transform,MDCT),对层1和层2的滤波器组的不足作了一些补偿(MDCT把子带的输出在频域里进一步细分以达到更高的频域分辨率。而且通过对子带的进一步细分,层3编码器已经部分消除了多相滤波器组引入的混迭效应) 第二章 音频信息处理 音频编码标准
Layer III编解码器结构 • ISO/MPEG Audio Layer III Coder / Decoder 第二章 音频信息处理 音频编码标准
MPEG-1 Audio (cont.) • MPEG层3在各种数据率下的性能 第二章 音频信息处理 音频编码标准
MPEG-2 Audio Overview MPEG委员会定义了两种声音数据压缩格式: 一种称为MPEG-2 Audio,或称MPEG-2 Multichannel声音,它与MPEG-1 Audio是兼容的,又称MPEG-2 BC (Backward Compatible)。 另一种称为MPEG-2 AAC (Advanced Audio Coding),它与MPEG-1声音格式不兼容,因此通常称为MPEG-2 NBC (Non-Backward Compatible) 。 这里先介绍MPEG-2 Audio : BC。
MPEG-2 BC简介 • 标准代号:ISO/IEC 13818-3 • MPEG-2 BC特性: • 与MPEG-1 Audio (ISO/IEC 1117-3)标准兼容,都使用相同种类的编译码器,层-1, -2和-3的结构也相同 • 增加了16 kHz, 22.05 kHz和24 kHz采样频率 • 扩展了编码器的输出速率范围,由32~384 kb/s扩展到8~640 kb/s • 增加了声道数,支持5.1声道和7.1声道的环绕声 • 支持Linear PCM(线性PCM)和Dolby AC-3(Audio Code Number 3)编码 第二章 音频信息处理 音频编码标准
MPEG-2 BC简介 • MPEG-2 BC特性 • 与其他声音数据规格间的比较 第二章 音频信息处理 音频编码标准