630 likes | 754 Views
第六章 多媒体协议及组播. 流媒体的概念 实时协议 视频点播系统 组播. 网络上 A/V 传输的两种方式. 下载:文件大,存储容量大,网络带宽有限,下载时间长,延迟大。 流( stream )传输:音视频服务器将时基媒体向用户计算机进行连续、实时传送,用户不必等到整个文件全部下载完毕,而只需经过很短的启动延时即可进行观看。当时基媒体在客户机上播放时,文件的剩余部分将在后台从服务器内继续下载。. 流媒体的概念. 指在网络上使用流传输技术的连续时基媒体,如:音频、视频或多媒体文件。
E N D
第六章 多媒体协议及组播 • 流媒体的概念 • 实时协议 • 视频点播系统 • 组播
网络上A/V传输的两种方式 • 下载:文件大,存储容量大,网络带宽有限,下载时间长,延迟大。 • 流(stream)传输:音视频服务器将时基媒体向用户计算机进行连续、实时传送,用户不必等到整个文件全部下载完毕,而只需经过很短的启动延时即可进行观看。当时基媒体在客户机上播放时,文件的剩余部分将在后台从服务器内继续下载。
流媒体的概念 • 指在网络上使用流传输技术的连续时基媒体,如:音频、视频或多媒体文件。 • 流媒体在播放前并不下载整个文件,只将开始部分内容存入内存,流媒体的数据流随时传送随时播放,只是在开始时有一些延迟。 • 流媒体实现的关键技术就是流传输。
流传输的定义 • 现在泛指通过网络传送媒体(如视频、音频)的技术总称。 • 实现流传输的两种方法 • 实时流传输(realtime streaming):若视频为实时广播,或使用流传输媒体服务器,或应用如RTSP的实时协议,即为实时流传输。 • 顺序流传输(progressive streaming):若使用HTTP服务器,文件即通过顺序流发送。
顺序流传输 • 顺序下载,在下载文件的同时用户可观看在线媒体,在给定时刻,用户只能观看已下载的那部分,而不能跳到还未下载的部分。 • 由于标准的HTTP服务器可发送这种形式的文件,也不需要其他特殊协议,它经常被称作HTTP流传输。 • 顺序流传输的速度是不能调整的。 • 在低带宽下,顺序流传输比较适合高质量的短片段,但用户在观看前,必须经历延迟 。 • 顺序流文件是放在标准HTTP 或 FTP服务器上,易于管理。 • 顺序流传输不适合长片段(低带宽)和有随机访问要求的视频,也不支持现场广播。
实时流式传输 • 总是实时传送,特别适合现场事件,也支持随机访问,用户可快进或后退以观看前面或后面的内容。 • 媒体信号带宽与网络连接必须是匹配的。 • 需要专用的流媒体服务器,如:RealServer、Windows Media Server、QuickTime Streaming Server。这些服务器允许对媒体发送进行更多级别的控制,因而系统设置、管理比标准HTTP服务器更复杂。 • 需要特殊网络传输协议,如:RTSP (Realtime Streaming Protocol)或MMS (Microsoft Media Server)。
流媒体的关键技术 • 高速缓存: • 用来弥补延迟和抖动的影响,并保证数据包的顺序正确,使媒体数据能连续输出。 • 使用环形链表结构来存储数据:通过丢弃已经播放的内容,流可以重新利用空出的高速缓存空间来缓存后续尚未播放的内容,因此所需容量并不大。 • 传输协议:一般采用HTTP/TCP来传输控制信息,而用RTP/UDP来传输实时音像数据。 • 需要专用服务器和播放器。
流媒体传输的过程 • Web浏览器与Web服务器之间使用HTTP/TCP交换控制信息,检索出所需传输的实时数据。 • Web浏览器启动A/V Helper程序,使用HTTP从Web服务器检索相关参数(目录信息、编码类型等)对Helper程序初始化。 • A/V Helper程序及A/V服务器之间运行实时流控制协议(RTSP),交换A/V传输所需的控制信息。RTSP提供了操纵播放、快进、快倒、暂停及录制等命令的方法。 • A/V服务器使用RTP/UDP协议将A/V数据传输给A/V客户程序(Helper程序)即可播放输出。
HTTP/TCP 检索 Web Browser Web Server Metafile 定位 RTSP/TCP 控制 A/V Player(Helper) A/V Server RTP/UDP 数据 流传输基本原理图
流媒体文件格式 • 压缩媒体文件格式 • 流文件格式 • 媒体发布格式
压缩媒体文件格式 • 通过某种压缩算法对A/V信息重新编码,使文件大小被处理得更小。 • 在压缩媒体文件再次成为媒体格式前,其中数据需要解压缩。
流文件格式 • 经过特殊编码,使其适合在网络上边下载边播放,而不是等到下载完整个文件才能播放。 • 将压缩媒体文件编码成流文件,必须加入一些附加信息,如:计时、压缩和版权信息。 • 可以在网上以流的方式播放标准媒体文件,但效率不高。
媒体发布格式 • 是一种专门针对多媒体文件的html语言格式。 • 用来对视听数据进行组织和安排。
实时流传输协议 • RTP(Real-time Transport Protocol)实时传输协议。 • RTCP(Real-time Transport Control Protocol)实时传输控制协议 • RTSP(Real Time Streaming Protocol)实时流协议 • RSVP(Resource Reserve Protocol) • MMS(Microsoft Media Server protocol)
实时传输协议RTP • RTP(Real-time Transport Protocol)是用于同步传输实时多媒体数据流的一种传输协议。 • RTP被定义为在一对一或一对多的传输情况下工作,其目的是提供时间信息和实现流同步。 • RTP通常使用UDP来传送数据,但RTP也可以在TCP或ATM等其他协议之上工作。 • 当应用程序开始一个RTP会话时将使用两个端口:一个给RTP,一个给RTCP。 • RTP本身并不能为按顺序传送数据包提供可靠的传送机制,也不提供流量控制或拥塞控制,它依靠RTCP提供这些服务。
RTP报文头格式 • 前12个字节是必须的。CSRC标识符列表只有在混合器(mixer)插入时才存在
RTP报文说明 • V(version):RTP版本,现为2。 • P(padding):填充标志。若设置则报文包含一个填充的八位字节集,用于某些加密算法。 • X(extension):扩展位标志。若设置则在固定报文头后跟一个报文头扩展。 • CSRC计数:指出固定报文头后跟的作用源标识符的数量。 • M(maker):允许标记(帧边界)报文流中的重要事件。 • 载荷类型:规定RTP报文中载荷的格式。 • 序号:被接收方用来恢复报文序列和检测报文丢失。 • 时间戳:表示抽样载荷数据时的时间。 • SSRC(synchronization source)标识符:同步源标识符是为一个RTP主机随机选择的标识符,相同源的所有报文具有相同的SSRC标识符,同一个RTP会话中的每个设备必须有一个惟一的SSRC标识符。 • CSRC(contributing source)标识符:作用源标识符包含一个当前报文中载荷源的列表,用于接收方标识源发送方。该字段只有当使用混合器组合不同的报文流时才使用。
RTP载荷类型 • 见P.307~308 表13-1 • RTP不仅支持音/视频流,任何连续数据流的应用都可使用RTP服务。
实时传输控制协议RTCP • RTCP(Real-time Transport Control Protocol)和RTP一起提供流量控制和拥塞控制服务。 • 在RTP会话期间,各参与者周期性地传送RTCP包。RTCP包中含有已发送的数据包的数量、丢失的数据包的数量等统计资料,服务器利用这些信息动态地改变传输速率,甚至改变有效载荷类型。 • RTCP也使用UDP进行通信,它和 RTP配合使用,能以有效的反馈和最小的开销使传输效率最佳化,因而特别适合传送网上的实时数据。
RTCP定义了五种反馈的控制信息 • 发送方报告(Sender Report):由RTP数据流的源通过组播发送,提供发送方观察到的传输和接收统计信息。 • 接收方报告(Receiver Report):提供非主动发送方的参与者的接收统计信息。 • 源描述报告(Source DEScription):被RTP发送方用来提供本地能力信息。 • BYE(goodBYE):一个源离开一个会话时将使用此消息。 • APP(APPlication defined):在开发了新应用和新特征时作为试验使用。
RTCP报文格式 • 见P.311 图13-5 • 分为三个部分: • 报文头:规定报文类型、长度及发送方标识符。 • 发送方信息。 • 接收方报告块(可以为多个)。
RTP转换器和混合器 • RTP转换器用来改变RTP报文中的数据类型。例如将高速的视频流转换成低带宽的视频流。 • RTP混合器将多个数据流组合成一个单独的RTP流。只能用于音频。
实时流协议RTSP • RTSP(Real Time Streaming Protocol)是由RealNetworks和Netscape共同提出的,该协议定义了一对多应用程序如何有效地通过IP网络同步传送多媒体数据。 • RTSP在体系结构上位于RTP和RTCP之上,它使用TCP或RTP完成数据传输。 • 本身并不发送数据流,只控制实时数据的发送。
HTTP与RTSP的比较 • HTTP传送HTML,而RTSP传送的是多媒体数据。 • HTTP请求由客户机发出,服务器作出响应;使用RTSP时,客户机和服务器都可以发出请求,即RTSP可以是双向的。 • RTSP在语法和操作上与HTTP/1.1类似,因此HTTP的扩展机制大都可加入RTSP。
资源预留协议RSVP • RSVP(Resource reSerVe Protocol)是Internet上的网络控制协议,运行在IP和UDP的上层。 • 使用RSVP预留一部分网络资源,能在一定程度上为流媒体的传输提供QoS。
三种网络视频传输应用系统 • RealNetworks Real System • Microsoft Media Service • Apple QuickTime
Real System • RealNetworks公司的Real Media包括RealAudio、RealVideo和RealFlash三类文件。 • RealNetworks公司自1995年发布RealAudio 1.0以来,RealAudio和RealVideo产品已经成为Internet网上最受欢迎的解决方案。
REAL的压缩方式 • 采用SVT(Scalable Video Technology)技术,此编码解码具有扩展其行为的能力,如连接速率低于编码时采用的速率,播放时服务器端丢弃不重要的信息。播放器在其解码能力范围内尽可能还原视频质量。 • 双向编码技术类似于VBR根据带宽的限制选择最优化压缩码率,这就是所谓的SureStream技术。在网络带宽自适应方面,REAL优于WM。
Real System的产品 • RealServer • RealProducer • RealPlayer • RealProxy • RealPresenter
RealServer的运行环境 • 推荐使用的系统平台: • sun solaris7/8 • RedHat Linux7, Turbo Linux 6 • Windows2000 Server
RealServer的内存需求 • 在原先RealServer占用的64MB可用内存基础上,每1kbps数据流还要占用12K的内存,所以在固定了媒体传输流的速率的基础上,在使用最大流数时的内存计算公式可以通过下表得到: • 系统配置参考: • 100并发用户,250Kbps以下的应用,512M内存,应用实例:网上直播。 • 100并发用户,250Kbps以上的应用,1GM内存,应用实例:局域网的VOD点播应用
RealServer的网络带宽需求 • 所需带宽的计算方法:每kbps数据速率×最大流数
RealServer的存储空间 • 系统需要的存储空间大小需要依据用户的实际情况来确定,对于互联网直播应用的情况,需要相对较小的存储空间,而对于VOD的应用情况则需要较大的存储空间。估算方法:[流的带宽(bps)×时间]÷8 = 文件的大小(Byte) • 示例:用225kbps带宽压缩的影片文件,55分钟左右的时长,文件的大小大约在90M左右。
RealProducer • RealProducer是一个编码、 压缩转换工具。用来制作Real视频、音频文件。 • 主要功能: • 将常见格式视音频文件转换成RealNetworks公司的rm流格式文件。 • 能够将视频捕捉卡捕获的影像实时地压缩转换成直播信息流(或者rm流格式文件),然后送到RealServer服务器,实现直播。
RealPlayer • 播放rm文件。
Media Service • Windows Media 服务可以通过各类网络传送流媒体内容。 • Microsoft的Windows Media的核心是ASF(Advanced Stream Format)。 • ASF是一种数据格式,音频、视频、图像以及控制命令脚本等多媒体信息通过这种格式,以网络数据包的形式传输,实现流式多媒体内容发布。
Windows Media的压缩方式 • Windows Media Video派生于MPEG-4,几个专有扩展功能(True-VBR和Two-Pass Encoding)使其可在给定位率下提供更好图象质量。可以说WMV是流式视频中质量最高的。 • Windows Media Audio类似于MP3, 并具有两大优势:特别适合于低速率传输,在给定速率下可获得更好的质量。
QuickTime • Apple公司的QuickTime于1991年登台亮相,是Apple公司面向专业视频编辑、Web网站创建和CD-ROM内容制作领域开发的多媒体技术平台。 • QuickTime支持几乎所有主流的个人计算平台,是数字媒体领域事实上的工业标准,是创建3D动画、实时效果、虚拟现实、A/V和其他数字流媒体的重要基础。
QuickTime的压缩方式 • 可以选择包括H.263在内的多种编码,但主要以SorensonVideo为主,5.0开始已经采用了MPEG-4压缩技术。 • QuickTime中的声音Codec为QualcomPureVolM,从4.1版本中开始支持VBR。QuickTime的音乐Codec为QDesiglMusic2。
中科大Video City简介 • 建立在美国RealNetworks公司的Real System视频解决方案基础上的一套技术先进、功能完善的视频服务提供系统。 • 目前可提供超过1000条高质量的视频并发流,其中包含有约1500个视频节目(文件)内容提供视频点播,三个视频广播节目提供视频直播。 • 作用:远程教学、科学研究、政治宣传、新闻传播、娱乐生活等方面。
结构(最基本形式) Server 网络 Encoder Player
网络 结构(Video City模式) 广播服务组 点播服务组 Web服务器
技术 • 实时流媒体控制技术 • SNMP及网络负载均衡 • 交换的快速(千兆)以太网 • RAID-5 • Multicast • PHP及JAVA