第 9 章 网络多媒体技术

1. 第9章 网络多媒体技术 主编:马武

2. 9.1 网络多媒体技术的应用 网络多媒体技术融合了计算机网络和多媒体技术的优点，在多个领域都有应用 • 网络直播 • 网络视频会议 • 视频点播 • IPTV • 远程教学 • …

3. 9.1.1网络视频会议 • 网络视频会议系统是利用各种通信网络，在多点之间进行实时双向视频、音频、数据通信的多媒体通用交流平台。 • 它将静态图像、动态图像、语音、文字等多种信息分别发送到各个用户，使得在地理上分散的用户通过图像、声音等多种方式进行信息交流。

4. 视频会议系统分类 • 硬件视频会议系统 • 软件视频会议系统 • 从目前的发展趋势看软件视频会议系统将会成为视频会议的主流

5. 视频会议系统组成 • 视频会议终端 • 多点会议控制器MCU • 网络管理软件 • 传输网络 • 相关附件

6. 视频会议终端有桌面型、机顶盒型和会议室型三种。视频会议终端有桌面型、机顶盒型和会议室型三种。 • 桌面型终端是多媒体计算机与高质量的摄像机、ISDN卡或网卡和视频会议软件的组合。虽然桌面型视频会议终端支持多点会议，但是它多数用于点对点会议。 • 机顶盒型终端以简洁著称。在一个单元内包含了所有的硬件和软件，放置于电视机上，安装简便，设备轻巧。开通视频会议只需要一台普通的电视机和一条ISDN BRI线或局域网连接。机顶盒型终端适用于从跨国公司到小企业等各种规模的机构。 • 会议室型终端几乎提供了任何视频会议所需的解决方案，一般集成在一个会议室。会议室型终端通常组合大量的附件，例如音频系统、附加摄像机和文档投影仪等。会议室型终端主要适用于大中型企业。

7. 多点控制单元MCU也叫多点会议控制器。MCU是多点视频会议系统的关键设备，它的作用相当于一个交换机，它将来自各会议场点的信息流，经过同步分离后，抽取出音频、视频、数据等信息和信令，再将各个会议场点的信息和信令，送入同一种处理模块，完成相应的音频混合或切换、视频混合或切换、数据广播和路由选择、定时和会议控制等过程，最后将各个会议场点所需的各种信息重新组合起来，送往各相应的终端系统设备。多点控制单元MCU也叫多点会议控制器。MCU是多点视频会议系统的关键设备，它的作用相当于一个交换机，它将来自各会议场点的信息流，经过同步分离后，抽取出音频、视频、数据等信息和信令，再将各个会议场点的信息和信令，送入同一种处理模块，完成相应的音频混合或切换、视频混合或切换、数据广播和路由选择、定时和会议控制等过程，最后将各个会议场点所需的各种信息重新组合起来，送往各相应的终端系统设备。 • MCU是视频会议系统的核心部分，为用户提供群组会议、多组会议的连接服务。目前主流厂商的MCU一般可以提供单机多达100个用户以上的接入服务，并且可以进行级联，基本能够满足用户的使用要求。

8. 网络管理软件改变分布在全球不同地区的用户之间沟通的方式，使用户之间的沟通更灵活、更便捷、更经济。网络管理软件改变分布在全球不同地区的用户之间沟通的方式，使用户之间的沟通更灵活、更便捷、更经济。

9. 传输网络即宽带连接方式，通常有LAN接入、ADSL接入、Cable Modem接入和无线接入四种方式。 • 视频会议系统传送的是多媒体数据，由于声音和动态图像的源信号数据量较大，无法直接在一般条件的数字线路上传输。同时，基于对实际使用效果的要求，用户还要求传送的声音、图像信号连续平滑。因此，要达到这样的效果，系统在声音、图像压缩、通讯线路条件、数据、应用程序共享等方面都提出了很高的要求。

10. 视频会议系统需要哪些附属设备需要看具体应用需求，通常用到的附属设备包括投影仪、监视器、大型扩音器、麦克风、大型摄像机、DVD播放机、录像机、写字板、记忆卡、放映机等。视频会议系统需要哪些附属设备需要看具体应用需求，通常用到的附属设备包括投影仪、监视器、大型扩音器、麦克风、大型摄像机、DVD播放机、录像机、写字板、记忆卡、放映机等。

11. NetMeeting的使用 • Windows在其操作系统中提供了NetMeeting程序，该程序整合了电子白板、在线交谈、音频通讯、视频通讯，实时文件传送、共享应用程序等功能。利用该程序，可以直接进行视频会议。

12. NetMeeting使用方法 • （1）在Windows XP中，默认情况下，不能从“开始｜程序”菜单中启动NetMeeting。可单击“开始”菜单，选择“运行”命令，在弹出的对话框中键入conf，单击“确定”即可启动该程序。

13. （2）第一次启动NetMeeting，会弹出“配置向导”窗口，需要对NetMeeting的相关信息进行设置，比如个人信息、上网方式、音频调节等，需要注意的是目录服务器的设置，Microsoft Internet Directory是微软预设的服务器，也可以填写其它服务器的名称。

14. （3）NetMeeting启动后界面如右一图所示，主持会议者可以单击“呼叫｜主持会议”，在弹出的对话框中对会议的相关属性进行设置，例如会议名称、会议密码，如右二图所示。（3）NetMeeting启动后界面如右一图所示，主持会议者可以单击“呼叫｜主持会议”，在弹出的对话框中对会议的相关属性进行设置，例如会议名称、会议密码，如右二图所示。

15. （4）会议的主持者发出呼叫。选择“呼叫”菜单下的“新呼叫”，在弹出的对话框中填入被呼叫方的IP地址。（4）会议的主持者发出呼叫。选择“呼叫”菜单下的“新呼叫”，在弹出的对话框中填入被呼叫方的IP地址。

16. （5）被呼叫方接受呼叫。收到呼叫信号的一方会自动弹出提示框，单击“接受”就可以加入视频会议。（5）被呼叫方接受呼叫。收到呼叫信号的一方会自动弹出提示框，单击“接受”就可以加入视频会议。

17. （6）加入会议后，即可使用NetMeeting的各项功能，比如视频、音频聊天、共享、白板、文件传送等，单击“工具”菜单中的相关命令或者使用界面上的相关工具按钮即可(如右图所示)。（6）加入会议后，即可使用NetMeeting的各项功能，比如视频、音频聊天、共享、白板、文件传送等，单击“工具”菜单中的相关命令或者使用界面上的相关工具按钮即可(如右图所示)。

18. 如果需要在网页中嵌入NetMeeting，那么只需要在网页代码的相应位置添加如下代码即可。如果需要在网页中嵌入NetMeeting，那么只需要在网页代码的相应位置添加如下代码即可。 • <OBJECT ID="NetMeeting" CODEBASE="xmsconf.cab" CLASSID="CLSID:3E9BAF2D-7A79-11d2-9334-0000F875AE17"></OBJECT>

19. 9.1.2 视频点播 • 视频点播（Video on Demand，简称VOD）是随着计算机技术和网络通讯技术的发展，综合了计算机技术、通讯技术、电视技术而迅速兴起的一门综合性技术。 • 它利用了网络技术、视频技术及流媒体技术的优势，彻底改变了过去收看节目的被动方式，实现了节目的按需收看和任意播放，集动态影视图像、静态图片、声音、文字等信息为一体，为用户提供实时、交互、按需点播服务。

20. 视频点播系统主要由服务器系统、网络系统和客户端系统三部分组成。

21. 服务器系统一般由视频制作系统、视频服务器、Web服务器、用户管理服务器组成。服务器系统一般由视频制作系统、视频服务器、Web服务器、用户管理服务器组成。 • 视频制作系统将视频节目源中各种形式的片源通过压缩处理成流媒体文件（如RM、ASF、MOV格式文件）存储到视频服务器中。视频服务器具有视频资源存储、视频节目检索和视频信息传输等功能。 • Web服务器接收用户请求后向视频服务器发出查询请求，得到查询结果后，将该结果传送到Web浏览器，呈现给用户；若用户要求播放，则由Web服务器向视频服务器发出请求，视频服务器获得后，传送一个包含通信地址的头文件到用户端，视频播放器通过头文件中的地址找到视频服务器并开始接收来自视频服务器的流式视频文件并播放。 • 用户管理服务器主要完成用户信息管理和计费等工作。

22. 网络系统包含主干网络系统和本地网络系统，它是影响连续媒体网络服务系统性能的关键部件。网络系统包含主干网络系统和本地网络系统，它是影响连续媒体网络服务系统性能的关键部件。 • 目前，建立这种服务系统的网络物理介质主要是CATV同轴电缆、光纤、双绞线和无线网，主要采用以太网、FDDI和ATM等网络技术，这些网络实现技术都有各自的服务对象、带宽范围和环境特征。

23. 客户端系统可以是通常所见的个人计算机，也可以是无盘工作站。对于在有线电视网基础上构建起来的视频点播系统，客户端还可能是带机顶盒的电视接收机。客户端系统可以是通常所见的个人计算机，也可以是无盘工作站。对于在有线电视网基础上构建起来的视频点播系统，客户端还可能是带机顶盒的电视接收机。 • 在客户端系统中，除了处理硬件问题外，还需要处理与之相关的各种软件技术问题。

24. 9.1.3 网络直播 • 随着互联网的普及，使用网络的人越来越多。从互联网上直接收看体育赛事、重大庆典、商贸展览成为很多人的愿望。而很多厂商也希望借助网络直播的形式将自己的产品和活动传遍全世界。这一切都促成了网络直播的形成，但是网络带宽问题一直困扰着网络直播的发展，不过随着宽带网的不断普及和流媒体技术的不断改进，网络直播已经从实验阶段走向了实用阶段，并能够提供比较满意的音视频效果。

25. 网络直播系统主要有三部分组成：（1）实时编码工作站（制作流媒体)；（2）实时视频服务器（发布流媒体）；（3）客户端播放器（接收流媒体）。网络直播系统主要有三部分组成：（1）实时编码工作站（制作流媒体)；（2）实时视频服务器（发布流媒体）；（3）客户端播放器（接收流媒体）。

26. 在网络直播系统中，通过有线电视网或卫星接收等方式，将电视信号接收下来，通过专业线路将它们送到实时编码工作站中的视频采集卡，由视频采集卡将模拟视频信号转换成数字视频信号。在网络直播系统中，通过有线电视网或卫星接收等方式，将电视信号接收下来，通过专业线路将它们送到实时编码工作站中的视频采集卡，由视频采集卡将模拟视频信号转换成数字视频信号。 • 负责编码（压缩）的编码工作站实时地将收到的数字视频信号压缩成所需要的格式，同时发送给视频服务器。视频服务器将视频信号发送给提出请求的客户机。 • 这样，用户就可以使用安装有流媒体播放器的多媒体计算机，通过互连网收看实时转播的电视节目。

27. 9.2 多媒体通信协议 • 多年来，ITU（国际电信联盟）为公共和私营电信组织制定了许多多媒体计算和通信系统的推荐标准，以促进各国之间的电信合作。

28. 9.2.1 H.323协议 • H.323是一套在分组网上提供实时音频、视频和数据通信的标准，是ITU-T（国际电信联盟电信标准化部门）制订的在各种网络上提供多媒体通信的系列协议H.32x的一部分。 • H.323协议被普遍认为是目前在分组网上支持语音、图像和数据业务最成熟的协议。采用H.323协议，各个不同厂商的多媒体产品可以进行互相操作，用户不必考虑兼容性问题。

29. H.323标准协议簇是一个有机的整体，系统总体框架如右图所示。H.323标准协议簇是一个有机的整体，系统总体框架如右图所示。 • H.323系统中的通信可以看成是视频、音频、控制信息的混合。系统控制功能是H.323终端的核心，它提供了H.323终端正确操作的信令。 • H.323协议为网络电话和可视电话会议系统的进一步发展和系统的兼容提供了良好的条件。

30. 9.2.2 RSVP • RSVP（Resource Reservation Protocol，资源预订协议）是针对普通Web方式访问数据时，会长时间与服务器保持连线状态而占用带宽这种缺陷提出的，使用这种流式媒体协议可以预留一部分网络带宽资源。

31. RSVP协议的两个重要概念是流与预定。 • 流是从发送者到一个或多个接收者的连接特征，通过IP包中“流标记”来认证。发送一个流前，发送者传输一个路径信息到目的接收方，这个信息包括源IP地址、目的IP地址和一个流规格。这个流规格是由流的速率和延迟组成的，它是流的QoS需要的。 • RSVP提供两种类型的预定：专用预定和共享预定。专用预定所要求的预留资源只用于一个发送者，即在同一会话中的不同发送者分别占用不同的预留资源。共享预留所要求的预留资源用于一个或多个发送者，即在同一会话中的多个发送者共享预留资源。

32. RSVP支持四种基本消息类型: • 资源预订请求消息 • 路径消息 • 错误与确认消息 • 断开消息

33. 9.2.3 RTP和RTCP • RTP（Real-time Transport Protocol，实时传输协议）是Internet上针对多媒体数据流的一种传输协议。 • 该协议在一对一或一对多的传输情况下工作，其目的是提供时间信息和实现流同步。RTP协议通常使用UDP来传送数据，但RTP协议也可以在TCP或ATM等其它协议之上工作。 • RTP协议虽然是传输层协议，但是它没有作为OSI体系结构中单独的一层来实现。RTP协议通常根据一个具体的应用来提供服务，RTP只提供协议框架，开发者可以根据应用的具体要求对协议进行充分的扩展。

34. RTCP（Real-time Transport Control Protocol，实时传输控制协议）和RTP协议一起，来提供流式媒体数据的拥塞控制和流量控制服务。在RTP协议工作期间，各参与者周期性地传送RTCP包。 • RTCP包中含有已发送数据包的数量、丢失数据包的数量等统计资料，因此，服务器可以利用这些信息动态地改变传输速率，甚至改变有效载荷类型。工作时，RTP协议从上层接收流媒体信息码流，装配成RTP数据包发送给下层，下层协议提供RTP和RTCP的分流。

35. 9.2.4 RTSP和MMS • RTSP（Real-time Streaming Protocol，实时流传输协议）是TCP/IP协议体系中的一个应用层协议，由RealNetworks和Netscape公司共同提出。 • 该协议定义了一对多应用程序如何有效地通过IP网络传送多媒体数据。 • RTSP在体系结构上位于RTP和RTCP之上，它使用TCP或RTP完成数据传输。HTTP与RTSP相比，HTTP传送HTML，而RTSP传送的是多媒体数据。HTTP请求由客户机发出，服务器作出响应；使用RTSP时，客户机和服务器都可以发出请求，即RTSP可以是双向的。

36. MMS（Microsoft Media Server Protocol，微软媒体服务器协议）是用来访问并流式接收Windows Media服务器中ASF、WMV等格式文件的一种协议。 • MMS 协议用于访问 Windows Media 发布点上的单播内容，它是连接Windows Media单播服务的默认方法。若用户在 Windows Media Player中键入一个URL地址以连接内容，而不是通过超级链接访问内容，则必须使用MMS 协议引用该流。

37. 9.3 流媒体技术 • 随着互联网的普及和快速发展，越来越多的人通过网络传递信息，然而互联网传输的主要是以静态为主的图像和文字内容，影响了其媒体作用的充分发挥。人们也曾尝试在互联网上播放多媒体，但多媒体文件通常体积很大，只能先下载，存储在硬盘上之后再播放。 • 流媒体的出现改变了这种状况，它不需要先下载整个文件就可以在向播放器传输的过程中一边下载一边播放，使网上点播或实时观看电影、电视成为现实。

38. 9.3.1 流媒体技术概述 • 所谓流媒体是指采用流式传输的方式在互联网上播放的媒体格式。流媒体在播放前并不下载整个文件，只是将开始部分的内容存入内存，在计算机中对数据包进行缓存并使媒体数据正确的输出。 • 所谓流媒体技术，就是将连续的影像和声音信息经过压缩处理后放到网络服务器上，让浏览者一边下载一边收看、收听，而不需要等到整个多媒体文件下载完成就可以即时观看的技术。它是一种解决多媒体播放时网络带宽问题的“软技术”。

39. 流媒体系统组成 • 一个基本的流媒体系统包括编码器、服务器和播放器三部分。 • 编码器对视频源中原始的音视频数据进行一定格式的压缩编码，转换为流媒体文件，以便在因特网上传播。编码的方式有实时和非实时两种，实时编码常见于网络直播系统中，非实时编码常见于视频点播等系统中。 • 常见的流媒体编码器有RealNetworks公司的RealProducer、Microsoft公司的Windows Media Encoder、Apple公司的Quicktime三种。

40. 服务器是流媒体系统的核心，其性能直接决定流媒体系统的总体性能。服务器用来存放编码器编码后的流媒体文件，在和用户进行通信时，服务器负责将编码数据封装成数据包发送到网络中。服务器是流媒体系统的核心，其性能直接决定流媒体系统的总体性能。服务器用来存放编码器编码后的流媒体文件，在和用户进行通信时，服务器负责将编码数据封装成数据包发送到网络中。 • 每次从流媒体文件中获取一帧数据，然后分成几个数据包，并将时间戳和序列号添加到包头，属于同一帧的数据包具有相同的时间戳。一旦到达数据包所应播放的时间后，服务器便将这一帧的音视频数据包发送出去，然后再读取下一帧数据。

41. 播放器可以嵌入到浏览器中，以播放多种流媒体格式文件。它支持流媒体中的多种媒体形式，如文本、图片、Web页面、音频和视频等集成表现形式。播放器可以嵌入到浏览器中，以播放多种流媒体格式文件。它支持流媒体中的多种媒体形式，如文本、图片、Web页面、音频和视频等集成表现形式。 • 播放器每次从队列头部读取一帧的数据，从包头的时间戳中分解出该帧的播放时间，然后进行音视频同步处理。同步后的数据将进行解码，解码后的数据被送入缓存中等待。一旦该帧的播放时间到达，解码数据就从缓存中被取出，送入播放模块驱动底层硬件设备进行显示或播放。 • 目前应用最多的播放器有RealPlayer、Windows Media Player、Quicktime三种。

42. 流媒体文件格式 • （1）RealNetworks公司的RA音频格式和RM视频格式 • RA格式是RealNetworks公司开发的一种新型流式音频RealAudio文件格式，RM格式则是流式视频RealVideo文件格式，主要用来在低速率的网络上实时传输活动视频或音频，可以根据网络数据传输速率的不同而采用不同的压缩比，在数据传输过程中边下载边播放视频或音频，从而实现视音频数据的实时传送和播放，用户在客户端通过RealPlayer播放器播放该格式文件。

43. （2）Microsoft公司的ASF格式 • ASF是一种包含音频、视频、图像以及控制命令、脚本等多媒体信息在内的数据格式，通过分成一个个的网络数据包在互联网上传输，实现流式多媒体内容发布。ASF支持任意的压缩、解压缩编码方式，并可以使用任何一种底层网络传输协议，具有很大的灵活性。

44. （3）Apple公司的MOV格式 • QuickTime的MOV格式是Apple公司开发的一种音频、视频文件格式，它几乎支持所有主流的个人计算平台和各种格式的静态图像文件、视频和动画格式，是创建3D动画、实时效果、虚拟现实、A/V和其它数字流媒体的重要基础。

45. 9.3.2 RealMedia流媒体解决方案 • 1.编码器 • RealProducer是RealNetworks提供的流媒体编码器，可以从RealNetworks官方网站（http://www.realnetworks.com/）上获得。 • 下面以RealProducer Plus 11为例来讲解如何对其它格式的媒体文件进行编码，将其转换成RealMedia格式文件。

46. （1）从“开始｜程序”菜单中启动RealProducer Plus 11，启动后界面如下图所示。

47. （2）在对话框中，左边是输入文件设置区，选中“输入文件”单选按钮，在文本框中输入需要转换的文件，或者单击后面的“浏览”按钮，选择需要转换的文件。如果选中“设备”单选按钮，则可以直接从设备中输入，例如从麦克风中输入音频，从摄像机中输入视频等。（2）在对话框中，左边是输入文件设置区，选中“输入文件”单选按钮，在文本框中输入需要转换的文件，或者单击后面的“浏览”按钮，选择需要转换的文件。如果选中“设备”单选按钮，则可以直接从设备中输入，例如从麦克风中输入音频，从摄像机中输入视频等。 • （3）右边是输出文件设置区，中间显示了输出文件的位置和名称。单击下方的四个按钮可以添加输出文件的位置、添加服务器目的地、改变输出文件的位置和文件名、删除输出文件等。

48. （4）单击上图中的“接收方式”按钮，弹出如下图所示对话框，在其中设置编码的相关参数。（4）单击上图中的“接收方式”按钮，弹出如下图所示对话框，在其中设置编码的相关参数。

49. 可以在上图模板中选择一个预先设置好的模板，如果对模板中的参数选项不满意，还可以双击需要修改的模板，在弹出的对话框中设定相关的参数。双击后界面如下图所示，在该对话框中，还可以通过模板列表下的两个按钮复制所选择的模板或者删除所选择的模板。可以在上图模板中选择一个预先设置好的模板，如果对模板中的参数选项不满意，还可以双击需要修改的模板，在弹出的对话框中设定相关的参数。双击后界面如下图所示，在该对话框中，还可以通过模板列表下的两个按钮复制所选择的模板或者删除所选择的模板。

50. （5）关闭该对话框，回到程序主界面，单击“视频滤镜”按钮，在弹出的对话框中可以对输出视频的画面大小进行裁切，如下图所示。（5）关闭该对话框，回到程序主界面，单击“视频滤镜”按钮，在弹出的对话框中可以对输出视频的画面大小进行裁切，如下图所示。