面向分布式虚拟环境的并行图形绘制系统研究

1. 面向分布式虚拟环境的并行图形绘制系统研究 2007年3月

2. 本课题组完成三项成果 • 一、新型高性能混合式自适应并行图形绘制系统 • 二、基于Direct3D的并行图形绘制技术 • 三、基于网格的可视化系统GVis

3. 新型高性能混合式自适应并行图形绘制系统的成果创新点新型高性能混合式自适应并行图形绘制系统的成果创新点 • 混合式自适应并行图形绘制体系结构 • Scene-Framework场景组织框架 • 基于节点迁移的负载平衡策略 • 并行遮挡剔除技术研究 • 适用于并行绘制的几何编码技术

4. 基于Direct3D的并行图形绘制技术的成果创新点 • 支持D3D9应用程序级透明的并行图形绘制的体系结构由一个资源分配节点和多个并行执行的资源绘制节点组成； • 资源分配节点完成绘制资源截取功能，其流程分三层，包括绘制命令截取层、绘制命令解析层和绘制资源并行化层； • 资源绘制节点完成绘制资源重构功能，其流程分三层，包括绘制资源存储层、绘制命令解码层、绘制命令重构层； • 支持多流模式的绘制任务划分；

5. 基于网格的可视化系统GVis的成果创新点 • 提出基于网格可视化系统的三层体系结构模型，包括运行时环境层，可视化框架层和网格门户层。各个层次之间功能相对独立，耦合性小，具有良好的扩展性； • 完全基于Java实现的交互式可视化网格系统，具有良好的跨平台性和易访问性； • 支持大规模体数据实时的交互式可视化处理和大范围内可用的远程多任务处理等功能。

6. 软件清单

7. 论文清单 • Zonghui Wang, Xiaohong Jiang, Jiaoying Shi，HLA/RTI Performance Testing，20051006，国际学术会议论文集，EI • 仇应俊, 石教英, 赵友兵, 陈为，面向网格的交互式可视化平台GVis研究与实现，计算机研究与发展，20051201，国内一级刊物论文 • 石教英, 赵友兵, 仇应俊，面向网格的可视化系统研究，计算机研究与发展，41(12)，20051201，EI • 毛祖秋, 李超, 林海, 石教英, 林叶青，基于OpenSG的多屏幕立体绘制—用于模型的集群立体显示系统，计算机研究与发展，42，20051201，国内一级刊物论文 • Zonghui Wang, Jiaoying Shi, Xiaohong Jiang，A Scalable HLA-based Distributed Simulation Framework for VR Application，16th International Conference on Artificial Reality and Telexistence 2006，20060101，SCI • Yaping Zhang, Yang Zhao, Jiaoying Shi, Dan Xu，Digitization of culture heritage based on tour into the picture，TECHNOLOGIES FOR E-LEARNING AND DIGITAL ENTERTAINMENT 2006，20060401， SCI

8. 论文清单(续1) • ZONGHUI WANG, XIAOHONG JIANG , JIAOYING SHI，Efficient communication approach in HLA-based Distributed simulation for VR application，Journal of Computational Information Systems ，20060401，SCI • Aihong Qin，Hua Xiong ,Jiaoying Shi, Zhen Liu，Piecewise Compression of Large Mesh，IS&T/SPIE’s 16th Annual Symposium Electronic Imaging Science and Technology 2006，20060601，SCI • QIN Ai-hong, XIONG Hua, PENG Hao-yu, LIU Zhen, SHI Jiao-ying，Cluster Parallel rendering based on encoded mesh ，Jounal of Zhejiang Univesity，7，20060701，SCI • Haoyu Peng, Hua Xiong, Jiaoying Shi，Parallel-SG：Research of Parallel Graphics Rendering System on Cluster，Proceedings of the 2006 ACM International Conference on VRCIA，20060714，EI • Hua Xiong，Haoyu Peng，Aihong QinJiaoying Shi，Parallel Occlusion Culling on GPUs Cluster，Proceedings of the 2006 ACM International Conference on VRCIA，20060714，EI

9. 论文清单(续2) • Yongxia Zhou, Jiaoying Shi, Jiarong Yu，Free and shape-controlled flows of smoke，Proceedings of the 2006 ACM International Conference on VRCIA，20060714，EI • Hua XiongZhen LiuAihong Qin ，Haoyu PengJiaoying Shi，Predictive Occlusion Culling for Interactive Rendering of Large Complex Virtual Scene，VSMM 2006，20060714，EI • 刘 真，石教英，彭浩宇，秦爱红，A Survey of Cluster-Based Parallel Rendering System，系统仿真学报，18(suppl)，20060801，EI • 周永霞,石教英,郁佳荣，Physical based smoke animation，计算机辅助设计与图形学报，18(9)，20060901，国内一级刊物论文 • 彭浩宇，金哲凡，秦爱红，熊华，石教英，A Nesting Parallel Pipeline for Parallel Graphics Rendering System Based-on，18(10)，20061001，国内一级刊物论文 • Zhen Liu, Jiaoying Shi, Hua Xiong, Aihong Qin，Multi-Stream Based Rendering Resource Interception and Reconstruction in D3DPR for High-Resolution Display，16th International Conference on Artifical Reality and Telexistence, ICAT2006，20061001，EI

10. 专利清单

11. 一、新型高性能混合式自适应并行图形绘制系统

12. 分布式虚拟环境图形绘制的特点 • 普遍采用多屏拼接显示或CAVE系统 • 任务划分固定－－按屏幕空间划分 • 负载不平衡 • 要求与分布式仿真应用无缝集成 • 场景规模大和高交互性，对绘制速度要求提高

13. 成果创新点 • 混合式自适应并行图形绘制体系结构 • Scene-Framework场景组织框架 • 基于节点迁移的负载平衡策略 • 并行遮挡剔除技术研究 • 适用于并行绘制的几何编码技术

14. 混合式自适应并行绘制体系结构 • 提出基于动态绘制组的混合式自适应并行绘制体系结构 • 特点： • 基本绘制单元---动态绘制组 • Sort-first和sort-lastd的混合式并行绘制体系结构 • 动态绘制组内工作流程的自适应切换 • 复式嵌套并行绘制流水线

15. DRT 主 …… 从 从 从 从 混合式自适应并行绘制体系结构---动态绘制组 • Dynamic Rendering Team (DRT) • 由一个主节点和若干绘制从节点构成 • 绘制的功能单元

16. DRT Projector Projector DRT Projector DRT Projector DRT 混合式自适应并行绘制体系结构 • 支持sort-first和sort-last的混合式并行绘制体系结构 • 这两种工作流程能根据负载分布均匀度进行自适应切换 Sort-first Screen 1 Screen 2 Controller Screen 3 Screen 4 Sort-first or sort-last Tile Projector Display

17. i-1帧 i帧 i+1帧 GR GR GR C C C D D D 混合式自适应并行绘制体系结构---DRT内的第二层优化并行流水线 • 传统串行工作方式 (a)串行流水线 • 绘制时间为t1，图像生成时间t2，投影显示时间t3，一般情况下，t1≈t2>> t3。 • 串行流水线的绘制时间Ts = t1+t2+t3。

18. Di-2 Di-1 Di Di-3 I/O Parallel Ci-1 Ci Ci+1 Ci-2 Network GRi GRi+1 GRi+2 GRi-1 CPU/GPU i-1帧 i帧 i+1帧 i+2帧 混合式自适应并行绘制体系结构---DRT内的第二层优化并行流水线 • 我们的并行工作方式 （b）优化并行流水线 • 绘制时间为t1，图像生成时间t2，投影显示时间t3，一般情况下，t1≈t2>> t3。 • 优化并行流水线的绘制时间Tp= max(t1 , t2 , t3)。

19. 混合式自适应并行绘制体系结构---测试结果 • 测试场景：“Power Plant”模型 • 1185个小模型，总三角面片数13M

20. DRT内采用串行流水线 混合式自适应并行绘制体系结构---测试结果

21. Scene-Framework场景组织框架 • Scene-Framework • 具有场景图(scene graph)的外在组织形式，但与传统场景图总是基于某种数据结构定义之上不同，Scene-Framework本身不定义特定的数据结构； • 提供抽象基类（TreeNode）作为构建场景图的单元，此基类定义了并行绘制相关接口,向上层并行绘制系统提供统一的并行功能接口； • 不同数据类型的场景继承此基类，构建支持特定数据类型的子场景图； • 支持不同数据结构的子场景图统一挂在Scene- Framework框架下协同工作。

22. Tree （Root） Scene Scene Render TreeNode TreeNode TreeNode … TreeNode Tree Tree Tree …… … TreeNode TreeNode TreeNode ... … TreeNode TreeNode TreeNode TreeNode （leaf） （leaf） 用TreeNode类构造的子场景图 （leaf） TreeNodeStatic TreeNodeTerrain TreeNodeDynamic TreeNode的继承类示意 Scene-Framework场景组织框架 抽象基类 Scene-Framework

23. Scene-Framework场景组织框架 • 综合应用实例 • 能支持异构数据结构的场景 • 能与分布仿真应用无缝集成

25. 基于节点迁移的负载平衡策略 • 实现 • DRT之间：通过绘制从节点在DRT之间的迁移、从而调整各DRT的计算能力来维护各DRT间的负载平衡 • DRT内部：根据自适应切换选择合适的负载平衡策略 • 优势 • 解决了多屏拼接显示系统的限制 • 算法开销小 • 有效降低冗余处理的风险

26. 负载平衡策略---负载平衡测试结果

27. 遮挡剔除技术研究 • 遮挡剔除是加速绘制大规模复杂场景的重要加速技术之一 。 • 提出两类遮挡剔除并行化策略： • 提出基于可见性预测的遮挡剔除算法 • 可见性预测是遮挡剔除算法研究的一个难点。 • 提出并行遮挡剔除算法 • 并行遮挡剔除算法是遮挡剔除算法中研究不足的问题。

28. 基于预测的遮挡剔除 基本思路 • 建立场景的空间层次结构； • 由上到下、从前到后遍历该空间层次结构； • 利用硬件遮挡查询功能判断节点可见性； • 利用空间和时间连贯性建立节点可见性预测机制，以减少硬件遮挡查询的次数。

29. 基于预测的遮挡剔除算法 关键技术 • 可见性预测机制通过可见性预测器实现，可见性预测器包含：可见性状态、可见帧计数器和遮挡帧计数器。 • 在进行节点的硬件遮挡查询前，先通过可见性预测器预测其可见性，若可见性预测器不能断定可见性状态，才执行其硬件遮挡查询。

30. 基于预测的遮挡剔除 实验结果 • 测试场景：8百万和1千3百万三角面片的大规模复杂虚拟场景。 • 保守遮挡剔除和近似遮挡剔除可以分别减少25%和50%的硬件遮挡查询次数。 • 在大多数绘制帧中，遮挡剔除效率达到了70%到99%。

31. 遮挡剔除并行化策略 对基于预测的可见性遮挡剔除算法，我们提出了两类遮挡剔除并行化策略： • 数据并行化策略。 • 功能并行化策略。

32. 遮挡剔除并行化策略 • 数据并行化策略：将要进行的硬件遮挡查询分布到集群机的不同节点执行。 • 根据分布遮挡查询的顺序不同，数据并行化策略又可以分为sort-first方式和sort-last方式。

33. 遮挡剔除并行化策略 • 功能并行化策略：用不同的集群机节点组成遮挡剔除流水线。 • 功能并行化策略可以分为静态遮挡剔除流水线和动态遮挡剔除流水线两类。

34. 遮挡剔除并行化策略 • 实验场景：8百万和1千3百万三角面片的大规模复杂虚拟场景。 • 绘制速率分别达到了25帧和15帧，在15台PC集群机上比单机遮挡剔除速度提高了2倍和4倍。

35. 适用于并行绘制的几何模型压缩技术 背景 • 网络带宽有限； • 频繁的大模型数据传送； -主节点机和从节点机之间的数据传输； -磁盘到内存的数据读取； -内存到显存的数据传送。 • 传统压缩算法不适合并行机基于视线的sorting和可见性预测。 目标 为cluster并行绘制系统配置更合适的几何模型压缩算法，在有限带宽下提高模型数据的传输速度,支持压缩域sorting。

36. 适用于并行绘制的几何模型压缩技术 传统in-the-core压缩算法只能把一个模型压缩为整体传输,存在的局限性有: • 只适用于小模型； • 不能分片随机存取； • 不支持压缩域基于视点的sorting； • 不支持压缩域可见性预测和剔除。

37. 适用于并行绘制的几何模型压缩技术 传统Out-of-core压缩算法把一个大模型分为多个patches分别压缩,存在的局限性有: • 边界数据随所在的patch一起压缩多次(需要压缩的次数等于公用此点的patches数目。)； • 解压缩时,重复的边界数据使得模型中的顶点增多； • 压缩存在量化误差。解压缩后，具有不同误差的相同边界点不能保证完全重合,patches间产生裂缝； • Patch的法向连贯性差,不利于基于视点的sorting。

38. 适用于并行绘制的几何模型压缩技术 PRMC：Parallel rendering based mesh compression • 算法思想: 对大模型分割为具有法向连贯性和平坦度均匀的patches，每个patch的数据分为边界和内部数据两种类型。内部数据采用已有的算法压缩,边界数据进行分段压缩。绝大部分边界的几何信息只压缩一次，但可以被多个patches共享。 • 算法组成： （1） 基于法向连贯性的分割算法 （2） 分段边界压缩算法

39. 适用于并行绘制的几何模型压缩技术 基于法向连贯性的分割算法 • step1：Out of Core采用坐标轴分割超出内存容量的模型； • step2： 基于视点分割第一步的结果； 其中法向控制函数 • step3：采用MeTiS分割上步结果，获得均匀的分割效果。 MeTiS明尼苏达大学电脑科学系开发的应用程序库.适合分割大型无结构图，速度快，分割结果中，patches中的元素数量基本相同，最多和最少的元素数量之差在10%范围内。 http://glaros.dtc.umn.edu/gkhome/views/metis

40. 适用于并行绘制的几何模型压缩技术 分割结果 特点 patches中三角形数量基本相同（变化范围小于 10%),同时每个patch法向锥的上限受到控制。

41. 适用于并行绘制的几何模型压缩技术 • 分段边界压缩 Step1:找出边界。 上图：模型中部分曲面片，红色线段为相邻patch公用的边，这些边的集合称为patch边界。 下图：边界结果图，其中直线段表示上图中能显示出的边界，曲线段表示左图中没有显示出的其余边界。

42. 适用于并行绘制的几何模型压缩技术 • 分段边界压缩 Step2:边界分为子段。 右图:把边界分成子段：若patchi和patchj相邻,Lij是patchi和patchj共用的一条边,则Lij的集合称为patchi和patchj的一个子段，然后对子段中的边按连接关系排序。图中每个子段用一种颜色表示。

43. 适用于并行绘制的几何模型压缩技术 • 分段边界压缩 Step3:选择子段的参照点。 右图:子段的两个端点称为鞍点，选择其中一个作为此子段后续点几何压缩时的参照点， 参照点不进行压缩。图中参照点用菱形表示。

44. 适用于并行绘制的几何模型压缩技术 • 分段边界压缩 Step4:压缩子段 右图. 每个子段从参照点开始,顺序对子段中的其余点进行几何属性的预测编码。其中,虚线段表示已经压缩的子段；红色字符串表示子段的编码； 复合圆表示编码后的一个子段表达,它作为一个可以独立存取的压缩子段。

45. 适用于并行绘制的几何模型压缩技术 • 系统实现原理

46. 适用于并行绘制的几何模型压缩技术 • 绘制性能 图. 对比一般模型，集群机采用PRMC模型后，sorting 和transmission速度提高的比率

47. 适用于并行绘制的几何模型压缩技术 特点 • 把每个压缩的patch和边界子段当作一个数据单元来处理； • 支持压缩域sorting； • 支持压缩域基于视点的sorting； • 压缩比约为1:4—1:16； • Sorting 速度和数据传输速度均有提高； • 更适用于需要多次传送数据的立即模式集群机。

48. 二、基于Direct3D9并行图形绘制技术

49. 引言 • 现有并行图形绘制系统都是基于OpenGL • Direct3D的迅猛发展 • 提出支持Direct3D9的并行图形绘制系统D3DPR

50. D3DPR的研究目标 • 基于图形集群硬件平台 • 支持Direct3D9应用程序透明并行化 • 驱动高分辨率大屏幕的多屏拼接显示