多源信息融合处理技术

1. 多源信息融合处理技术 主讲人：李玉柏 ybli@uestc.edu.cn

2. 第一讲：多源信息融合的基本概念 • 多源信息融合的概念 • 多源信息融合的好处 • 信息融合系统的模型 • 数据融合的级别 • 数据融合的通用处理结构 • 主要应用

3. 1、多源信息融合的概念 • 目前没有统一的信息融合定义。 • 定义1：信息融合就是一种多层次、多方面的处理 过程，包括对多源数据进行检测、相关、组合和估 计，从而提高状态和身份估计的精度，以及对战场 态势和威胁的重要程度进行适时完整的评价。 • 美国三军组织实验室理事联合会JDL ( Joint Directors of Laboratories ) 提出来的

4. 多源信息融合的概念 • 定义2：信息融合就是由多种信息源，如传感器、数据库、知识库和人类本身来获取有关信息，并进行滤波、相关和集成，从而形成一个表示构架，这种构架适合于获得有关决策、对信息的解释、达到系统目标(如识别或跟踪运动目标)、传感器管理和系统控制等。 • 定义3：所谓多源信息融合，主要是指利用计算机进行多源信息处理，从而得到可综合利用信息的理论和方法，其中也包含对自然界人和动物大脑进行多传感信息融合机理的探索。

5. 多源信息融合的概念 • 信息融合研究的关键问题，就是提出一些理论和方法，对具有相似或不同特征的多源信息进行处理，获得具有相关和集成特性的融合信息。 • 研究的重点是特征识别和算法，这些算法使得多传感信息的互补集成，改善不确定环境中的决策过程。

6. 2、多源信息融合的好处 • 增强系统的生存能力：多个传感器的量测信息之间存在冗余度，增加了传感系统生存范围性 • 扩展空间覆盖范围：通过多个交叠覆盖的传感器作用区域，扩展了空间覆盖范围； • 扩展时间覆盖范围：用多个传感器协同作用提高检测连续性和检测概率； • 提高可信度：多个传感器对同一目标或时间进行确认，有可能提高可信度； • 降低信息的模糊度：多传感器的联合信息降低了目标或事件的不确定性；

7. 多源信息融合的好处 • 改进探测性能：对目标或事件的多种量测的有效融合，提高了探测的有效性，降低风险； • 提供空间分辨率：多传感器合成可以获得比任何单一传感器更高的分辨率； • 增加了量测空间维数：系统不易受到敌方行动或自然现象的破坏，因而增加了量测空间维数； • 成本低、质量轻、占空少：多个传感器的使用，使得对传感器的选择更加灵活和有效，因而可达到成本低、质量轻、占空少的目的。

8. 3、信息融合系统的模型 • JDL数据融合组构建的JDL数据融合模型

9. 信息融合系统的模型 • 信息预处理：包括信号检测以及检测融合；量测提取与波形形成，最终形成多源观测数据。 • 第一级处理的是所谓目标评估object assessment。 • 主要功能包括数据配准、数据关联、目标位置和运动学参数估计，以及属性参数估计、身份估计等，其结果为更高级别的融合过程提供辅助决策信息。 • 这是本课程主要内容。

10. 信息融合系统的模型 • 第二级处理的是所谓态势评估situation assessment问题，是对整个态势的抽象和评定。 • 态势抽象就是根据不完整的数据集构造一个综合的态势表示，从而产生实体之间一个相互联系的解释。 • 态势评定则关系到对产生观测数据和事件态势的表示和理解。态势评定的输入包括事件检测、状态估计以及为态势评定所生成的一组假设等。态势评定的输出在理论上是所考虑的各种假设的条件概率。

11. 信息融合系统的模型 • 第三级处理的是所谓影响评估impact assessment问题，它将当前态势映射到未来，对参与者设想或预测行为的影响进行评估。 • 在军事领域指威胁估计threat assessment。 • 威胁估计是一种多层视图处理过程，用以解释对武器效能的估计，以及有效地扼制敌人进攻的风险程度。 • 威胁估计还包括通过汇集技术和军事条令数据库中的数据，对我军要害部位受敌人攻击时的脆弱性做出估计，以及对作战事件出现的程度和可能性进行估计，并对敌方作战企图给出指示和告警。

12. 信息融合系统的模型 • 第四级处理的是所谓过程评估process assessment 问题，它是一个更高级的处理阶段。 • 通过建立一定的优化指标，对融合过程进行实时监控与评价，实现多传感器自适应信息获取和处理，以及资源的最优分配，以支持特定任务目标。 • 该级别融合处理研究主要集中在如何对特定任务目标以及限制条件进行建模和优化，以平衡有限的资源，如计算机的运算能力以及通信带宽等。 • 当前，利用效用理论来开发系统性能及效率模型，以及利用基于知识的方法来开发基于上下文环境的近似推理是研究的重点。

13. 4、信息融合的分类 • 多源信息融合有多种分类方法，如按照其融合技术、融合算法、融合结构分类等，以下给出多源信息融合的各种分类。 1）按融合技术分类可分为： • 假设检验型信息融合技术 • 滤波跟踪型信息融合技术 • 聚类分析型信息融合技术 • 模式识别型信息融合技术 • 人工智能型信息融合技术等。

14. 信息融合的分类与级别 2）按照融合系统中数据抽象的层次，划分为三个级别：数据级融合、特征级融合、决策级融合。 • 数据级融合是最低层次的融合，直接对传感器的观测数据进行融合处理，然后基于融合后的结果进行特征提取和判断决策。 • 此级别的数据融合用于多源图像复合、分析和理解以及同类组网雷达波形的合成等。 • 特征级融合：特征级融合属于中间层次的融合，先由每个传感器抽象出自己的特征向量（如目标的边缘、方向和速度等信息），融合中心完成的是特征向量的融合处理。

15. 数据融合的级别 特征级融合可划分为目标状态信息融合和目标特征信息融合两大类。 • 目标状态信息融合主要用于多传感器目标跟踪领域，融合处理首先对多传感数据进行数据处理，以完成数据校准，然后进行数据相关和状态估计。 • 具体数学方法包括卡尔曼滤波理论、联合概率数据关联、多假设法、交互式多模型法和序贯处理理论。 • 目标特征信息融合属于模式识别问题，常见的数学方法有参量模板法、特征压缩和聚类方法、人工神经网络、K 阶最近邻法等。

16. 数据融合的级别 • 决策级融合是一种高层次的融合，先由每个传感器基于自己的数据作出决策，然后在融合中心完成的是局部决策的融合处理。 • 决策级融合是三级融合的最终结果，是直接针对具体决策目标的，融合结果直接影响决策水平。这种处理方法数据损失量最大，因而相对来说精度最低，但其具有通信量小，抗干扰能力强，对传感器依赖小，不要求是同质传感器，融合中心处理代价低等优点。 • 常见算法有Bayes推断、专家系统、D-S证据推理、模糊集理论等。

17. 信息融合的分类与级别 3）按照信息融合的目的分类，多源信息融合的目的大体可分为检测、状态估计和属性识别。 • 检测融合(Detection Fusion)：检测融合的主要目的是利用多传感器进行信息融合处理，可以消除单个或单类传感器检测的不确定性，提高检测系统的可靠性，获得对检测对象更准确的认识，例如利用多个传感器检测目标以判断其是否存在。 • 利用单个传感器的检测缺乏对多源多维信息的协同利用、综合处理，也未能充分考虑检测对象的系统性和整体性，因而在可靠性、准确性和实用性方面都存在着不同程度的缺陷，需要多个传感器共同检测，并利用多个检测信息进行融合。

18. 信息融合的分类与级别 • 估计融台(Estimation Fusion)：估计融合的主要目的是利用多传感器检测信息对目标运动轨迹进行估计。利用单个传感器的估计可能难以得到比较准确的估计结果，需要多个传感器共同估计，并利用多个估计信息进行融合，以最终确定目标运动轨迹。 • 属性融合(Recognition Fusion)：属性融合的主要目的是利用多传感器检测信息对目标属性、类型进行判断。

19. 5、信息融合通用处理结构 • 信息融合处理有三种通用结构，分别是集中式结构、分布式结构以及混合式结构。 • 三种处理结构处理的原始数据不同。集中式结构加工的是传感器的原始数据；分布式结构加工的是经过预处理的局部数据；而混合式结构加工的既有原始数据，又有预处理过的数据。 • 在集中式系统结构中，各个传感器录取的检测报告直接被送到融合中心，在那里进行数据对准、点迹相关、数据互联、航迹滤波、预测与综合跟踪。

20. 集中式系统结构

21. 信息融合通用处理结构 • 分布式结构与集中式结构的区别在于，每个传感器的检测报告在进入融合中心以前，先由它自己的数据处理器产生局部多目标跟踪航迹，然后把处理后的信息送至融合中心，融合中心根据各结点的航迹数据完成航迹关联和航迹融合，形成全局估计。

22. 分布式系统结构

23. 信息融合通用处理结构 • 混合式融合系统同时传输检测报告和经过局部结点处理后的航迹信息，它保留了上述两类系统的优点，但在通信和计算上要付出较昂贵的代价。但是，此类系统也有上述两类系统难以比拟的优势，在实际场合往往来用此类结构。

24. 混合式融合系统结构

25. 6、信息融合的应用领域 1）军事应用是信息融合技术诞生的源泉:主要用于包括军事目标(舰艇、飞机、导弹等)的检测、定位、跟踪和识别。具体应用包括海洋监视、空对空或地对空防御系统等。 • 海洋监视系统包括潜艇、鱼雷、水下导弹等目标的检测、跟踪和识别，典型的传感器包括雷达、声纳、远红外、合成孔径雷达等。 • 空对空或地对空防御系统的基本目标是检测、跟踪、识别敌方飞机、导弹等，典型的传感器包括雷达、ESM接收机、远红外探测器、敌我识别传感器、电光成像传感器等。

26. 举例1、雷达的组网监视 • 雷达组网系统可以从多视角探测雷达目标的空间和时间覆盖范围，增强了探测和反隐身能力，提高了系统可靠性和生存能力。同时，雷达组网系统具有更高层次的抗干扰能力，它具有抗有源干扰和抗反辐射导弹的特殊效能。

27. 雷达组网系统信息融合处理：每部雷达完成观测数据获取，并将可能的目标报告先经过局部处理然后送往信息融合中心，或是直接送往融合中心。融合中心根据需要完成目标检测、定位跟踪乃至属性分类等各种功能，也可以将结果用于更高层次的处理。雷达组网系统信息融合处理：每部雷达完成观测数据获取，并将可能的目标报告先经过局部处理然后送往信息融合中心，或是直接送往融合中心。融合中心根据需要完成目标检测、定位跟踪乃至属性分类等各种功能，也可以将结果用于更高层次的处理。

28. 雷达的组网监视的融合模型 • 雷达组网系统的任何处理可以根据各个雷达的局部检测器中预测器和判决器处理分成不同的模型。

29. 举例2：C3I系统的信息融合处理 • C3I系统就是指挥自动化技术系统，是用计算机将指挥、控制、通信和情报各分系统紧密联在一起的综合系统。

30. C3I系统的信息来源 • 空中和空间侦察器：包括有人驾驶飞机、无人驾驶飞机、气球、飞艇以及侦察卫星等，提供战场目标图像等信息。 • 地面传感器：主要有震动传感器、音响传感器、磁性传感器、应变电缆传感器等，其信息可用于判定目标的位置、状态和性质等。 • 各种侦察雷达：提供地面或水面活动目标的运动参数。 • 光电传感器：主要有微光夜视仪、红外成像仪、激光测距观测仪等，可以识别目标，提供目标的形状、距离、方向等参数。 • 通信系统：通过无线电通信系统、有线通信系统和卫星通信系统可以及时接收上级、友邻或下属传来的各种情报信息。 • 其他间接信息来源：主要是对作战有影响的民用信息。

31. C3I系统的信息融合处理

32. C3I系统信息融合功能模型

33. C3I系统信息融合功能模型 • 预处理器是对同类传感器的数据进行融合； • 时间和空间配准为多传感器提供统一时空参照； • 信息融合处理器是把测量值或参数进行合并，以提高目标的分类识别及态势估计的准确性； • 态势数据库存储着实时或历史态势数据以供查询； • 控制计算机完成对目标的分类和进行态势评定，并对信息源的使用进行协调管理； • 显示与控制是把融合和评定的结果显示出来，指挥员根据这一显示结果进行指挥与控制火力，直至把火力反馈到作战环境中。

34. 举例3：组合导航技术 • 导航是导引航行的简称，它的基本作用是引导飞机、舰船、车辆，甚至是个人、导弹，准确地沿着所选定的路线安全地到达目的地。 • 组合导航系统是将航行体上的某些或全部导航设备组合成一个统一的系统，利用两种或两种以上的设备提供多重信息，构成一个多功能、高精度的冗余系统。组合导航系统有利于充分利用各导航系统进行信息互补与信息合作，因而成为导航系统发展的方向。

35. L2C M P(Y) C/A CS PRS PRS OS/GPS III E5b* L5 E5a* M P(Y) L5/E5A (1164-1214 L2 (1227.6 MHz) E6 (1278.75 MHz) L1 (1575.42 MHz) E5b MHz) 主要的导航技术 — GNSS • 全球导航卫星统GNSS包括GPS/ GLONASS/ GALILEO/ COMPASS全球系统。

36. 主要的导航技术GNSS • 惯性制导： • 通信系统定位：

37. 大众 化服 务 室内 外无 缝导 航 单一的定位 天基PNT 单一的GPS 多系统GNSS 单一的GNSS GNSS+UTMS GIS+INTERNET 组合导航的融合技术 • 多系统融合－多模式接收 • 与INS、WSN和通信系统融合-实现无缝导航 Anywhere, Anytime, Anyone

38. 信息融合的应用领域 2）民事领域的多元信息融合处理应用 • 近年来，多传感器融合系统也在民事应用领域得到了较快的发展，主要应用领域包括有： • 工业智能机器人 • 智能交通系统 • 汽车控制 • 图像融合、检测与处理 • 遥感遥测 • 入侵检测 • ……

39. 举例4：移动机器人中的信息融合技术 • 移动机器人是一个集环境感知、动态决策与规划、行为控制与执行等多种功能于一体的综合系统。移动机器人中采用的多源信息融合方法主要包括加权平均法、Kalman滤波Bayes估计、Dempster-Shafer证据推理、模糊逻辑、神经网络以及基于行为方法 等。

40. 移动机器人中的信息融合技术 • 移动机器人中的Kalman滤波及其扩展：用于实时融合动态的低层次冗余传感器数据处理，对于机器人具有线性动力学模型，且系统噪声和传感器噪声是符合高斯分布的白噪声，Kalman滤波为融合数据提供统计意义下的最优估计。 • Tomatis等人采用基于Kalman滤波混合法实现了移动机器人的导航，试验结果表明，在1.15km的路程上成功率达到96％。从移动机器人的跟踪精度来看，偏离目标 点的误差仅为9mm。

41. 举例5：遥感图像信息的融合 • 使用Google earth的就会发现遥感数据融合处理的必要性和重要性； • 遥感图像信息融合是最常见的信息融合形式之一, 有不同来源图像融合，光学、热、雷达、声纳图像的融合，不同分辨率、不同视角图像的融合等。

42. 遥感图像信息的融合 • 遥感信息传感设备 • 无人机测控 • 星载SAR • 机载红外检测 • 中继卫星测控技术 • ……

43. 遥感图像信息的融合 • 图像数据融合可分为若干层次，如象素级、特征级和决策级三级融合模型，但在遥感数据融合处理中一般采用信号级、象素级、特征级和符号级四级模型。 • 信号级融合将不同传感器的信号进行混合，以便产生具有更佳质量与可靠性的融合信息； • 象素级融合的作用是图像增强，以便改善如分割与特征提取等处理的效果； • 特征级融合使得能够以高的置信度来提取有用的图像特征； • 符号级融合允许来自多个源的信息在最高抽象层次上被有效地利用，如进行决策。

44. 举例6：智能交通监视、管理与控制 • 智能交通系统是将先进的信息技术、数据通讯传输技术、电子传感技术及计算机处理技术等有效的集成运用于整个地面交通管理系统而建立的一种在大范围内、全方位发挥作用的，实时、准确、高效的综合交通运输管理系统。

45. ITS智能交通监视、管理与控制 • 多源交通信息的处理是智能交通系统的基础。通过多源信息融合技术，能形成更加丰富的交通信息，在一定准则下进行自动分析，能更有效完成所需的交通决策和评估。

46. 举例7：空中交通管制 • 当前的空中交通管制系统主要由雷达和无线电提供空中图像，并由空中交通管制器承担数据处理的任务。随着雷达多重覆盖和空中交通量的增加，必须运用信息融合技术，使图像形成自动化。

47. 举例8：过程控制 • 工业过程监视系统是一个重要的信息融合应用领域，融合的目的是识别引起系统状态超出正常运行范围的故障条件，并据此触发若干报警器。 • 多源信息融合技术已在核反应堆、火灾检测系统、石油平台监视系统中得到应用。

48. 举例9：汽车自动驾驶系统 • 汽车自动驾驶系统需要多传感系统支持，一般无人汽车自动驾驶系统的多传感器系统包括差分全球定位系统DGPS、惯性传感器INS、数字地图，立体图像传感器，激光探测器和雷达等系统。 • 通过惯性传感器、数字地图和差分全球定位系统，确定汽车行使的地理位置和方向以及路面的几何形状。 • 通过立体图像传感器辨识、跟踪汽车行使路面边缘。 • 通过激光探测器和雷达，完成汽车行驶过程中路况和前方障碍物等信息的检测。 • 将各个传感器输出的信号通过卡尔曼滤波进行信息融合，识别汽车行驶路面情况，通过控制机构实现汽车无人驾驶。

49. 举例10：入侵检测系统IDS • 多源信息融合技术为入侵检测系统IDS的性能提升起着重要作用。从多个信息源获得的信息量会比单一信息源多。对于IDS系统，如果能够充分利用网络中其他设备或应用系统产生的日志和审计记录，必将极大提高自己检测的准确性和可靠性。

50. 思考题 • 简述信息融合的通用处理结构的特点； • 查阅关于图像融合的象素级、特征级和决策级三级融合模型；解释三级融合模型的含义； • 查阅相关资料，解释雷达组网四级模型的优缺点； • 查阅相关资料，给出一个除课堂所列出的10个应用实例之外的多源信息融合应用实例，并进行总结。