Download
1 / 47
470 likes | 628 Views
影像融合. 一 . 影像信息融合的基本理论 1 、基本概念. 信息融合 （ Information Fusion ）是指将来自多个传感器或多源的信息进行综合处理，从而得到更为准确、可靠的结论。 信息融合 是一种信息处理技术，即对多源信息进行处理，以获得改善了的新信息，为决策应用提供更好的服务。 应用领域 ：多源影像复合、机器人和智能仪器系统、战场和无人驾驶飞机、图像分析与理解、目标检测与跟踪、自动目标识别等等。 在遥感中，信息融合属于一种属性融合，它是将同一地区的多源遥感影像数据信息加以智能化合成，产生比单一信息源更精确、更完全、更可靠的估计和判断。.
E N D
一.影像信息融合的基本理论1、基本概念 • 信息融合（Information Fusion）是指将来自多个传感器或多源的信息进行综合处理，从而得到更为准确、可靠的结论。 • 信息融合是一种信息处理技术，即对多源信息进行处理，以获得改善了的新信息，为决策应用提供更好的服务。 • 应用领域：多源影像复合、机器人和智能仪器系统、战场和无人驾驶飞机、图像分析与理解、目标检测与跟踪、自动目标识别等等。 • 在遥感中，信息融合属于一种属性融合，它是将同一地区的多源遥感影像数据信息加以智能化合成，产生比单一信息源更精确、更完全、更可靠的估计和判断。
一.影像信息融合的基本理论1、基本概念 • 影像融合(Image Fusion)是信息融合技术的一种，它是一种通过高级影像处理技术对多源影像进行复合的技术，是根据应用的目的，使用特定的算法将多个不同的影像进行图像信息的合并处理，从而生成新的图像。 • 目的：将单一传感器的多波段信息或不同传感器所提供的信息进行综合处理，消除多传感器信息之间可能存在的冗余和矛盾，并加以互补，降低其不确定性，减少模糊度，以增强影像中信息透明度，改善解译的精度、可靠性以及使用率，从而形成对目标的清晰、完整、准确的信息描述。 • 影像融合并不是简单的信息叠加，它产生的是包含更多有价值信息的图像，影像融合技术是近几年来图像处理领域研究的热点，也是目前遥感应用分析的前沿。
图像准备 图像1 图像2 …… 图像n 图像去噪 …… 特征提取 图像预处理 几何校正及空间配准 HIS变换 K－L变换 小波变换 变换处理 …… 融合结果影像 遥感影像信息融合一般流程
一.影像信息融合的基本理论 2、一般流程 • 一般来说，遥感影像的数据融合分为数据预处理、信息融合变换两步。 • 预处理：主要包括遥感影像的几何纠正、大气订正、辐射校正及空间配准 • （1）几何纠正、辐射校正的目的主要在于去处透视收缩、叠掩、阴影等地形因素以及卫星扰动、天气变化、大气散射等随机因素对成像结果一致性的影响； • （2）影像空间配准的目的在于消除由不同传感器得到的影像在拍摄角度、时相及分辨率等方面的差异。
一.影像信息融合的基本理论 • 影像的空间配准时遥感影像数据融合的前提 • 空间配准一般可分为以下步骤: • (1）特征选择：在欲配准的两幅影像上，选择如边界、线状物交叉点、区域轮廓线等明显的特征。 • （2）特征匹配：采用一定配准算法，找处两幅影像上对应的明显地物点，作为控制点。 • （3）空间变化：根据控制点，建立影像间的映射关系。 • （4）插值：根据映射关系，对非参考影像进行重采样，获得同参考影像配准的影像。 • 空间配准的精度一般要求在1~2个像元内。空间配准中最关键、最困难的一步就是通过特征匹配寻找对应的明显地物点作为控制点。
一.影像信息融合的基本理论 • 融合变换处理 • 根据融合目的和融合层次智能地选择合适的融合算法，将空间配准的遥感影像数据（或提取的图像特征或模式识别的属性说明）进行有机合成，得到目标的更准确表示或估计 。 • 变换处理：变换处理是遥感影像信息融合的实质和重点。根据具体融合算法，首先对图像进行变换，然后根据融合目的对变换后的图像信息进行相关处理，对处理后的图像进行反变换，得到融合结果。融合结果中便包含了不同遥感影像的综合信息，提供给应用层进行分析应用。
二、遥感影像信息融合方法 • 1、遥感影像信息融合方法分类 基于像素（pixel）级的融合、 基于特征(feature)级的融合、 基于决策(decision)级的融合。 融合的水平依次从低到高。
2.1 像素级融合 • 先对空间配准的遥感影像数据直接融合，而后对融合的数据进行特征提取和属性说明。这是最低层次的信息融合，可以在像素或分辨单元上进行，亦称数据级融合。像素级融合的优点是保留了尽可能多的信息，具有较高精度，缺点是处理信息量大、费时、实时性差。 • 像元级融合的流程为：经过预处理的遥感影像数据——数据融合——特征提取——融合属性说明。 • 优点：保留了尽可能多的信息，具有最高精度。 • 局限性：缺点是处理信息量大、费时、实时性、干扰性差。
象素级融合——分类 （1）基于光谱（彩色）域变换的融合技术 亮度－色调－饱和度变换（Intensity-Hue-Saturation， IHS）变换 和比值变换(Brovey Transform, BT)和主成分变换(Principle Component Transform, PCT)等 特点：每次该类技术每次只能对3个波段数据融合 （2）基于空间域信号分解和重构的融合技术 小波变化（Wavelet transform, WT） 基于亮度平滑滤波变换(Smoothing Filter-based Intensity Modulation, SFIM) 高通滤波变换（High Pass Filter, HPT）等 特点：其能对任意波段进行融合 （3）基于算术运算的融合技术 乘积变换(Multiplication Transform, MT )和加法变换等 特点：模型简单可以对任意波段进行融合
2.2 特征级融合 • 特征级融合是一种中等水平的融合，先是将各遥感影像数据进行特征提取，提取的特征信息应是原始信息的充分表示量或充分统计量，然后按特征信息对多源数据进行分类、聚集和综合，产生特征矢量，而后采用一些基于特征级融合方法融合这些特征矢量，作出基于融合特征矢量的属性说明。 • 优点：实现了可观的信息压缩，有利于实时处理，并且提供的特征直接与决策分析相关，因此融合的结果最大限度地给出了决策分析所需要的特征信息。目前大多数融合系统的研究都是在该层次上开展的。 • 缺点：较像素级融合精度差。 • 特征级融合的流程为：经过预处理的遥感影像数据——特征提取——特征级融合——（融合）属性说明。
2.3 决策级融合 • 决策级融合是最高水平的融合。融合的结果为指挥、控制、决策提供了依据。在这一级别中，首先对每一数据进行属性说明，然后对其结果加以融合，得到目标或环境的融合属性说明。 • 特点：具有很强的容错性，很好的开放性，处理时间短、数据要求低、分析能力强。而由于对预处理及特征提取有较高要求，所以决策级融合的代价较高、精度较低。 • 决策级融合的流程：经过预处理的遥感影像数据——特征提取——属性说明——属性融合——融合属性说明。
像素级 特征级 决策级 代数法 Bayes估计法 基于知识的融合法 HIS变换法 Dempster-shafer推理法 Dempster-shafer推理法 高通滤波法 熵法 模糊聚类法 主成分变换 加权平均法 可靠性理论 最佳变量替换法 神经网络法 Bayes估计法 Kalman滤波法 聚类分析 神经网络 小波变换 表决法 逻辑模块 不同融合层次下的融合方法
3 数据融合方法介绍 • 3.1 像素级融合算法 • 基于像素的融合方法主要是像素之间的直接数学运算，包括差值/梯度/比值运算、加权运算、多元回归或其它数学运算。例如加权运算是将待融合的两幅图像视为两个二维矩阵，计算两幅图像的相关系数，如果相关系数较大，则进行融合运算，将两图像上空间位置对应的像素值，进行加权相加，加权之和作为新图像在该空间位置上的像素值。
乘性融合法 • 乘积性融合法是应用最基本的乘积组合算法，直接对2种空间分辨率的遥感数据进行融合，其运算法则为 • 式中:Bi_new 代表融合以后的波段数值(i=1，2，..);Bi_m代表多光谱图像中的任意一个波段数值:Bi_h代表高分辨率遥感数据波段值
IHS变换 • IHS变换是最普遍使用的一种遥感信息融合方法。它能把不同传感器数据或不同性质的数据融合在一起，产生特别良好的目视判读的彩色图像，从而大大提高图像的可判读性，更容易提取所需的信息，满足实际应用需要。用IHS变换进行影像融合，就是用高分辨率影像替代IHS三个分量中的I分量。
亮度-色度-饱和度色彩坐标系 • 垂直坐标轴代表亮度 • 圆周代表色度，色度值从红色中点处的0开始，沿着球体圆周的逆时针方向增加 • 饱和度描述了色彩的纯度
以TM和SAR为例 • 融合的流程 • 1 把TM图像的3个波段合成的RGB假彩色图像变换到IHS色度空间 • 2 对比度操作 对高分辨率影像进行对比度拉伸，从而使得高分辨率影像与I(亮度影像)有着相同的均值与方差 • 3 替换 用SAR图像代替其中的I值 • 4 反变换到RGB颜色空间，形成新的影像。
HSV色彩空间 • H（Hue）：色调 • S(Saturation)：饱和度 • V(Value):明度或亮度
比值法融合模型（Brovey Transform，BT ） 特点：它将参与RGB组合的每个波段与该组合波段总和做比值计算进行正规化，以保持低分辨率影像的光谱分辨率，然后将比值结果乘以高分辨率波段的亮度以获取高频空间信息 。 具有很高的光谱信息保真度。 缺点：对中高光谱的低空间分辨率RGB组合选择比较麻烦。如TM/ETM+的RGB组合多大20种。
主成分变换（PCT） • 数学上称为主成分分析（PCA）。PCT是应用于遥感诸多领域的一种方法，包括高光谱数据压缩、信息提取与融合及变化监测等。PCT的本质是通过去除冗余，将其余信息转入少数几幅影像（即主成分）的方法，对大量影像进行概括和消除相关性。PCT使用相关系数阵或协方差阵来消除原始影像数据的相关性，以达到去除冗余的目的。对于融合后的新图像来说各波段的信息所作出的贡献能最大限度地表现出来。 • PCT的优点是能够分离信息，减少相关，从而突出不同的地物目标，提高目视判读效果。但同时PCT融合算法在一定程度上会造成光谱信息的退化，引起光谱信息的变化，使融合图像不便用于地物识别和反演工作，
特征级融合是在图像特征提取阶段的融合。对不同图像进行特征提取，按各图像上相同类型的特征进行融合处理。特征级融合是在图像特征提取阶段的融合。对不同图像进行特征提取，按各图像上相同类型的特征进行融合处理。 • 高通滤波 • 特征级影像融合算法的一种，是将高空间分辨率图像中的边缘信息提取出来，加入到低分辨率高光谱图像中。首先采用一个较小的空间高通滤波器对高分辨率图像进行滤波，抽取图像的边缘信息，即地物的形状特征，然后将这些地物特征依像素叠加到地物特征不明显的低空间分辨率的高光谱分辨率数据中。 • 由于滤波得到的结果不仅保留了与空间信息有关的高频成分，而且滤掉了绝大部分的光谱信息，因此将高通滤波的结果加到各光谱图像数据中，有效地将高空间分辨率数据的空间信息与高光谱分辨率的光谱信息融合在一起。 • 优点是有效地保留了原影像的多光谱信息，缺点是高分辨率影像的大部分纹理信息在高通滤波时被滤掉了。
小波变换 • 小波变换是一种新兴的数学分析方法，已经受到了广泛的重视。小波变换是一种全局变换，在时间域和频率域同时具有良好的定位能力，对高频分量采用逐渐精细的时域和空域步长，可以聚焦到被处理图像的任何细节，从而被誉为“数学显微镜”。 • 小波变换是基于遥感影像的频域分析进行的，由于同一地区不同类型影像的低频部分差别不大，而高频部分相差很大，通过小波变换对变换区实现分频，在分频基础上进行遥感影像的融合。空间（时间）和频率的局部变换，能够有效地从信号中提取有用信息，通过对紧支撑小波基的伸缩和平移等运算功能，可实现对信号的多尺度细化分析。 • 小波变换具有在提高影像空间分辨率的同时又保持色调和饱和度不变的优越性。
基于平滑滤波的亮度调节算法 SFIM (Smoothing Filter-based Intensity Modulation Transform),即基于平滑滤波的亮度变换，其融合算法为： • 其中IMAGElow与IMAGEhigh分别为配准后的多光谱影像和全色影像相应像素的亮度值。 • IMAGEmean为全色影像通过均值滤波去掉其原全色影像的光谱和空间细节信息后得到的低频纹理信息影像。 • SFIM算法可理解为：首先去掉高分辨率影像的光谱和地形信息，然后将剩余的纹理信息直接添加到多光谱影像中。由于在整个影像融合过程中，多光谱影像的光谱信息没有改变，所以 算法能很好的保持原多光谱影像的光谱信息 优点：能对任意波段融合，光谱保真度好 缺点：融合效果中存在“胡椒面现象”
3.2 决策级融合 • 决策级融合又称为分类级融合，它是最高层次上的融合。 • 其过程是首先按应用的要求对图像进行初步的分类(Bayes分类、人工神经网络分类等)，然后在各类（如水体、植被等）中选取出特征影像，对于每类地物可以选择出最佳的图像组合，进行融合处理，以取得最为满意的分类结果。 • 决策级融合的研究尚处于起步阶段，其难点是分类特征组合与表达的机理难以量化与统一，目前的研究工作大多是从某一角度、特定的影像、有限的地物类别进行尝试，这将是今后影像融合的主要发展方向。
贝叶斯（Bayes）估计 • D-S推理法(Dempster-Shafter) • 人工神经网络（ANN） • 专家系统 • …………..
四 融合效果评价 评价融合影像的质量是遥感图像融合的一个重要步骤。 评价融合效果主要包括定性和定量评价两种。 定性评价一般选用目视法解译。 定量评价选择：均值、标准差、熵、光谱偏差度、均方根差和相关系数等 定量评价分为：融合图像的整体质量、融合图像和低分辨率图像的光谱信息保真度和融合图像与高分辨率图像的高频信息保真度（纹理信息）三个方面。
融合图像的整体质量评价指标 • 均值：均值越大说明影像含信息量越高 • 标准差：反映图象灰度相对于灰度均值的离散情况。标准差大，则图像灰度级分散，图像反差大，信息量丰富
图像的熵值是衡量图像信息丰富程度的一个重要指标,熵值的大小表示图像所包含的平均信息量的多少。图像的熵值是衡量图像信息丰富程度的一个重要指标,熵值的大小表示图像所包含的平均信息量的多少。 • 对于一幅单独的图像,可以认为其各像素的灰度值是相互独立的样本,则这幅图像的灰度分布为p ={ p0 , p1 , ⋯, pi , ⋯, pL - 1} 。pi 为灰度值等于i 的像素数与图像总像素数之比; L 为图像的总的灰度级 • 融合前后的图像其信息量必然会发生变化,计算信息熵 可以客观地评价图像在融合前后信息量的变化。根据 Shannon 信息论的原理,一幅图像的信息熵为: • 融合图像的熵越大,可以认为融合图像的信 息量增加,融合图像所含的信息越丰富,融合质量越好。
光谱保真度评价 1.保真度D F为融合影像均值，B为原始影像均值，MN为像元总数。D反映了融合图像和原始图像在光谱信息上的差异和光谱特性变化的平均程度，值越小说明光谱信息损失少,在理想情况下D=0。 2.原始图像和融合后图像的光谱曲线
高频信息保真度评价 • 相关系数 F为融合生成图像的灰度值，f为融合图像的均值；A为源图像灰度值，a为源图像的均值，通过计算融合图像和高空间分辨率图像之间的相关系数，相关系数越大说明高频信息融入越高。
高频信息保真度评价 均方根误差 (Root Mean Square Error, RMSE) RMSE能灵敏地检测出n维空间中任意两个向量的相似性，故该方法能定量评价融合方法的高频信息（纹理）融入度. 其中F为融合产生图像的亮度均值；B为融合前图像的亮度均值，此处为高空间分辨率波段；n为参与融合的波段数。RSME值越小，说明高分辨率图像的高频信息融入度越高。
四、现状与展望 • 多源遥感影像信息融合是信息处理与获取领域的一个新课题，它可提高人们对遥感数据的应用能力，增加决策的科学性和准确性。 • 目前，学术界在遥感影像信息融合领域已取得了很大的成绩，提出了各种各样的影像融合方法； • 但多源遥感影像信息融合还是一门新兴的技术，仍有一些关键的技术问题有待进一步解决：如空间配准模型和数学融合模型的建立、传统多源数据关联和状态融合算法中的计算组合爆炸、复杂地物干扰下识别准确度的提高等等。
四、现状与展望 • 遥感影像数据融合还是一门很不成熟的技术，有待于进一步解决的关键问题有： • （1）稳键的空间配准模型(精度) • （2）建立统一的数学融合模型和系统设计与评估方法 • （3）提高数据处理过程的精度与可信度 • （4）遥感影像与GIS数据库集成中基于特征级的融合方法研究 (5) 星上数据预处理技术的研究 • 随着计算机技术的发展，新型传感器不断研制成功，对地观测技术将具有更旺盛的生命力，多源遥感信息融合技术也将不断走向成熟和完善，从理论研究转入到实际更广泛的应用，最终必将向智能化、实时化方向发展，并同GIS、专家系统结合，实现实时动态融合用于更新和监测。其应用范围将逐渐扩大，不断为我国的经济和国防现代化建设注入新的活力。
IKONOS融合结果 原始全色波段 光谱波段RGB321
IKONOS融合结果 BT （RGB321） SFIM （RGB321）
IKONOS融合结果 WT（RGB321）
高分辨率SAR图像与TM图像的融合 a TM彩色合成图像 b 高分辨率SAR图像 c b的三进制小波分解 d SAR与TM融合图像
