基于NSCT变换的多源图像融合并行算法

总第２７４期

２０１２年第８期

计算机与数字工程

Ｃｏｍｐｕｔｅｒ＆ＤｉｇｉｔａｌＥｎｇｉｎｅｅｒｉｎｇ

Ｖｏ！．４０Ｎｏ．８

１０４

基于ＮＳＣＴ变换的多源图像融合并行算法＋

黎宁张文娜

（南京航空航天大学电子信息工程学院南京２１００１６）

摘要以可见光、红外和雷达图像为数据源，利用ＮＳＣＴ变换灵活的融合规则，即ＮＳＣＴ变换低频系数采用加权平均法、高频系数采用区域能量最大法，提出了基于ＮＳＣＴ变换的多源图像并行融合算法。大量图像融合实验表明，针对可见光、红外和雷达图像，采用不同的融合策略．可以得到较理想的融合图像。

关键词图像融合；ＮＳＣＴ变换；并行融合算法；可见光图像；红外图像；雷达图像

中图分类号ＴＰ３９１．４１

ＩｍａｇｅＦｕｓｉｏｎＰａｒａｌｌｅｌＡｌｇｏｒｉｔｈｍＢａｓｅｄｏｎｔｈｅＮＳＣＴＴｒａｎｓｆｏｒｍｓ

ｆｏｒＭｕｌｔｉｐｌｅＩｍａｇｅｓ

ＬＩＮｉｎｇＺＨＡＮＧＷｅｎｎａ

（ＣｏｌｌｅｇｅｏｆＥｌｅｃｔｒｏｎｉｃＩｎｆｏｒｍａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇ，ＮａｎｊｉｎｇＵｎｉｖｅｒｓｉｔｙｖｆＡｅｒｏｎａｕｔｉｃｓａｎｄＡｓｔｒｏｎａｕｔｉｃｓ，Ｎａｎｊｉｎｇ２１００１６）

ＡｂｓｔｒａｃｔＯｐｔｉｃａｌ，ｉｎｆｒａｒｅｄａｎｄｒａｄａｒｉｍａｇｅｓａｒｅｔｈｅｄａｔｅｓｏｕｒｃｅ，ｕｓｉｎｇＮＳＣＴｆｌｅｘｉｂｌｅｔｒａｎｓｆｏｒｍｆｕｓｉｏｎｒｕｌｅｓｗｈｉｃｈｉｓｗｅｉｇｈｔｅｄａｖｅｒａｇｅｌｏｗｆｒｅｑｕｅｎｃｙｃｏｅｆｆｉｃｉｅｎｔｓａｎｄｌａｒｇｅｓｔｒｅｇｉｏｎａｌｅｎｅｒｇｙｈｉｇｈ－ｆｒｅｑｕｅｎｃｙｃｏｅｆｆｉｃｉｅｎｔｓ，ｐａｒａｌｌｅｌｆｕｓｉｏｎａｌｇｏｒｉｔｈｍｉｓｐｒｏｐｏｓｅｄｂａｓｅｄｏｎｔｈｅＮＳＣＴｔｒａｎｓｆｏｒｍｆｏｒｍｕｌｔｉｐｌｅｉｍａｇｅｓ．Ａｍｏｕｎｔｓｏｆｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｈａｖｅｓｈｏｗｎｔｈａｔｔｈｅｉｄｅａｌｉｍａｇｅｆｕｓｉｏｎｃａｎｂｅａｃｈｉｅｖｅｄｂｙｕｓｉｎｇｄｉｆｆｅｒｅｎｔｆｕ—ｓｉｏｎｒｕｌｅｓｅｓｐｅｃｉａｌｌｙｆｏｒｏｐｔｉｃａｌ，ｉｎｆｒａｒｅｄａｎｄｒａｄａｒｉｍａｇｅｓ．

Ｋｅｙ

Ｗｏｒｄｓｉｍａｇｅｆｕｓｍｎ＋ＮＳＣＴ－ｐａｒａｌｌｅｌｆｕｓｉｏｎａｌｇｏｒｉｔｈｍ，ｏｐｔｉｃａｌｉｍａｇｅ，ｉｎｆｒａｒｅｄｉｍａｇｅ，ｒａｄａｒｉｍａｇｅＣｌａｓｓＮｕｍｂｅｒＴＰ３９１．４】

１引言

ＮｓｃＴ在图像融合领域被广泛的关注：“。

遥感图像是直观地获取场景轮廓外貌基本信息，以及识别、侦察特定目标的有效来源Ｌ１］。随着传感器技术的发展，多源遥感图像得到了丰富，由以前的单一可见光图像或者红外图像方式已经逐渐发展为多种传感器结合的方式＿２一。多源图像根据传感器不同，可以分为可见光图像、红外图像和雷达图像！。一。由于成像机理不同，工作时间范围限制，以及周围环境因素的影响，单一的图像往往不能全面地描述场景信息。将可见光、红外和雷达图像融合于一幅图像可以优势互补，在军事中提高作战准确性。

基于Ｃｏｎｔｏｕｒｌｅｔ变换的图像融合技术是目前研究的主要方法之一。Ｃｏｎｔｏｕｒｌｅｔ变换的基本思想是将不连续的奇异点根据方向位置相近原则绘成线段［４］。Ｎｏｎ—ｓｕｂｓａｍｐｌｅｄＣｏｎｔｏｕｒｌｅｔ变换（ＮＳＣＴ）是Ｃｏｎｔｏｕｒｌｅｔ变换的一种优化，它主要由Ｎｏｎ－ｓｕｂｓａｍｐｌｅｄ金字塔（ＮＳＰ）和Ｎｏｎ－ｓｕｂｓａｍｐｌｅｄ方向滤波器（ＮＳＤＦＢ）组成＿Ｉ一。ＮＳＰ将输入图像塔形分解为高频和低频两个部分，ＮＥＤＦＢ将高频子带分解为多个方向子带，将得到的低通图像继续分解。ＮＳＣＴ变换克服了Ｃｏｎｔｏｕｒｌｅｔ变换存在伪轮廓的缺点，具有平移不变性，成为图像融合领域的研究热点［６］。ＮｓＣＴ变换由于灵活的融合规则，在高频细节上多方向的获取信息，以及在图像分辨率大的情况下，能有效克服算法计算复杂、运算量大的问题，２基于ＮＳＣＴ变换的图像融合并行算法并行融合算法就是指多幅图像同时利用一种变换方法融合到一张图像上。本文并行融合算法是指将可见光、红外和雷达图像同时进行ＮＳＣＴ变换，利用低频、高频不同的融合规则来实现需要的融合后图像。并行融合算法具有统一变换、方法简单的特点。

本文提出的基于ＮＳＣＴ变换的融合算法在定义融合规则时，针对低频和高频分量分别执行如下规则：

１）ＮＳＣＴ变换低频的融合规则方法是低频系数加权平均法。

低频系数加权平均是指先将可见光图像、红外图像和雷达原图像同时进行ＮＳＣＴ分解，然后将分解后可见光、红外和雷达图像的低频系数加权取平均值作为融合图像的低频系数。该方法通过调节加权系数可以调节侧重图像占的比例，同时加权平均法可综合图像的色差，使图像的信息量基本无丢失。

２）ＮＳＣＴ变换高频的融合规则方法是高频系数区域能量最大法。

高频系数区域能量最大融合法是指将可见光图像、红外图像和雷达原图像同时进行ＮＳＣＴ分解．分解后分别生成可见光、红外和雷达图像的高频子图像，将ＮＳＣＴ分解后

－收稿日期：２０１２年２月８日，修回日期：２０１２年３月２４目

作者简介：黎宁，女，硕士，副教授，研究方向：图像处珲、目标识别与跟踪和计算机视觉。张文娜，女，硕士研究生，研究方向：图像处理。万方数据

图像融合算法概述

图像融合算法概述 摘要：详细介绍了像素级图像融合的原理,着重分析总结了目前常用的像素级图像融合的方法和质量评价标准,指出了像素级图像融合技术的最新进展,探讨了像素级图像融合技术的发展趋势。 关键词：图像融合; 多尺度变换; 评价标准 Abstract:This paper introduced the principles based on image fusion at pixel level in detail, analysed synthetically and summed up the present routine algorithm of image fusion at pixel level and evaluation criteria of its quality. It pointed out the recent development of image fusion at pixel level, and discussed the development tendency of technique of image fusion at pixel level. Key words:image fusion; multi-scale transform; evaluation criteria 1.引言： 图像融合是通过一个数学模型把来自不同传感器的多幅图像综合成一幅满足特定应用需求的图像的过程, 从而可以有效地把不同图像传感器的优点结合起来, 提高对图像信息分析和提取的能力[ 1] 。近年来, 图像融合技术广泛地应用于自动目标识别、计算机视觉、遥感、机器人、医学图像处理以及军事应用等领域。图像融合的主要目的是通过对多幅图像间冗余数据的处理来提高图像的可靠性; 通过对多幅图像间互补信息的处理来提高图像的清晰度。根据融合处理所处的阶段不同,图像融合通常可以划分为像素级、特征级和决策级。融合的层次不同, 所采用的算法、适用的范围也不相同。在融合的三个级别中, 像素级作为各级图像融合的基础, 尽可能多地保留了场景的原始信息, 提供其他融合层次所不能提供的丰富、精确、可靠的信息, 有利于图像的进一步分析、处理与理解, 进而提供最优的决策和识别性能. 2.图像融合算法概述 2.1 图像融合算法基本理论

多聚焦图像融合方法综述

多聚焦图像融合方法综述 摘要：本文概括了多聚焦图像融合的一些基本概念和相关知识。然后从空域和频域两方面将多聚焦图像融合方法分为两大块，并对这两块所包含的方法进行了简单介绍并对其中小波变换化法进行了详细地阐述。最后提出了一些图像融合方法的评价方法。 关键词：多聚焦图像融合；空域；频域；小波变换法；评价方法 1、引言 按数据融合的处理体系，数据融合可分为：信号级融合、像素级融合、特征级融合和符号级融合。图像融合是数据融合的一个重要分支，是20世纪70年代后期提出的概念。该技术综合了传感器、图像处理、信号处理、计算机和人工智能等现代高新技术。它在遥感图像处理、目标识别、医学、现代航天航空、机器人视觉等方面具有广阔的应用前景。 Pohl和Genderen将图像融合定义为：“图像融合是通过一种特定的方法将两幅或多幅图像合成一幅新图像”，其主要思想是采用一定的方法，把工作于不同波长范围、具有不同成像机理的各种成像传感器对同一场景成像的多幅图像信息合成一幅新的图像。 作为图像融合研究重要内容之一的多聚焦图像融合，是指把用同一个成像设备对某一场景通过改变焦距而得到的两幅或多幅图像中清晰的部分组合成一幅新的图像，便于人们观察或计算机处理。图像融合的方法大体可以分为像素级、特征级、决策级3中，其中，像素级的图像融合精度较高，能够提供其他融合方法所不具备的细节信息，多聚焦融合采用了像素级融合方法，它主要分为空域和频域两大块，即： （1）在空域中，主要是基于图像清晰部分的提取，有梯度差分法，分块法等，其优点是速度快、方法简单，不过融合精确度相对较低，边缘吃力粗糙； （2）在频域中，具有代表性的是分辨方法，其中有拉普拉斯金字塔算法、小波变换法等，多分辨率融合精度比较高，对位置信息的把握较好，不过算法比较复杂，处理速度比较慢。 2、空域中的图像融合 把图像f(x,y)看成一个二维函数，对其进行处理，它包含的算法有逻辑滤波器法、加权平均法、数学形态法、图像代数法、模拟退火法等。 2.1 逻辑滤波器法 最直观的融合方法是两个像素的值进行逻辑运算,如:两个像素的值均大于特定的门限值,

图像拼接原理及方法

第一章绪论 1.1 图像拼接技术的研究背景及研究意义 图像拼接(image mosaic)是一个日益流行的研究领域，他已经成为照相绘图学、计算机视觉、图像处理和计算机图形学研究中的热点。图像拼接解决的问题一般式，通过对齐一系列空间重叠的图像，构成一个无缝的、高清晰的图像，它具有比单个图像更高的分辨率和更大的视野。 早期的图像拼接研究一直用于照相绘图学，主要是对大量航拍或卫星的图像的整合。近年来随着图像拼接技术的研究和发展，它使基于图像的绘制（IBR）成为结合两个互补领域——计算机视觉和计算机图形学的坚决焦点，在计算机视觉领域中，图像拼接成为对可视化场景描述（Visual Scene Representaions）的主要研究方法：在计算机形学中，现实世界的图像过去一直用于环境贴图，即合成静态的背景和增加合成物体真实感的贴图，图像拼接可以使IBR从一系列真是图像中快速绘制具有真实感的新视图。 在军事领域网的夜视成像技术中，无论夜视微光还是红外成像设备都会由于摄像器材的限制而无法拍摄视野宽阔的图片，更不用说360 度的环形图片了。但是在实际应用中，很多时候需要将360 度所拍摄的很多张图片合成一张图片，从而可以使观察者可以观察到周围的全部情况。使用图像拼接技术，在根据拍摄设备和周围景物的情况进行分析后，就可以将通过转动的拍摄器材拍摄的涵盖周围360 度景物的多幅图像进行拼接，从而实时地得到超大视角甚至是360 度角的全景图像。这在红外预警中起到了很大的作用。 微小型履带式移动机器人项目中，单目视觉不能满足机器人的视觉导航需要，并且单目视觉机器人的视野范围明显小于双目视觉机器人的视野。利用图像拼接技术，拼接机器人双目采集的图像，可以增大机器人的视野，给机器人的视觉导航提供方便。在虚拟现实领域中，人们可以利用图像拼接技术来得到宽视角的图像或360 度全景图像，用来虚拟实际场景。这种基于全景图的虚拟现实系统，通过全景图的深度信息抽取，恢复场景的三维信息，进而建立三维模型。这个系统允许用户在虚拟环境中的一点作水平环视以及一定范围内的俯视和仰视，同时允许在环视的过程中动态地改变焦距。这样的全景图像相当于人站在原地环顾四周时看到的情形。在医学图像处理方面，显微镜或超声波的视野较小，医师无法通过一幅图像进行诊视，同时对于大目标图像的数据测量也需要把不完整的图像拼接为一个整体。所以把相邻的各幅图像拼接起来是实现远程数据测量和远程会诊的关键环节圆。在遥感技术领域中，利用图像拼接技术中的图像配准技术可以对来自同一区域的两幅或多幅图像进行比较，也可以利用图像拼接技术将遥感卫星拍摄到的有失真地面图像拼接成比较准确的完整图像，作为进一步研究的依据。 从以上方面可以看出，图像拼接技术的应用前景十分广阔，深入研究图像拼接技术有着很重要的意义 1.2图像拼接算法的分类 图像拼接作为这些年来图像研究方面的重点之一，国内外研究人员也提出了很多拼接算法。图像拼接的质量，主要依赖图像的配准程度，因此图像的配准是拼接算法的核心和关键。根据图像匹配方法的不同仁阔，一般可以将图像拼接算法分为以下两个类型：（1) 基于区域相关的拼接算法。 这是最为传统和最普遍的算法。基于区域的配准方法是从待拼接图像的灰度值出发，对

超分辨率算法综述

超分辨率复原技术的发展 The Development of Super2Re solution Re storation from Image Sequence s 1、引言 在图像处理技术中,有一项重要的研究内容称为图像融合。通常的成像系统由于受到成像条件和成像方式的限制,只能从场景中获取部分信息,如何有效地弥 补观测图像上的有限信息量是一个需要解决的问题。图像融合技术的含义就是把相关性和互补性很强的多幅图像上的有用信息综合在一起,产生一幅(或多幅) 携带更多信息的图像,以便能够弥补原始观测图像承载信息的局限性。 （图象融合就是根据需要把相关性和互补性很强的多幅图象上的有用信息综合在一起,以供观察或进一步处理,以弥补原始单源观测图象承载信息的局限性,它是一门综合了传感器、图象处理、信号处理、计算机和人工智能等技术的现代高新技术,于20 世纪70 年代后期形成并发展起来的。由于图象融合具有突出的探测优越性,在国际上已经受到高度重视并取得了相当进展,在医学、遥感、计算机视觉、气象预报、军事等方面都取得了明显效益。从图象融合的目标来看,主要可将其归结为增强光谱信息的融合和增强几何信息的融合。增强光谱信息的融合是综合提取多种通道输入图象的信息,形成统一的图象或数据产品供后续处理或指导决策,目前在遥感、医学领域都得到了比较广泛的应用。增强几何信息的融合就是从一序列低分辨率图象重建出更高分辨率的图象(或图象序列) ,以提 高图象的空间分辨率。对图象空间分辨率进行增强的技术也叫超分辨率 (super2resolution) 技术,或亚像元分析技术。本文主要关注超分辨率(SR) 重建技术,对SR 技术中涉及到的相关问题进行描述。） （我们知道,在获取图像的过程中有许多因素会导致图像质量的下降即退化,如 光学系统的像差、大气扰动、运动、离焦和系统噪音,它们会造成图像的模糊和变形。图像复原的目的就是对退化图像进行处理,使其复原成没有退化前的理想图像。按照傅里叶光学的观点,光学成像系统是一个低通滤波器,由于受到光学衍射的影响,其传递函数在由衍射极限分辨率所决定的某个截止频率以上值均为零。显然,普通的图像复原技术如去卷积技术等只能将物体的频率复原到衍射极

外文翻译小波变换在图像处理中的仿真及应用

论文翻译 通信102 吴志昊 译文： 小波变换在图像处理中的仿真及应用 一、课题意义 在传统的傅立叶分析中, 信号完全是在频域展开的, 不包含任何时频的信息, 这对于某些应用来说是很恰当的, 因为信号的频率的信息对其是非常重要的。但其丢弃的时域信息可能对某些应用同样非常重要, 所以人们对傅立叶分析进行了推广, 提出了很多能表征时域和频域信息的信号分析方法, 如短时傅立叶变换, Gabor 变换, 时频分析, 小波变换等。而小波分析则克服了短时傅立叶变换在单分辨率上的缺陷, 具有多分辨率分析的特点, 使其在图像处理中得到了广泛应用。 传统的信号理论，是建立在Fourier分析基础上的，而Fourier变换作为一种全局性的变化，其有一定的局限性。在实际应用中人们开始对Fourier变换进行各种改进，小波分析由此产生了。小波分析是一种新兴的数学分支，它是泛函数、Fourier分析、调和分析、数值分析的最完美的结晶；在应用领域，特别是在信号处理、图像处理、语音处理以及众多非线性科学领域，它被认为是继Fourier分析之后的又一有效的时频分析方法。小波变换与Fourier变换相比，是一个时间和频域的局域变换因而能有效地从信号中提取信息，通过伸缩和平移等运算功能对函数或信号进行多尺度细化分析（Multiscale Analysis），解决了Fourier变换不能解决的许多困难问题。 小波变换是一种快速发展和比较流行的信号分析方法, 其在图像处理中有非常重要的应用, 包括图像压缩, 图像去噪, 图像融合, 图像分解, 图像增强等。小波分析是傅立叶分析思想方法的发展与延拓。除了连续小波(CWT)、离散小波(DWT), 还有小波包(Wavelet Packet)和多维小波。 小波分析在图像处理中有非常重要的应用, 包括图像压缩, 图像去噪, 图像融合, 图像分解, 图像增强等。小波变换是一种新的变换分析方法，它继承和发展了短时傅立叶变换局部化的思想，同时又克服了窗口大小不随频率变化等缺点，能够提供一个随频率改变的时间一频率窗口，是进行信号时频分析和处理的理想工具。它的主要特点是通过变换能够充分突出问题某些方面的特征，因此，小波变换在许多领域都得到了成功的应用，特别是小波变换的离散数字算法已被广泛用于许多问题的变换研究中。从此，小波变换越来越引进人们的重视，其应用领域来越来越广泛。 二、课题综述 （一）小波分析的应用与发展 小波分析的应用是与小波分析的理论研究紧密地结合在一起的。现在，它已经在科技信息产业领域取得了令人瞩目的成就。电子信息技术是六大高新技术中重要的一个领域，它的重要方面是图象和信号处理。现今，信号处理已经成为当代科学技术工作的重要部分，信号处理的目的就是：准确的分析、诊断、编码压缩和量化、快速传递或存储、精确地重构(或恢复)。从数学地角度来看，信号与图象处理可以统一看作是信号处理(图象可以看作是二维信号)，在小波分析的许

三种图像融合方法实际操作与分析

摘要：介绍了遥感影像三种常用的图像融合方式。进行实验，对一幅具有高分辨率的SPOT全色黑白图像与一幅具有多光谱信息的SPOT图像进行融合处理，生成一幅既有高分辨率又有多光谱信息的图像，简要分析比较三种图像融合方式的各自特点，择出本次实验的最佳融合方式。 关键字：遥感影像；图像融合；主成分变换；乘积变换；比值变换；ERDAS IMAGINE 1. 引言 由于技术条件的限制和工作原理的不同，任何来自单一传感器的信息都只能反映目标的某一个或几个方面的特征，而不能反应出全部特征。因此，与单源遥感影像数据相比，多源遥感影像数据既具有重要的互补性，也存在冗余性。为了能更准确地识别目标，必须把各具特色的多源遥感数据相互结合起来，利用融合技术，针对性地去除无用信息，消除冗余，大幅度减少数据处理量，提高数据处理效率；同时，必须将海量多源数据中的有用信息集中起来，融合在一起，从多源数据中提取比单源数据更丰富、更可靠、更有用的信息，进行各种信息特征的互补，发挥各自的优势，充分发挥遥感技术的作用。[1] 在多源遥感图像融合中，针对同一对象不同的融合方法可以得到不同的融合结果，即可以得到不同的融合图像。高空间分辨率遥感影像和高光谱遥感影像的融合旨在生成具有高空间分辨率和高光谱分辨率特性的遥感影像，融合方法的选择取决于融合影像的应用，但迄今还没有普适的融合算法能够满足所有的应用目的，这也意味着融合影像质量评价应该与具体应用相联系。[2] 此次融合操作实验是用三种不同的融合方式（主成分变换融合，乘积变换融合，比值变换融合），对一幅具有高分辨率的SPOT全色黑白图像与一幅具有多

光谱信息的SPOT图像进行融合处理，生成一幅既有高分辨率又有多光谱信息的图像。 2. 源文件 1 、 imagerycolor.tif ，SPOT图像，分辨率10米，有红、绿、两个红外共四个波段。 2 、imagery-5m.tif ，SPOT图像，分辨率5米。 3. 软件选择 在常用的四种遥感图像处理软件中，PCI适合用于影像制图，ENVI在针对像元处理的信息提取中功能最强大，ER Mapper对于处理高分辨率影像效果较好，而ERDAS IMAGINE的数据融合效果最好。[3] ERDAS IMAGINE是美国Leica公司开发的遥感图像处理系统。它以其先进的图像处理技术，友好、灵活的用户界面和操作方式，面向广阔应用领域的产品模块，服务于不同层次用户的模型开发工具以及高度的RS/GIS（遥感图像处理和地理信息系统）集成功能，为遥感及相关应用领域的用户提供了内容丰富而功能强大的图像处理工具。 2012年5月1日，鹰图发布最新版本的ERDAS IMAGINE，所有ERDAS 2011软件用户都可以从官方网站上下载最新版本 ERDAS IMAGINE 11.0.5. 新版本包括之前2011服务包的一些改变。相比之前的版本，新版本增加了更多ERDAS IMAGINE和GeoMedia之间的在线联接、提供了更为丰富的图像和GIS产品。用户使用一个单一的产品，就可以轻易地把两个产品结合起来构建一个更大、更清

图像融合的研究背景和研究意义

图像融合的研究背景和研究意义 1概述 2 图像融合的研究背景和研究意义 3图像融合的层次 像素级图像融合 特征级图像融合 决策级图像融合 4 彩色图像融合的意义 1概述 随着现代信息技术的发展，图像的获取己从最初单一可见光传感器发展到现在的雷达、高光谱、多光谱红外等多种不同传感器，相应获取的图像数据量也急剧增加。由于成像原理不同和技术条件的限制，任何一个单一图像数据都不能全面反应目标对象的特性，具有一定的应用范围和局限性。而图像融合技术是将多种不同特性的图像数据结合起来，相互取长补短便可以发挥各自的优势，弥补各自的不足，有可能更全面的反映目标特性，提供更强的信息解译能力和可靠的分析结果。图像融合不仅扩大了各图像数据源的应用范围，而且提高了分析精度、应用效果和使用价值，成为信息领域的一个重要的方向。图像配准是图像融合的重要前提和基础，其误差的大小直接影响图像融合结果的有效性。 作为数据融合技术的一个重要分支，图像融合所具有的改善图像质量、提高几何配准精度、生成三维立体效果、实现实时或准实时动态监测、克服目标提取与识别中图像数据的不完整性等优点，使得图像融合在遥感观测、智能控制、无损检测、智能机器人、医学影像(2D和3D)、制造业等领域得到广泛的应用，成为当前重要的信息处理技术，迅速发展的军事、医学、自然资源勘探、环境和土地、海洋资源利用管理、地形地貌分析、生物学等领域的应用需求更有力地刺激了图像融合技术的发展。 2 图像融合的研究背景和研究意义 Pohl和Genderen对图像融合做了如下定义：图像融合就是通过一种特定算法将两幅或多幅图像合成为一幅新图像。它的主要思想是采用一定的算法，把

图像拼接算法及实现.doc

图像拼接算法及实现（一） 来源：中国论文下载中心 [ 09-06-03 16:36:00 ] 作者：陈挺编辑：studa090420 论文关键词：图像拼接图像配准图像融合全景图 论文摘要：图像拼接(image mosaic)技术是将一组相互间重叠部分的图像序列进行空间匹配对准,经重采样合成后形成一幅包含各图像序列信息的宽视角场景的、完整的、高清晰的新图像的技术。图像拼接在摄影测量学、计算机视觉、遥感图像处理、医学图像分析、计算机图形学等领域有着广泛的应用价值。一般来说,图像拼接的过程由图像获取,图像配准,图像合成三步骤组成,其中图像配准是整个图像拼接的基础。本文研究了两种图像配准算法:基于特征和基于变换域的图像配准算法。在基于特征的配准算法的基础上,提出一种稳健的基于特征点的配准算法。首先改进Harris角点检测算法,有效提高所提取特征点的速度和精度。然后利用相似测度NCC(normalized cross correlation——归一化互相关),通过用双向最大相关系数匹配的方法提取出初始特征点对,用随机采样法RANSAC(Random Sample Consensus)剔除伪特征点对,实现特征点对的精确匹配。最后用正确的特征点匹配对实现图像的配准。本文提出的算法适应性较强,在重复性纹理、旋转角度比较大等较难自动匹配场合下仍可以准确实现图像配准。 Abstract：Image mosaic is a technology that carries on the spatial matching to a series of image which are overlapped with each other, and finally builds a seamless and high quality image which has high resolution and big eyeshot. Image mosaic has widely applications in the fields of photogrammetry, computer vision, remote sensing image processing, medical image analysis, computer graphic and so on. 。In general, the process of image mosaic by the image acquisition, image registration, image synthesis of three steps, one of image registration are the basis of the entire image mosaic. In this paper, two image registration algorithm: Based on the characteristics and transform domain-based image registration algorithm. In feature-based registration algorithm based on a robust feature-based registration algorithm points. First of all, to improve the Harris corner detection algorithm, effectively improve the extraction of feature points of the speed and accuracy. And the use of a similar measure of NCC (normalized cross correlation - Normalized cross-correlation), through the largest correlation coefficient with two-way matching to extract the feature points out the initial right, using random sampling method RANSAC (Random Sample Consensus) excluding pseudo-feature points right, feature points on the implementation of the exact match. Finally with the correct feature point matching for image registration implementation. In this paper, the algorithm adapted, in the repetitive texture, such as relatively large rotation more difficult to automatically match occasions can still achieve an accurate image registration. Key words: image mosaic, image registration, image fusion, panorama 第一章绪论

基于小波变换的图像处理.

基于小波变换的数字图像处理 摘要：本文先介绍了小波分析的基本理论，为图像处理模型的构建奠定了基础，在此基础上提出了小波分析在图像压缩，图像去噪，图像融合，图像增强等图像处理方面的应用,最后在MATLAB环境下进行仿真，验证了小波变化在图像处理方面的优势。 关键词：小波分析；图像压缩；图像去噪；图像融合；图像增强 引言 数字图像处理是利用计算机对科学研究和生产中出现的数字化可视化图像 信息进行处理，作为信息技术的一个重要领域受到了高度广泛的重视。数字化图像处理的今天，人们为图像建立数学模型并对图像特征给出各种描述，设计算子，优化处理等。迄今为止，研究数字图像处理应用中数学问题的理论越来越多，包括概率统计、调和分析、线性系统和偏微分方程等。 小波分析，作为一种新的数学分析工具，是泛函分析、傅立叶分析、样条分析、调和分析以及数值分析理论的完美结合，所以小波分析具有良好性质和实际应用背景，被广泛应用于计算机视觉、图像处理以及目标检测等领域，并在理论和方法上取得了重大进展，小波分析在图像处理及其相关领域所发挥的作用也越来越大。在传统的傅立叶分析中，信号完全是在频域展开的，不包含任何时频的信息，其丢弃的时域信息可能对某些应用同样非常重要，所以人们对傅立叶分析进行了推广，提出了很多能表征时域和频域信息的信号分析方法，如短时傅立叶变换，Gabor变换，时频分析，小波变换等。但短时傅立叶分析只能在一个分辨率上进行，所以对很多应用来说不够精确，存在很大的缺陷。而小波分析则克服了短时傅立叶变换在单分辨率上的缺陷，在时域和频域都有表征信号局部信息的能力，时间窗和频率窗都可以根据信号的具体形态动态调整。 本文介绍了小波变换的基本理论，并介绍了一些常用的小波函数，然后研究了小波分析在图像处理中的应用，包括图像压缩，图像去噪，图像融合，图像增强等,本文重点在图像去噪，最后用Matlab进行了仿真[1]。

数字图像处理(matlab版)第八章 图像融合算法

第八章图像融合算法 8.1 图像融合技术的发展过程 随着科学的发展和技术的进步，采集图像数据的手段不断完善，出现了各种新的图像获取技术。如今，图像融合方法已经运用于社会的很多领域，像遥感卫星图像，光图像，红外图像，医学图像，尤其是多传感器图像融合应用以来，它已成为计算机视觉，目标识别，机器人以及军事等方面研究的重要方面。

8.2基于小波变换图像融合的基本原理 如果一个图像进行L 层小波分解，我们将得到（3L ＋1）层子带，其中包括低频的基带和层的高频子带。用代表源图像，记为，设尺度系数和小波函数对应的滤波器系数矩阵分别为，则二维小波分解算法可描述为： j C 3L ,h v d D D D 和(,)f x y 0C ()x Φ()x ΨH G 与11 1 j h j j v j j d j j C HC H D GC H D HC G D GC G +++′ =??′=??′=??′=?j+1(0,1, (1) j J =?（8-1）

小波重构算法为： 基于二维DWT 的融合过程如图1.1所示，ImageA 和 ImageB 代表两幅源图像A 和B ，ImageF 代表融合后的图像，具体步骤如下：（1）图像的预处理： 1h v d j j j j j C H C H G D H H D G G D G ?′′′′=+++(,1, (1) j J J =?（8-2） 图8.1 基于DWT 图像融合过程

①图像滤波 ②图像配准 （2）对ImageA和ImageB进行二维DWT分解，得到图像的低频和高频分量。 （3）根据低频和高频分量的特点，按照各自的融合算法进行融合。 （4）对以上得到的高低频分量，经过小波逆变换重构得到融合图像ImageF。 8.3 融合效果性能评价指标 8.3.1均值和标准差

图像匹配与拼接方法

图像匹配与拼接 分匹配和拼接两部分 一、匹配 当然匹配的方法，有sift，surf什么的，这里主要就介绍一下我自己的方法啦！ 特征点提取是必须的，不然搜索范围太大哇！并且可能不可靠，所以特征点提取是必须的。什么点适合做特征点呢？这方面的论文很多啦，主要还是看你用什么方法匹配了，如果是用互相关作为相似性准则的话，那自相关系数随各个方向变化大的点就适合作特征点了，当然还要考虑稳定性，即特征点应该不太受光照、噪声、缩放、旋转等的影响，这样的才是好的特征点。当然，如果确定了应用坏境，不一定要满足不受上四个因素影响的，比如平行的双目匹配、全景图的匹配等，具体问题具体分析吧！角点特征是个人比较喜欢的特征。这里我自己定义了一种局部特征，效果还行，匹配采用互相关为准则的匹配，大概效果如下： 目测这几个匹配点还是正确的哇！在一些应用中，可能需要的匹配点数相当多，这就需要较密集的匹配了。密集的匹配可以根据初始的匹配结果估计搜索范围，这可以加速搜索，同时也要提取更多的特征点呀！话不多说了，下面是密集的匹配：

虽然这样的密度对于三维重构来说还不够，但对于一般的图像拼接来说足够了。匹配完了，下面就要将第二步了。 二、矫正 匹配好两幅图像了，接下来干啥呢？把它们对准呗。可惜了，两幅图像之间不但存在平移，还存在旋转缩放什么的，更复杂的，可能还存在所谓的3D变换，那就复杂啦！不管怎么样，所谓的对准，也就是矫正，总是基于一定的模型的，即基于相机拍摄两幅图像的相对姿态。对于全景图拼接（个人觉得是最简单的且较实用的拼接），需要根据相机焦距或者视场角投影到柱面上，然后两幅图像间的位置就只有一维的平移关系了。但是这对拍摄的相机也是有要求的，就是要保证拍摄两幅图像时，物防焦点是重合的，这样才能根据稀疏的几个点确定所有重叠区域内点的相对位置呀！但实际中很难做到物方焦点重合，比如数码相机或者所谓的智能手机的全景图拍摄，一般人都是拿着相机或者手机绕人旋转，而非绕物方焦点旋转拍摄的，这样拼接起来是绝对有误差的呀！特别是拼接近景，误差就更大了，远景还好。怎么克服这个缺点呢？简单的改进方法就是绕着摄像头旋转吧，虽然这也不是严格绕物方焦距旋转，但起码误差小得多啦，拼接的效果当然也就好得多了，可以试一试哦！ 不扯了，第二种模型就是认为两幅图像间存在的变换关系是有2D旋转、缩放、平移的，可以通过一个旋转、缩放、平移矩阵来矫正，这个也不难，但是应用范围却相当有限，不详说了。 第三种模型就是不用模型，或者说认为两幅图像间的对应点存在的是一种线性变换关系，这样只要解一个线性方程组就可以了，似乎也挺简单的。但可惜的是，不是任给的两幅图像间都只存在线性变换呀！它可能是一个3D的线性变换，那就麻烦了，这个必须需要密匹配呀！不然就一定是有误差的，即不能通过稀疏的匹配点来矫正两幅图像的所有对应点的。 还有更多的模型，比如各方位的全景图，需要投影到球面上的哇！不过这个模型也不难。最难的当然是拍摄两幅图像时，相机不同，相机姿态也不同了，这个是很有挑战的，我也很惧怕这个。下面展示三种矫正结果： 1、2D线性模型： 2D矫正，认为匹配点之间存在线性变换，X=ax+by+c，Y=dx+ey+e这样的模型，业内称之放射变换，其中x，y是第一幅点的坐标，X,Y是对应的第二幅图像中的点坐标，使用最小二乘法计算a、b、c、d、e、f，第二幅图相对于第一幅图矫正的结果就是这样的了

基于MATLAB的图像融合算法

基于MATLAB的图像融合算法

基于MATLAB的图像融合算法 摘要 图像融合能够将不同类型传感器获取的同一对象的图像数据进行空间配准。并且采用一定的算法将各图像数据所含的信息优势或互补性有机的结合起来产生新的图像数据。这种新数据具有描述所研究对象的较优化的信息表征，同单一信息源相比，能减少或抑制对被感知对象或环境解释中可能存在的多义性、不完全性、不确定性和误差，最大限度的利用各种信息源提供的信息。 图像融合分为像素级、特征级、决策级三个层次，其中像素级图像融合能够提供其它层次上的融合处理所不具有的更丰富、更精确、更可靠的细节信息，有利于图像的进一步分析、处理和理解，它在整个图像融合技术中是最为复杂、实施难度最大的融合处理技术。本文的研究工作是围绕像素级图像融合展开的，针对像素级图像融合技术中需要解决的关键问题，研究了多种像素级图像融合方法。 本论文的主要的研究内容有： 首先介绍了图像信息融合的概念、优势、发展历史和应用领域，并介绍了图像融合的三个层次及常用的空域图像融合方法,空域融合方法有像素平均法、像素最大最小法、像素加权平均法，频域融合方法包括图像的多尺度分解、图像的小波变换、基于小波变换的 图像融合方法。图像的预处理有滤波（邻域平均滤波法、中值滤波法）和图像配准。最后，对于图像融合系统来说，融合图像质量的评价显得特别重要，本文探讨了图像融合质量的评价问题，总结了融合效果的主、客观评价标准，作为本课题性能分析的判断标准。 关键词：图像配准；图像融合；空域融合法；小波变换；评价标准

MATLAB-based image fusion algorithm Abstract The same object gotten from different sensors can be registered spatially by mage fusion. The information advantages or the complements of all the image data can be combined to produce new image data using some fusion algorithms. The new data can describe the optimized information of the studied object. Compared with single information source, the new data can reduce or restrain the ambiguity, the incompleteness, the uncertainty and the error, which may appears in the explanation of the studied object or the environment, and make full use of the information provided by all kinds of resources. Image fusion consists of such three levels as the Pixel level，the feature level and the decision level，among which the Pixel level image fusion can Provide more abundant, accurate and reliable detailed information tha t doesn’t exist on the other levels and It is the most complicated in the whole image fusion techniques and also is the most difficult to implement in the fusion Processing techniques. this dissertation Progresses mainly around the Pixel level image fusion and proposes a variety of Pixel level image fusion techniques according to the key Problems in the Pixel level image fusion techniques. The major research and findings are as follows: First we introduce the concepts，advantages，developments and applications. Three levels of image fusion and image fusion techniques in common use are also reviewed. Airspace Image Fusion such as simple fusion method (pixel average, maximal or minimal pixel selection), Frequency-domain image fusion methods include the multiresolution image fusion techniques based on multi-scale pyramid decomposition, and the image fusion method based on wavelet transform Image Pre-processing like Filter processing (neighborhood average filter, median filtering method) and Image Registration. in the end, evaluation for fusion image is vital to fusion system. This dissertation probes into the image fusion quality assessment and deduces a set of indexes as the criteria to analyze the performances of this discussion. Keywords: Image Registration；Image Fusion；Airspace integration method；Wavelet Transform；Evaluation criteria

ENVI中的融合方法

ENVI下的图像融合方法 图像融合是将低空间分辨率的多光谱影像或高光谱数据与高空间分辨率的单波段影像重采样生成成一副高分辨率多光谱影像遥感的图像处理技术，使得处理后的影像既有较高的空间分辨率，又具有多光谱特征。图像融合的关键是融合前两幅图像的精确配准以及处理过程中融合方法的选择。只有将两幅融合图像进行精确配准，才可能得到满意的结果。对于融合方法的选择，取决于被融合图像的特征以及融合目的。 ENVI中提供融合方法有： ?HSV变换 ?Brovey变换 这两种方法要求数据具有地理参考或者具有相同的尺寸大小。RGB输入波段必须为无符号8bit数据或者从打开的彩色Display中选择。 这两种操作方法基本类似，下面介绍Brovey变换操作过程。 （1）打开融合的两个文件，将低分辨率多光谱图像显示在Display中。 （2）选择主菜单-> Transform -> Image Sharpening->Color Normalized (Brovey)，在Select Input RGB对话框中，有两种选择方式：从可用波段列表中和从Display窗口中，前者要求波段必须为无符号8bit。 （3）选择Display窗口中选择RGB，单击OK。 （4） Color Normalized (Brovey)输出面板中，选择重采样方式和输入文件路径及文件名，点击OK输出结果。 对于多光谱影像，ENVI利用以下融合技术： ?Gram-Schmidt ?主成分（PC）变换 ?color normalized (CN)变换 ?Pan sharpening 这四种方法中，Gram-Schmidt法能保持融合前后影像波谱信息的一致性，是一种高保真的遥感影像融合方法；color normalized (CN)变换要求数据具有中心波长和FWHM，；Pansharpening融合方法需要在ENVI Zoom中启动，比较适合高分辨率影像，如QuickBird、IKONOS等。 这四种方式操作基本类似，下面介绍参数相对较多的Gram-Schmidt操作过程。 （1）打开融合的两个文件。

多模态图像融合算法综述

多模态图像融合算法综述 多模态图像融合能最大限度地提取各模态的图像信息，同时减少冗余信息。文章提出一种新的图像融合算法的分类体系，在分析新体系的基础上，阐述了各体系下的代表性算法，论述图像融合的研究背景及研究进展，最后提出了未来趋势的新目标。 标签：图像融合；像素级；特征级；决策级；图像融合算法 引言 不同模态传感器关于同一场景所采集到的图像数据经过相关技术处理相融合的过程称为多模态图像融合，本文站在新的角度，提出一种新的分类体系，同时阐述各体系下的代表性算法，论述图像融合领域的发展现状。 1 图像融合的体系 根据融合的对象，图像融合一般分为三个等级：像素级、特征级及决策级[1]。像素级的处理对象是像素，最简单直接，特征级建立在抽取输入源图像特征的基础上，决策级是对图像信息更高要求的抽象处理，本文在此基础上提出一种不同的的分类体系，即直接融合和间接融合。 1.1 直接图像融合算法 直接图像融合算法分基于像素点和基于特征向量的融合方法，基于像素点的融合主要针对初始图像数据而进行[2]，是对各图像像素点信息的综合处理[3]。 1.2 间接图像融合算法类 间接图像融合算法是指对图像进行变换、分解重构或经神经网络处理后，通过逻辑推理来分析多幅图像的信息。 2 直接图像融合算法类 直接图像融合算法分基于像素点和基于特征向量的图像融合算法。 2.1 基于像素点的直接图像融合算法 设待融合图像X、Y，且X（i，j）、Y（i，j）为图像X、图像Y在位置（i，j）的灰度值，则融合后的图像Z（i，j）=x X（i，j）+y Y（i，j），x、y是加权系数且x+y=1。算法简单、融合速度快，但减弱了图像的对比度[4]。 2.2 基于特征向量的直接图像融合算法

图像拼接算法及实现(一).

图像拼接算法及实现（一） 论文关键词：图像拼接图像配准图像融合全景图 论文摘要：图像拼接(image mosaic)技术是将一组相互间重叠部分的图像序列进行空间匹配对准,经重采样合成后形成一幅包含各图像序列信息的宽视角场景的、完整的、高清晰的新图像的技术。图像拼接在摄影测量学、计算机视觉、遥感图像处理、医学图像分析、计算机图形学等领域有着广泛的应用价值。一般来说,图像拼接的过程由图像获取,图像配准,图像合成三步骤组成,其中图像配准是整个图像拼接的基础。本文研究了两种图像配准算法:基于特征和基于变换域的图像配准算法。在基于特征的配准算法的基础上,提出一种稳健的基于特征点的配准算法。首先改进Harris角点检测算法,有效提高所提取特征点的速度和精度。然后利用相似测度NCC(normalized cross correlation——归一化互相关),通过用双向最大相关系数匹配的方法提取出初始特征点对,用随机采样法RANSAC(Random Sample Consensus)剔除伪特征点对,实现特征点对的精确匹配。最后用正确的特征点匹配对实现图像的配准。本文提出的算法适应性较强,在重复性纹理、旋转角度比较大等较难自动匹配场合下仍可以准确实现图像配准。 Abstract：Image mosaic is a technology that carries on the spatial matching to a series of image which are overlapped with each other, and finally builds a seamless and high quality image which has high resolution and big eyeshot. Image mosaic has widely applications in the fields of photogrammetry, computer vision, remote sensing image processing, medical image analysis, computer graphic and so on. 。In general, the process of image mosaic by the image acquisition, image registration, image synthesis of three steps, one of image registration are the basis of the entire image mosaic. In this paper, two image registration algorithm: Based on the characteristics and transform domain-based image registration algorithm. In feature-based registration algorithm based on a robust feature-based registration algorithm points. First of all, to improve the Harris corner detection algorithm, effectively improve the extraction of feature points of the speed and accuracy. And the use of a similar measure of NCC (normalized cross correlation - Normalized cross-correlation), through the largest correlation coefficient with two-way matching to extract the feature points out the initial right, using random sampling method RANSAC (Random Sample Consensus) excluding pseudo-feature points right, feature points on the implementation of the exact match. Finally with the correct feature point matching for image registration implementation. In this