基于标定配准的图像拼接算法设计与实现

全景拼接算法简介

全景拼接算法简介 罗海风 2014.12.11 目录 1.概述 (1) 2.主要步骤 (2) 2.1. 图像获取 (2) 2.2鱼眼图像矫正 (2) 2.3图片匹配 (2) 2.4 图片拼接 (2) 2.5 图像融合 (2) 2.6全景图像投射 (2) 3.算法技术点介绍 (3) 3.1图像获取 (3) 3.2鱼眼图像矫正 (4) 3.3图片匹配 (4) 3.3.1与特征无关的匹配方式 (4) 3.3.2根据特征进行匹配的方式 (5) 3.4图片拼接 (5) 3.5图像融合 (6) 3.5.1 平均叠加法 (6) 3.5.2 线性法 (7) 3.5.3 加权函数法 (7) 3.5.4 多段融合法（多分辨率样条） (7) 3.6全景图像投射 (7) 3.6.1 柱面全景图 (7) 3.6.2 球面全景图 (7) 3.6.3 多面体全景图 (8) 4.开源图像算法库OPENCV拼接模块 (8) 4.1 STITCHING_DETAIL程序运行流程 (8) 4.2 STITCHING_DETAIL程序接口介绍 (9) 4.3测试效果 (10) 5.小结 (10) 参考资料 (10) 1.概述 全景视图是指在一个固定的观察点，能够提供水平方向上方位角360度，垂直方向上180度的自由浏览（简化的全景只能提供水平方向360度的浏览）。 目前市场中的全景摄像机主要分为两种：鱼眼全景摄像机和多镜头全景摄像机。鱼眼全景摄像机是由单传感器配套特殊的超广角鱼眼镜头，并依赖图像校正技术还原图像的鱼眼全景摄像机。鱼眼全景摄像机

最终生成的全景图像即使经过校正也依然存在一定程度的失真和不自然。多镜头全景摄像机可以避免鱼眼镜头图像失真的缺点，但是或多或少也会存在融合边缘效果不真实、角度有偏差或分割融合后有"附加"感的缺撼。 本文档中根据目前所查找到的资料，对多镜头全景视图拼接算法原理进行简要的介绍。 2.主要步骤 2.1. 图像获取 通过相机取得图像。通常需要根据失真较大的鱼眼镜头和失真较小的窄视角镜头决定算法处理方式。单镜头和多镜头相机在算法处理上也会有一定差别。 2.2鱼眼图像矫正 若相机镜头为鱼眼镜头，则图像需要进行特定的畸变展开处理。 2.3图片匹配 根据素材图片中相互重叠的部分估算图片间匹配关系。主要匹配方式分两种： A．与特征无关的匹配方式。最常见的即为相关性匹配。 B．根据特征进行匹配的方式。最常见的即为根据SIFT，SURF等素材图片中局部特征点，匹配相邻图片中的特征点，估算图像间投影变换矩阵。 2.4 图片拼接 根据步骤2.3所得图片相互关系，将相邻图片拼接至一起。 2.5 图像融合 对拼接得到的全景图进行融合处理。 2.6 全景图像投射 将合成后的全景图投射至球面、柱面或立方体上并建立合适的视点，实现全方位的视图浏览。

地的总结图像配准算法

图像配准定义为：对从不同传感器、不同时相、不同角度所获得的两幅或多幅图像进行最佳匹配的处理过程[2]。图像配准需要分析各分量图像上的几何畸变，然后采用一种几何变换将图像归化到统一的坐标系统中。在配准过程中，通常取其中的一幅图像作为配准的标准，称之为参考图像；另一幅图像作为配准图像。 图1-1 图像配准的基本流程 图1-2 图像配准方法分类

根据配准使用的特征，图像配准的方法大致可分为三类： (1)基于图像灰度的配准算法。首先从参考图像中提取目标区作为配准的模板，然后用该模板在待配准图像中滑动，通过相似性度量(如相关系数法、差的平方和法、差的绝对值法、协方差法)来寻找最佳匹配点。 (2)基于图像特征的配准算法。该算法是以图像中某些显著特征(点、线、区域)为配准基元，算法过程分为两步：特征提取和特征匹配。首先从两幅图像中提取灰度变化明显的点、线、区域等特征形成特征集。然后在两幅图像对应的特征集中利用特征匹配算法尽可能地将存在对应关系的特征对选择出来。对于非特征像素点利用插值等方法作处理推算出对应匹配关系，从而实现两幅图像之间逐像素的配准。 (3)基于对图像的理解和解释的配准算法。这种配准算法不仅能自动识别相应像点，而且还可以由计算机自动识别各种目标的性质和相互关系，具有极高的可靠性和精度。这种基于理解和解释的图像配准涉及到诸如计算机视觉、模式识别、人工智能等许多领域。不仅依赖于这些领域中理论上的突破，而且有待于高速度并行处理计算机的研制。 从自动化角度来看，可以将配准过程分为自动、半自动和手动配准。 存在问题：如何提高图像的配准速度将是大范围遥感图像自动配准问题的要点；选取何种自动配准方案以保证图像的配准精度将是大范围遥感图像自动配准问题的另一要点。 2(,)[1((, f x y g f h x y 其中，h表示二维空间坐标变换。g表示灰度或辐射变换，描述因传感器类型的不同以及成像时气候等环境的影响所带来的图像灰度的变换。配准问题的实质就是要找到最优的空域变换h和灰度变换g，使得上述的等式成立，从而找到配准变换的参数 特征空间的选择通常要考虑以下几个因素：相似性；空间分布；唯一性。 在自动图像配准中对特征的理解可以分为两类。(1)基于灰度的方法：基于灰度的方法将重点放在特征匹配上，在其过程中并没有真正提取特征。一般所说的模板匹配法就是这种方法的代表。这种方法实际上将图像的灰度分布直接作为特征而构成匹配的基础。(2)基于特征的方法：基于特征的方法需要在图像中提取显著的特征：区域(森林、湖泊、农田等)、线(区域的边界、道路等)和点(区域的角

基于ICP算法的医学图像几何配准技术

机器人技术、计算机技术、图像处理技术与临床外科手 术相结合，产生了一个崭新的研究领域——计算机集成外科手术系统(Computer Integrated Surgical systems and ，。它旨在利用等图像信息并结合立technology CIS)CT/MRI 体定位系统对人体解剖结构进行术前显示、术前计划和术中定位，在外科手术中利用医用机器人和计算机进行干预。外科手术也逐渐从医院外科医生的单独工作，转移到包括工程技术人员和康复人员在内的一个工程系统，由他们组成的医疗小组共同制定手术计划、实施临床手术以及安排手术后的康复。其中医学图像几何配准是这个系统的关键技术，它 完成两个不同空间中对应于同一医学解剖特征的两点间的映射。医生能够利用配准的有用信息进行手术计划，引导手术进行。几何配准主要由个部分组成：术前模型的建立，术3中数据的获取和配准计算。如图所示。 1 图几何配准模块 1 基于的配准算法 1 ICP 配准算法最初由 ICP (Iterative Closest Point Algorithm)和Besl Mckey [1] 提出，这是一种基于轮廓特征的点配准方法。对同一解剖结构，提取医学图像的轮廓，得到术前模型},..,2,1,0,{k i x X i ==的一组点集和术中的一组点 集},..,2,1,0,{n i u U i ==U X 。其中和不必具有相同 n k ≥U i u X 数量的元素令。对集合中的一个点，集合, i u 中与的距离最短的点被称为最近点。图像几何配准就 是通过两个坐标系之间的旋转和平移，使得来自医学图像上 的同源点间距离最小。假设每对点 ),..,,(21im i i i u u u u =和 ),..,,(21im i i i x x x x =都是三m 维点＝，为了使它们配准起来，就要找到最优的旋转( 3)矩阵和平移向量，满足目标表达式 R T [2] ()2 ,min ∑ +?T Ru x i i T R 其中，是×的旋转矩阵；是×的平移矩阵。R 33 T 31为了解决这个问题，采用叠代最近点的方法：Y X Y ?X U 获得点集，，由中对距离最近的点(1) 组成； 应用四元数法(2)[3] ，得到旋转矩阵和配准(quaternions)R 向量； T 将和作用于集合； (3)R T U 决定均方差值是否小于预先估计的临界值，如不是(4)则返回到继续进行。 (1)术前建模及数据获取 2 术前模型的建立 2.1 在计算机集成外科手术系统中，全膝置换手术占很大比例，本文以股骨为例建立三维几何模型。首先采用扫描CT 得到股骨内、外结构的截面二维几何信息。然后在Pro/软件中读取这些信息，进行二维断层图像的三维 Engineer CT 重建[4] ，得到的股骨硬组织三维模型如图所示。 2基于算法的医学图像几何配准技术 ICP 李　斌1，吴　松2，王成焘1 （上海交通大学机械与动力工程学院，上海；上海交通大学研究生院，上海） 1. 200030 2. 200030摘　要：几何配准是医学图像领域研究的重要内容，医学图像几何配准的目标就是建立术前和术中两组点的变换关系。该文利用股骨为模型，讨论了基于轮廓特征的医学图像几何配准算法，从技术上实现了术前建模和术中取点，并编制相应的算法程序。ICP ICP 关键词：几何配准；医学图像；算法 ICP Technique for Medical Image Geometrical Registration Based on ICP Algorithm LI Bin 1，WU Song 2，WANG Chengtao 1 ； (1.College of Mechanical Engineering, Shanghai Jiaotong Univ.,Shanghai 200030 2. Graduate School,Shanghai Jiaotong Univ., Shanghai 200030)【】Abstract Geometrical registration is an important research field in medical image. The goal of medical image registration is to establish a common reference frame between pre-surgical and intra-surgical 3-D data sets. This paper presents an ICP(iterative closest point ) algorithm based on contour ，：，feature. According to the example of femur model it realizes three parts of geometrical registration establishing pre-operative model selecting intra ，-operative data sets and programming ICP algorithm. 【】Key words ；；Geometrical registration Medical image ICP algorithm 第卷　第期2914№ Vol.29 14计　算　机　工　程Computer Engineering 年月 20038 August 2003 ?多媒体技术及应用? 中图分类号： TP391 文章编号：———10003428(2003)14 015103 文献标识码：A

基于形状匹配的快速图像配准

２００８年４月张素等：基于形状匹配的快速图像配准 ２实验结果与分析 为检验本文算法的有效性，取一幅分辨率为５１２×５１２的腹部ｃＴ图像（图３（ａ）），依次进行伸缩、旋转、平移变换，再加入高斯噪声，得到另一幅图像（图３（ｂ））．变换公式为 ［≥］＝ｊ［一：；兰０］［二］＋［芝］（１８）式中：（Ｊ，ｙ）为参考图像上的点；（ｔ），’）为变换之后的点；Ｊ为伸缩比例；ｐ为参考图像的旋转角度，分别用Ｐｏｗｅｕ搜索算法和本文算法进行配准，配准参数的精度为０．００１．实验在一台ＣＰＵ为Ｃｅｌｅｒｏｎ、主频为２．８ＧＨｚ、内存为５１２Ｍ的计算机上进行．图３为算法流程中，轮廓提取、标记点自动提取以及形状匹配的结果．表１列出了一部分代表性的比较结果（其中丁为配准全过程所耗费的时间）． 图３轮廓提取、标记点自动提取以及形状匹配的结果 Ｆ１９３ Ｒｅ蛐№ｏｆｒｅｇｉ佃ｅ砷撇惦ｏｎ＇ａｕｔｏｍ雠ｌａｌＩ山ｍｒｂｄｅｔｅ甜仙姐ｄｓｈｐｅ删ｎｃ址啤 衷１本文算法与ＰｏｗｅⅡ算法结果的比较 Ｔ｜山．１Ｃ岫ｐａｒａ６ｖｅｒ器ＩＩｌｔｓｂｅｔｗ咖ｔｈｅｐｒｏ肼ｌｓｅｄｍ劬ｏｄ ａⅡｄＰｏｗｅｕａＩｇｏｒｉｔｈｍ 变换及配 旷无量纲占／（ｏ）厶ｘ｜缸ｌ ｒ，ｓ 准参数像素像素 变换参数０５００６０肿０２０ＤｏＯ３ⅢＤ００＿—— ＰｏｗｅＵ法０５０２６０Ｄ５２１９Ｊ０５５２８五５８５６０ 初始参数０４９７６０．０４０１９３１７３１５０ｌ＿—— 本文算法０５００６０．２９４１９．８８４２９．８２３２５变换参数ｌｏ∞４０肿０ｌＯ姗５０Ｄ００。—— ＰｏｗｅＵ法ｌＯ∞４０舶ｌ９．１１５５０ｊ０２ｌ１９０ 初始参数ｌ－０００４０．ｏｌＯ１０Ｊ昕３４９．９２ｌ●—— 本文算法１０００钧０９５９．９５２５００的３０ 变换参数１５∞１０Ｄｏｏ２０ＤＯＯ３０．０００＿——ｐｏｗｅＵ法１姗１０Ｄ０７２０３９９２９＿９９４６８０初始参数１５０２９．９９７１９３７２２９２１７＿—— 本文算法１５００１０ＪＤ４９２０．０５０３０２８３４２ 变换参数１５００３０加０４０肿０ＩＯ．０００ Ｐｏｖ岭Ｕ法１０４６２８鹏５．４８５７１．４３．６８７’ｌ２３０初始参数１５０５２９．９５５３９Ｄ０６７．９∥ 本文算法１５０１３０Ｊ０２２３９５１４ｌＯＪ昕３２７ 变换参数２肿Ｏ１０．ａＤＯ１５加Ｏ２０．０００●—— ＰｏｗｅＵ法１．９１９３９ｊ９２ｌ１５矗６４２３２７２‘ｌｌ∞ 初始参数２肿６１０．０１８ １３剃１７．盯５．●——本文算法２Ｄ００ｌＯ．１２６１６＿０１３２０ＪＤ２２５３注：用上标＃表示的数据稍偏离变换参数；用上标?表示的部分数据为错误结果． 由表１的结果可以看出，用Ｐｏｗｅｕ算法直接进行搜索，计算时间较长，且有时因收敛到局部极值而产生错误结果，如表中用卑号标出的数据．而采用本文的算法完全达到了预期目的，大大减少了计算量，精度达到了“亚像素”级水平，有效地避免了收敛于局部极值．观察表ｌ中用ＳＶＤ法求得的初始参数，可以看出，这些参数实质上已经非常接近最终的配准参数，这是因为形状信息本身就是比较精确的特征量；其中有几个数据稍偏离配准参数，这是因为较大的变换参数（主要是缩放参数ｓ）会使形状匹配过程中产生相对较大的误差．计算过程中，特征提取、形状匹配、ＳＶＤ法求初始参数等步骤所耗费的计算量均比较小，而Ｐｏｗｅｌｌ算法一旦得到了与变换参数较接近的初始参数，就会很快地收敛到正确结果，这是由ＰｏｗｅＵ算法本身的性质所决定的．本实验中，在绝大多数情况下，只需要计算一个循环即可收敛．因此，ＰｏｗｅＵ算法的作用其实相当于对ＳＶＤ法所得的参数进行修正． ３结语 本文将形状特征和互信息搜索相结合，有效地提

图像拼接原理及方法

第一章绪论 1.1图像拼接技术的研究背景及研究意义 图像拼接(image mosaic)是一个日益流行的研究领域，他已经成为照相绘图学、计算机视觉、图像处理和计算机图形学研究中的热点。图像拼接解决的问题一般式，通过对齐一系 列空间重叠的图像，构成一个无缝的、高清晰的图像，它具有比单个图像更高的分辨率和更大的视野。 早期的图像拼接研究一直用于照相绘图学，主要是对大量航拍或卫星的图像的整合。近年来随着图像拼接技术的研究和发展，它使基于图像的绘制( IBR )成为结合两个互补领域 ――计算机视觉和计算机图形学的坚决焦点，在计算机视觉领域中，图像拼接成为对可视化 场景描述(Visual Seene Representaions)的主要研究方法：在计算机形学中，现实世界的图像过去一直用于环境贴图，即合成静态的背景和增加合成物体真实感的贴图，图像拼接可以 使IBR从一系列真是图像中快速绘制具有真实感的新视图。 在军事领域网的夜视成像技术中，无论夜视微光还是红外成像设备都会由于摄像器材的限制而无法拍摄视野宽阔的图片，更不用说360度的环形图片了。但是在实际应用中，很 多时候需要将360度所拍摄的很多张图片合成一张图片，从而可以使观察者可以观察到周围的全部情况。使用图像拼接技术，在根据拍摄设备和周围景物的情况进行分析后，就可以将通过转动的拍摄器材拍摄的涵盖周围360度景物的多幅图像进行拼接，从而实时地得到 超大视角甚至是360度角的全景图像。这在红外预警中起到了很大的作用。 微小型履带式移动机器人项目中，单目视觉不能满足机器人的视觉导航需要，并且单目 视觉机器人的视野范围明显小于双目视觉机器人的视野。利用图像拼接技术，拼接机器人双 目采集的图像，可以增大机器人的视野，给机器人的视觉导航提供方便。在虚拟现实领域中，人们可以利用图像拼接技术来得到宽视角的图像或360度全景图像，用来虚拟实际场景。 这种基于全景图的虚拟现实系统，通过全景图的深度信息抽取，恢复场景的三维信息，进而建立三维模型。这个系统允许用户在虚拟环境中的一点作水平环视以及一定范围内的俯视和仰视，同时允许在环视的过程中动态地改变焦距。这样的全景图像相当于人站在原地环顾四 周时看到的情形。在医学图像处理方面，显微镜或超声波的视野较小，医师无法通过一幅图 像进行诊视，同时对于大目标图像的数据测量也需要把不完整的图像拼接为一个整体。所以把相邻的各幅图像拼接起来是实现远程数据测量和远程会诊的关键环节圆。在遥感技术领域中，利用图像拼接技术中的图像配准技术可以对来自同一区域的两幅或多幅图像进行比较，也可以利用图像拼接技术将遥感卫星拍摄到的有失真地面图像拼接成比较准确的完整图像，作为进一步研究的依据。 从以上方面可以看出，图像拼接技术的应用前景十分广阔，深入研究图像拼接技术有着很重 要的意义 1.2图像拼接算法的分类 图像拼接作为这些年来图像研究方面的重点之一，国内外研究人员也提出了很多拼接算 法。图像拼接的质量，主要依赖图像的配准程度，因此图像的配准是拼接算法的核心和关键。根据图像匹配方法的不同仁阔，一般可以将图像拼接算法分为以下两个类型： (1) 基于区域相关的拼接算法。 这是最为传统和最普遍的算法。基于区域的配准方法是从待拼接图像的灰度值出发，对 待配准图像中一块区域与参考图像中的相同尺寸的区域使用最小二乘法或者其它数学方法 计算其灰度值的差异，对此差异比较后来判断待拼接图像重叠区域的相似程度，由此得到待

360°全景拼接技术简介

本文为技术简介，详细算法可以参考后面的参考资料。 1.概述 全景图像(Panorama)通常是指大于双眼正常有效视角(大约水平90度，垂直70度)或双眼余光视角(大约水平180度，垂直90度)，在一个固定的观察点，能够提供水平方向上方位角360度，垂直方向上180度的自由浏览（简化的全景只能提供水平方向360度的浏览），乃至360度完整场景范围拍摄的照片。 生成全景图的方法，通常有三种：一是利用专用照相设备，例如全景相机，带鱼眼透镜的广角相机等。其优点是容易得到全景图像且不需要复杂的建模过程，但是由于这些专用设备价格昂贵，不宜普遍适用。二是计算机绘制方法，该方法利用计算机图形学技术建立场景模型，然后绘制虚拟环境的全景图。其优点是绘制全景图的过程不需要实时控制，而且可以绘制出复杂的场景和真实感较强的光照模型，但缺点是建模过程相当繁琐和费时。三是利用普通数码相机和固定三脚架拍摄一系列的相互重叠的照片，并利用一定的算法将这些照片拼接起来，从而生成全景图。 近年来随着图像处理技术的研究和发展，图像拼接技术已经成为计算机视觉和计算机图形学的研究焦点。目前出现的关于图像拼接的商业软件主要有Ptgui、Ulead Cool 360及ArcSoft Panorama Maker等，这些商业软件多是半自动过程，需要排列好图像顺序，或手动点取特征点。 2.全景图类型： 1)柱面全景图 柱面全景图技术较为简单，发展也较为成熟，成为大多数构建全景图虚拟场景的基础。这种方式是将全景图像投影到一个以相机视点为中心的圆柱体内表面，

视线的旋转运动即转化为柱面上的坐标平移运动。这种全景图可以实现水平方向360度连续旋转，而垂直方向的俯仰角度则由于圆柱体的限制要小于180度。柱面全景图有两个显著优点：一是圆柱面可以展开成一个矩形平面，所以可以把柱面全景图展开成一个矩形图像，而且直接利用其在计算机内的图像格式进行存取；二是数据的采集要比立方体和球体都简单。在大多数实际应用中，360度的环视环境即可较好地表达出空间信息，所以柱面全景图模型是较为理想的一种选择。 2)立方体全景图 立方体全景图由六个平面投影图像组成，即将全景图投影到一个立方体的内表面上。这种方式下图像的采集和相机的标定难度较大，需要使用特殊的拍摄装置，依次在水平、垂直方向每隔90度拍摄一张照片，获得六张可以无缝拼接于一个立方体的六个面上的照片。这种方法可以实现水平方向360度旋转、垂直方向180度俯仰的视线观察。 3)球面全景图 球面全景图是指将源图像拼接成一个球体的形状，以相机视点为球心，将图像投影到球体的内表面。与立方体全景图类似，球面全景图也可以实现水平方向360度旋转、垂直方向180度俯仰的视线观察。球面全景图的拼接过程及存储方式较柱面全景图大为复杂，这是因为生成球面全景图的过程中需要将平面图像投影成球面图像，而球面为不可展曲面。因此这是一个平面图像水平和垂直方向的非线性投影过程，同时也很难找到与球面对应且易于存取的数据结构来存放球面图像。目前国内外在这方面提出的研究算法较其他类型全景图少，而且在可靠性和效率方面也存在一些问题。 3.主要内容

图像配准技术方法研究

图像配准技术方法研究 摘要随着信息技术的迅猛发展，图像配准技术已经在军事、遥感、医学、计算机视觉等多个领域得到了广泛的应用。图像配准技术是图像处理的一个基本问题，它是将不同时间、传感器或视角下获取的相同场景的多幅图像进行匹配的图像处理的过程。三类图像配准的方法大致如下：基于灰度的图像配准方法。基于变换域的图像配准方法。基于特征的图像配准方法。本文将应用这三种方法对图像配准进行研究。并重点研究基于特征的图像配准方法。 关键词图像配准，特征点匹配，灰度插值，控制点的提取 Abstract The technology of image registration is being widely used in the military, remote sensing , medical, computer, visual and any other fields with the rapid development of information technology. The technology of image registration is a kind of process to match different pictures getting from different periods and different cameras but a same scene, it is a basic point to handle the pictures. There are three kinds of ways to do the image registration:According to the level of the color of gray getting from the pictures.According to transforming domains.According to the features The three kinds of ways will be used to discuss the image registration in the thesis, and the way according to the features will be discussed more in the thesis.

医学图像配准

《数字医学图像》报告 内容：图像配准专题 专业： 2012级信息管理与信息系统班级：信管一班 小组成员： 20120701020 韩望欣 20120701008 毕卓帅 20120701005 胡庆 指导老师：彭瑜 完成日期： 2015 年 10月 25日

图像配准专题 简介：图像配准是对取自不同时间，不同传感器或不同视角的同一场景的两幅图像或者多幅图像匹配的过程。图像配准广泛用于多模态图像分析，是医学图像处理的一个重要分支，也是遥感图像处理，目标识别，图像重建，机器人视觉等领域中的关键技术之一，也是图像融合中要预处理的问题，待融合图像之间往往存在偏移、旋转、比例等空间变换关系，图像配准就是将这些图像变换到同一坐标系下，以供融合使用。 一：图像配准方法国内外进展情况 图像配准最早在美国七十年代的飞行器辅助导航系统、武器投射系统的末端制导以及寻地等应用研究中提出,并得到军方的大力支持与赞助。经过长达二十多年的研究,最终成功地用于中程导弹及战斧式巡航导弹上,使其弹着点平均圆误差半径不超过十几米,从而大大提高了导弹的命中率。八十年代后,在很多领域都有大量配准技术的应用,如遥感领域,模式识别,自动导航,医学诊断,计算机视觉等。各个领域的配准技术都是对各自具体的应用背景结合实际情况量身订制的技术。但是不同领域的配准技术之间在理论方法上又具有很大的相似性,从而使得在某领域的配准技术很容易移植到其它相关领域。目前国内外研究图像配准技术比较多的应用领域有红外图像处理、遥感图像处理、数字地图定位和医学图像处理等领域。 二、图像配准在医学领域的应用 20世纪以来随着计算机技术的不断发展,医学成像技术得到了快速的发展。尖端的新型医疗影像设备层出不穷,如计算机线摄影、数字减影等等,这些已经成为现代医学诊断必不可少的医学数字成像手段。由于这些医学数字成像设备有不同的灵敏度和分辨率,它们有各自的使用范围和局限性。多种模式图像的结合能充分利用图像自身的特点并做到信息互补。近几十年以来,图像配准在医学上的应用日益受到医学界和工程界的重视,己在世界范围广泛展开,在相关文献中己经提出了很多种医学图像配准的方法,这些研究成果广泛地运用到医学领域中。图像配准在医学中的应用领域主要有以下几方面: ?组织切片图像的处理与显微结构三维重建 ?疾病诊断及其发展和消退的过程检测 ?神经外科手术可视化、神经外科手术一计划及术前评估 ?感觉运动和认知过程的神经功能解剖学研究 ?神经解剖变异性的形态测量分析学 ?放射治疗和立体定向放射外科治疗计划 三、图像配准的定义 对于二维图像配准可定义为两幅图像在空间和灰度上的映射，如果给定尺寸的二维矩阵F 1和F2代表两幅图像F1（X，Y）和F2（X，Y）分别表示相应位置（X，Y）上的灰度值。则图像间的映射可表示为：F （X，Y）=G（F （H（X，Y））），式中H表示一个二维空间坐标变换，即（X’，Y’）=H（X，Y），且G是一维灰度变换。 四、图像配准方法的分类 1、维数 主要是根据待配准图像的空间维数及时间维数来划分的。图像仅含空间维数或者是图像的时间序列中带有空间数，其配准可根据图像的空间维数分2D/2D，2D/3D，3D/3D，4D/4D

图像拼接算法及实现(一).

图像拼接算法及实现（一） 论文关键词：图像拼接图像配准图像融合全景图 论文摘要：图像拼接(image mosaic)技术是将一组相互间重叠部分的图像序列进行空间匹配对准,经重采样合成后形成一幅包含各图像序列信息的宽视角场景的、完整的、高清晰的新图像的技术。图像拼接在摄影测量学、计算机视觉、遥感图像处理、医学图像分析、计算机图形学等领域有着广泛的应用价值。一般来说,图像拼接的过程由图像获取,图像配准,图像合成三步骤组成,其中图像配准是整个图像拼接的基础。本文研究了两种图像配准算法:基于特征和基于变换域的图像配准算法。在基于特征的配准算法的基础上,提出一种稳健的基于特征点的配准算法。首先改进Harris角点检测算法,有效提高所提取特征点的速度和精度。然后利用相似测度NCC(normalized cross correlation——归一化互相关),通过用双向最大相关系数匹配的方法提取出初始特征点对,用随机采样法RANSAC(Random Sample Consensus)剔除伪特征点对,实现特征点对的精确匹配。最后用正确的特征点匹配对实现图像的配准。本文提出的算法适应性较强,在重复性纹理、旋转角度比较大等较难自动匹配场合下仍可以准确实现图像配准。 Abstract：Image mosaic is a technology that carries on the spatial matching to a series of image which are overlapped with each other, and finally builds a seamless and high quality image which has high resolution and big eyeshot. Image mosaic has widely applications in the fields of photogrammetry, computer vision, remote sensing image processing, medical image analysis, computer graphic and so on. 。In general, the process of image mosaic by the image acquisition, image registration, image synthesis of three steps, one of image registration are the basis of the entire image mosaic. In this paper, two image registration algorithm: Based on the characteristics and transform domain-based image registration algorithm. In feature-based registration algorithm based on a robust feature-based registration algorithm points. First of all, to improve the Harris corner detection algorithm, effectively improve the extraction of feature points of the speed and accuracy. And the use of a similar measure of NCC (normalized cross correlation - Normalized cross-correlation), through the largest correlation coefficient with two-way matching to extract the feature points out the initial right, using random sampling method RANSAC (Random Sample Consensus) excluding pseudo-feature points right, feature points on the implementation of the exact match. Finally with the correct feature point matching for image registration implementation. In this

图像配准的方法

图像配准的方法 迄今为止，在国内外的图像处理研究领域，已经报道了相当多的图像配准 研究工作，产生了不少图像配准方法。总的来说，各种方法都是面向一定范围 的应用领域，也具有各自的特点。比如计算机视觉中的景物匹配和飞行器定位 系统中的地图匹配，依据其完成的主要功能而被称为目标检测与定位，根据其 所采用的算法称之为图像相关等等。 图像配准的方式可以概括为相对配准和绝对配准两种：相对配准是指选择 多图像中的一张图像作为参考图像，将其它的相关图像与之配准，其坐标系统 是任意的。绝对配准是指先定义一个控制网格，所有的图像相对于这个网格来 进行配准，也就是分别完成各分量图像的几何校正来实现坐标系的统一。本文 主要研究大幅面多图像的相对配准，因此如何确定多图像之间的配准函数映射 关系是图像配准的关键。通常通过一个适当的多项式来拟合两图像之间的平移、旋转和仿射变换，由此将图像配准函数映射关系转化为如何确定多项式的系数，最终转化为如何确定配准控制点(RCP)。目前，根据如何确定RCP的方法和图像配准中利用的图像信息区别可将图像配准方法分为三个主要类别：基于灰度信 息法、变换域法和基于特征法[25]，其中基于特征法又可以根据所用的特征属 性的不同而细分为若干类别。以下将根据这一分类原则来讨论目前已经报道的 各种图像配准方法和原理。 1基于灰度信息的图像配准方法 基于灰度信息的图像配准方法一般不需要对图像进行复杂的预先处理，而 是利用图像本身具有灰度的一些统计信息来度量图像的相似程度。主要特点是 实现简单，但应用范围较窄，不能直接用于校正图像的非线性形变，在最优变 换的搜索过程中往往需要巨大的运算量。经过几十年的发展，人们提出了许多 基于灰度信息的图像配准方法，大致可以分为三类：互相关法(也称模板匹配法)、序贯相似度检测匹配法、交互信息法。 (1)互相关法

医学图像配准技术 综述

医学图像配准技术 A Survey of Medical Image Registration 张剑戈综述，潘家普审校 （上海第二医科大学生物医学工程教研室，上海 200025） 利用CT、MRI、SPECT及PET等成像设备能获取人体内部形态和功能的图像信息，为临床诊断和治疗提供了可靠的依据。不同成像模式具有高度的特异性，例如CT通过从多角度的方向上检测X线经过人体后的衰减量，用数学的方法重建出身体的断层图像，清楚地显示出体内脏器、骨骼的解剖结构，但不能显示功能信息。PET是一种无创性的探测生理性放射核素在机体内分布的断层显象技术，是对活机体的生物化学显象，反映了机体的功能信息，但是图像模糊，不能清楚地反映形态结构。将不同模式的图像，通过空间变换映射到同一坐标系中，使相应器官的影像在空间中的位置一致，可以同时反映形态和功能信息。而求解空间变换参数的过程就是图像配准，也是一个多参数优化过程。图像配准在病灶定位、PACS系统、放射治疗计划、指导神经手术以及检查治疗效果上有着重要的应用价值。 图像配准算法 可以从不同的角度对图像配准算法进行分类[1]：同/异模式图像配准，2D/3D图像配准，刚体/非刚体配准。本文根据算法的出发点，将配准算法分为基于图像特征(feature-based)和基于像素密度(intensity-based)两类。 基于特征的配准算法 这类算法利用从待配准图像中提取的特征，计算出空间变换参数。根据特征由人体自身结构中提取或是由外部引入，分为内部特征(internal feature)和外部特征(external feature)。

【作者简介】张剑戈（1972-），男，山东济南人，讲师，硕士 1. 外部特征 在物体表面人为地放置一些可以显像的标记物（外标记，external marker）作为基准，根据同一标记在不同图像空间中的坐标，通过矩阵运算求解出空间变换参数。外标记分为植入性和非植入性[2]：立体框架定位、在颅骨上固定螺栓和在表皮加上可显像的标记。Andre G[3]等将该方法用于机器人辅助手术，对于股骨移植，位移误差小于1.5mm，角度误差小于3°，由于计算量小，可以实现实时配准。但是标记物必须事先被固定好，不能用于回顾性配准，而且该方法只适用刚体配准。 2. 内部特征 从医学影像中可以提取出点、线和面：血管的交点、血管、胸腹之间的横膈膜等，这些特征作为内标记点(internal marker) ，利用其空间位置同样可以求解出空间变换参数。Hill DL[4]用11个形态点对脑部配准，误差<1mm，方差为1.73mm。Meyer CR[5]除了血管树的交点，还使用了左右脑之间的间隔等特征。Maurer CR[6,7]赋予点、线、面等几何特征不同的权重(weighted geometrical features, WGF)，进一步改进了算法。内标记点配准是一种交互性的方法，将3D图像配准简化为点、线和面的匹配，可以进行回顾性研究，不会造成患者的不适。但是医生对特征位置的判断影响到配准精度，为了克服人为误差，需要多次重复操作，以平均值作为最终结果。 表面匹配算法也利用了内部特征[8]：进行图像分割，提取出轮廓曲线、物体表面等内部特征，使2D/3D图像配准简化为2D曲线和3D曲面的匹配，不再考虑物体内部像素。典型的应用是刚体配准的“头帽”算法[9]，从头部的3D图像中分割出表面轮廓，分别作为头模型和帽模型。配准的目标函数是头表面和帽表面之间的均方距离，该距离是空间变换参数的函数。表面匹配算法是一种自动算法，在物体表面轮廓相似并且清晰的情况下，配准效果很好。其不足之处在于：准确地进行图像分割很困难；不同模式的图像，如CT/PET图像，由于器官的轮廓差异较大，难于精确地匹配。 3. 在非刚体配准中的应用 进行非刚体配准前要确定物理模型，常见有弹性模型、粘稠液体模型、生物力学模型。通过在感兴趣区域中提取参考点、2D或是3D轮廓线，使待配准图像

图像拼接原理及方法

第一章绪论 1.1 图像拼接技术的研究背景及研究意义 图像拼接(image mosaic)是一个日益流行的研究领域，他已经成为照相绘图学、计算机视觉、图像处理和计算机图形学研究中的热点。图像拼接解决的问题一般式，通过对齐一系列空间重叠的图像，构成一个无缝的、高清晰的图像，它具有比单个图像更高的分辨率和更大的视野。 早期的图像拼接研究一直用于照相绘图学，主要是对大量航拍或卫星的图像的整合。近年来随着图像拼接技术的研究和发展，它使基于图像的绘制（IBR）成为结合两个互补领域——计算机视觉和计算机图形学的坚决焦点，在计算机视觉领域中，图像拼接成为对可视化场景描述（Visual Scene Representaions）的主要研究方法：在计算机形学中，现实世界的图像过去一直用于环境贴图，即合成静态的背景和增加合成物体真实感的贴图，图像拼接可以使IBR从一系列真是图像中快速绘制具有真实感的新视图。 在军事领域网的夜视成像技术中，无论夜视微光还是红外成像设备都会由于摄像器材的限制而无法拍摄视野宽阔的图片，更不用说360 度的环形图片了。但是在实际应用中，很多时候需要将360 度所拍摄的很多张图片合成一张图片，从而可以使观察者可以观察到周围的全部情况。使用图像拼接技术，在根据拍摄设备和周围景物的情况进行分析后，就可以将通过转动的拍摄器材拍摄的涵盖周围360 度景物的多幅图像进行拼接，从而实时地得到超大视角甚至是360 度角的全景图像。这在红外预警中起到了很大的作用。 微小型履带式移动机器人项目中，单目视觉不能满足机器人的视觉导航需要，并且单目视觉机器人的视野范围明显小于双目视觉机器人的视野。利用图像拼接技术，拼接机器人双目采集的图像，可以增大机器人的视野，给机器人的视觉导航提供方便。在虚拟现实领域中，人们可以利用图像拼接技术来得到宽视角的图像或360 度全景图像，用来虚拟实际场景。这种基于全景图的虚拟现实系统，通过全景图的深度信息抽取，恢复场景的三维信息，进而建立三维模型。这个系统允许用户在虚拟环境中的一点作水平环视以及一定范围内的俯视和仰视，同时允许在环视的过程中动态地改变焦距。这样的全景图像相当于人站在原地环顾四周时看到的情形。在医学图像处理方面，显微镜或超声波的视野较小，医师无法通过一幅图像进行诊视，同时对于大目标图像的数据测量也需要把不完整的图像拼接为一个整体。所以把相邻的各幅图像拼接起来是实现远程数据测量和远程会诊的关键环节圆。在遥感技术领域中，利用图像拼接技术中的图像配准技术可以对来自同一区域的两幅或多幅图像进行比较，也可以利用图像拼接技术将遥感卫星拍摄到的有失真地面图像拼接成比较准确的完整图像，作为进一步研究的依据。 从以上方面可以看出，图像拼接技术的应用前景十分广阔，深入研究图像拼接技术有着很重要的意义 1.2图像拼接算法的分类 图像拼接作为这些年来图像研究方面的重点之一，国内外研究人员也提出了很多拼接算法。图像拼接的质量，主要依赖图像的配准程度，因此图像的配准是拼接算法的核心和关键。根据图像匹配方法的不同仁阔，一般可以将图像拼接算法分为以下两个类型：（1) 基于区域相关的拼接算法。 这是最为传统和最普遍的算法。基于区域的配准方法是从待拼接图像的灰度值出发，对

基于ICP算法的图像配准的MATLAB实现

function [TR, TT] = icp(model,data,max_iter,min_iter,fitting,thres,init_flag,tes_flag,refpn t) % ICP Iterative Closest Point Algorithm. Takes use of % Delaunay tesselation of points in model. % % Ordinary usage: % % [R, T] = icp(model,data) % % ICP fit points in data to the points in model. % Fit with respect to minimize the sum of square % errors with the closest model points and data points. % % INPUT: % % model - matrix with model points, [Pm_1 Pm_2 ... Pm_nmod] % data - matrix with data points, [Pd_1 Pd_2 ... Pd_ndat] % % OUTPUT: % % R - rotation matrix and % T - translation vector accordingly so % % newdata = R*data + T . % % newdata are transformed data points to fit model % % % Special usage: % % icp(model) or icp(model,tes_flag) % % ICP creates a Delaunay tessellation of points in % model and save it as global variable Tes. ICP also % saves two global variables ir and jc for tes_flag=1 (default) or % Tesind and Tesver for tes_flag=2, which % makes it easy to find in the tesselation. To use the global variables % in icp, put tes_flag to 0. % % % Other usage: % % [R, T] = icp(model,data,max_iter,min_iter,... % fitting,thres,init_flag,tes_flag) % % INPUT: % % max_iter - maximum number of iterations. Default=104 % % min_iter - minimum number of iterations. Default=4 % % fitting - =2 Fit with respect to minimize the sum of square errors. (default) % alt. =[2,w], where w is a weight vector corresponding to data. % w is a vector of same length as data.