激光雷达距离像背景抑制算法研究
文章编号:025827025(2005)1121469204
激光雷达距离像背景抑制算法研究
李自勤1,李金新1,王 骐
2
1
杭州电子科技大学电子信息学院,浙江杭州310018
2
哈尔滨工业大学光电子技术研究所可调谐激光技术国家级重点实验室,黑龙江哈尔滨150001
摘要 相干激光成像雷达距离像处理的一个重要内容就是进行背景抑制。利用原始强度像的均值信息进行距离像的背景抑制因为强度像受到噪声影响而效果不佳,改进算法加入了强度像的噪声滤除,大大提高了背景抑制能力。但是这种利用强度像均值的背景抑制算法要求目标区占有较大的面积,对于小目标图像其抑制效果变差。分析了强度像的直方图特征,提出了一种熵阈值分割抑制距离像背景算法,此算法将强度像的直方图划分为描述目标区像素和背景像素的两个概率分布,而将使这些概率分布熵最大的灰度值作为分割阈值。将此算法应用于实际图像处理,结果表明对于大目标图像和小目标图像都有较好的抑制效果。关键词 图像处理;相干激光雷达;距离像;距离反常抑制;熵阈值分割中图分类号 TN 958.98 文献标识码 A
Suppressed Algorithm of Lidar ′s R ange Image B ackground
L I Zi 2qin 1,L I Jin 2xin 1,WAN G Qi 2
1
Elect ronic I nf ormation College ,H angz hou Universit y of Elect ronic Science ,H angz hou ,Zhej iang 310018,China
2
N ational Key L aboratory of T unable L aser Technology ,I nstitute of O pto 2Elect ronic ,
H arbin I nstitute of Technolog y ,H arbin ,Heilong j iang 150001,China
Abstract One of the most important contents about coherent imaging laser radar range image processing is
suppressing the background.If using the primitive meaning information of the intensity image to suppress the background of range image ,the effect would not be good due to the influence of noise.The improved algorithm adds noise filter about the intensity image ,which greatly improved the background suppression capacity.Also the previous algorithm claims the object to have relatively larger area ,which means a worse effect to small object images.The article analyzes the histogram characteristics of the intensity image ,brings forward an algorithm of thresholding segmentation suppression range image background using the entropy of the histogram ,which divides the intensity ′s histogram into two probability distributions :object region pixels and background pixels and regards the maximum value of probabilistic distribution entropy as the threshold of the https://www.wendangku.net/doc/2c6804218.html,ing this method in the actual image processing ,the result reveals that it has good suppressing effect on both small objects and large ones.K ey w ords image processing ;coherent imaging laser radar ;range image ;range anomalies suppression ;thresholding segmentation using the entropy of the histogram
收稿日期:2005204218;收到修改稿日期:2005207205
作者简介:李自勤(1974—),男,重庆人,博士,杭州电子科技大学电子信息学院讲师,主要从事激光雷达图像处理。E 2mail :lziqin @https://www.wendangku.net/doc/2c6804218.html,
1 引 言
相干激光主动成像雷达既能成强度像也能成距离像,这是激光雷达相对于被动红外等成像方式的一个显著优势,强度像和距离像构成目标的三维信息,从而完成准确的目标辨识和精确的目标定位。
关于激光雷达强度像的处理研究已有很多[1～4],而关于其距离像的处理却少见报道。为了充分地发挥
激光主动成像雷达的优势,必须开展对距离像的处理研究。而距离像的背景抑制则是距离像噪声抑制的第一步,背景抑制效果的好坏对距离像的图像信息解读、目标定位与识别具有非常重要的意义。
第32卷 第11期2005年11月
中 国 激 光
C H IN ESE J OU RNAL O F L ASERS
Vol.32,No.11
November ,2005
2 激光主动成像原理及噪声影响
激光主动成像雷达系统组成框图如图1所示。脉冲主振激光器发射一系列激光脉冲,这些脉
冲经过扫描装置和收发合置光学系统后,照射到目标上。经目标反射,这些脉冲穿过光学系统与连续
本振光发生相干,通过光电探测器和峰值检测,其脉冲峰值被探测。对这些峰值强度进行量化编码就得到原始的数字强度像,对这个峰值所对应的时间延迟(即从其发射到接收所用的时间)进行量化编码就能得到相应的原始距离像
。
图1激光主动成像系统结构框图
Fig.1Block diagram of an active laser imaging
system
图2雷达图像
(a )目标建筑物照片;(b )雷达强度像;(c )雷达距离像
Fig.2Raw radar image
(a )photo of t he object ;(b )raw radar intensity image ;(c )raw radar range image
激光雷达距离图像主要受到两类噪声干扰,即失落信息(dropout )和逸出值(outlier )[5]。下列情况将会产生失落信息:首先,发射脉冲无回波的情况,比如发射脉冲的通道上无反射表面(天空);其次,回波时间超出了接收窗口(激光主动成像雷达中存在两种采样方式,即全程采样和距离选通采样,对于后一种方式,接收器只在感兴趣的时间段工作,以达到只接收空间某距离段范围内的目标回波的目的,这个时间段称为接收窗口)。而如果测得的距离值并不反映真实距离值,则对应的像素就是逸出值。因为逸出值表现出来的是一种距离的反常,因此许多文献将其称为距离反常(range anomalies )[6～8]。可以看出,失落信息存在于无目标处,而距离反常存在于有目标处。
图2给出了激光雷达所成的原始强度像和距离像[9]。由图2(c )可以看出,失落信息的存在使距离
像背景显得非常的杂乱,对整个距离像的成像质量影响非常显著,因此对距离像处理的第一步就是进行距离像的背景抑制,即清除失落信息的影响。
3 利用强度像均值抑制距离像背景
J.G.Verly 等[5]指出:失落信息的清除是一件非常困难的事,为此他们花费了大量的时间。他们提出了结合强度像的均值信息进行距离像的背景抑制的算法,即利用原始强度像的均值信息进行强度像的目标区和背景区的大致分割,将距离像与强度像相对应,将其位于背景区中的像素点同步标记为背景区,从而完成失落信息的清除。
应该说,结合强度像信息处理距离像是一个非常优秀的思想,因为对同一个目标所成的强度像和距离像是相关的,强度像与距离像结合能获得更多的目标信息,便于进行图像处理。同时,强度像的采
0741中 国 激 光 32卷
样值反映的是接收到的回波强度,光波的传输通道上有目标存在时其回波通常都会比较强,因此强度像的目标区像素拥有较高的灰度值。而距离像则不具有这个特征,较高的采样值仅仅表示较长的延迟时间,不能表征回波强度。因此利用强度像的均值信息可以进行目标区与背景区的初步分割,而利用距离像则不能。
由于强度像受到噪声影响,噪声造成强度像灰度急剧起伏,从而使一些本属于背景的像素在采用上述算法时错分割到了目标区,而另一些本属于目标的像素错分割到了背景区。造成距离像的背景抑制不彻底,同时还会丢失目标区信息,因此这种方法的背景抑制效果不理想(如图3(a ))。
在此算法基础上,李自勤、李琦等[9,10]提出了一种改进的距离像背景抑制算法,即先用一个均值滤波对强度像进行噪声抑制,然后再进行分割,利用其分割结果抑制距离像背景。此算法因为加入了强度像的滤波处理,因此较好地解决了背景抑制与目标区信息保持的矛盾,取得了较好的结果(如图3(b ))
。
图3利用强度像均值抑制距离像背景
(a )原始强度像均值;(b )改进算法背景
Fig.3Background suppressing result by mean of
intensity image
(a )by using t he mean of raw intensity image ;
(b )by improved algorit hm
4 熵阈值分割抑制距离像背景
文献[5],[9,10]两种算法在进行强度像分割时都是用强度像的均值信息来确定分割阈值,这在目标区面积较大时是可行的,但是对于目标区面积较小时,其分割偏差较大,从而造成距离像的背景抑制效果变差。为了摆脱分割阈值对目标区大小的依赖,必然要寻求别的阈值选取方法
。
图4小目标图像及抑制结果
(a )雷达原始强度像;(b )雷达原始距离像;(c )改进算法背景抑制结果
Fig.4Small object image and suppression result
(a )raw lider intensity image ;(b )raw radar range image ;(c )t he result using improved algorit hm
图4给出了一幅小目标区雷达图像和用改进算法后距离像的背景抑制结果,可以看出,由于目标区域小,改进算法背景抑制效果变差。
考察图2(b )和图4(a )所示两幅原始强度像,与改进算法类似,首先对其进行均值滤波,然后画出其直方图如图5所示。
直方图表现为一个明显的尖峰带一个小的拖尾,前面的尖峰属于背景像素,而其后的小拖尾则属于目标区像素。可见,直方图并不具有明显的双峰结构,因此,不适宜采用以双峰分布为基础的M IN IMUM 等阈值分割算法[11]。为此,采用J.N.Kap ur 等[12]提出的熵阈值分割算法[12]。
熵阈值分割算法将直方图划分为两个概率分布,一个描述目标区像素,一个描述背景像素,而分割的阈值则是使这些概率分布熵的和最大的灰度
值。假设直方图为y ={y i |i =0,1,2,…,n},其算法表述为:
首先定义几个参量
A j =Σj
i =0
y i , E j =Σj
i =0
y i log y i , j =0,1,…,n
(1)
分割的阈值t 为使下式值最大的j 值
E j A j -log A j +E n -E j
A n -A j
-log A n -A j ,(2)
因此,熵阈值分割抑制背景算法表述为:1)强度像进行均值滤波
I new (i ,j )=
1
(2m +1)×(2n +1)
×
Σm
k =-m Σn
l =-n
I intensity (i +k ,j +l )。(3)
2)用(1),(2)式描述的算法求出滤波后强度像
1
741 11期 李自勤等:激光雷达距离像背景抑制算法研究
图5滤波后强度像的直方图
(a )大目标图像直方图;(b )小目标图像直方图
Fig.5Histogram of filtered intensity image
(a )histogram of large object image ;(b )histogram of small object image
的分割阈值t ,用阈值t 分割滤波后的强度像
I intensity (i ,j )
∈background I new (i ,j ) ∈o bject s I new (i ,j )≥t 。 (4) 3)利用强度像分割结果进行距离像背景抑制 I range (i ,j )= I intensity (i ,j )∈background I range (i ,j ) I intensity (i ,j )∈objects 。 (5) 图6给出了熵阈值分割算法抑制距离像背景的 结果。 图6熵阈值算法抑制背景的结果 (a )大目标图像背景抑制结果;(b )小目标图像背景抑制结果 Fig.6Background suppression result based on the algorithm of thresholding using the entropy of the histogram (a )large object image background suppression result ;(b )small object image background suppression result 可以看出,熵阈值算法无论是对大目标图像还是小目标图像,都具有较好的背景抑制效果。 5 结 论 利用强度像的均值信息进行距离像的背景抑制 具有算法简单、执行速度快的特点,但是此算法对于小目标图像处理效果不佳。而熵阈值分割算法以滤波后强度像的直方图为基础,根据熵最大原则选择分割阈值,对大目标图像和小目标图像均具有很好的背景抑制效果。 参 考文 献 1 Jong 2Sen Lee.Speckle suppression and analysis for synt hetic aperture radar images [J ].Opt.Eng.,1986,25(5):636～6432 Qi Wang ,Z iqin Li ,Qi Li et al..An edge detection algorit hm for imaging ladar [J ].Chin.Opt.Lett.,2003,1(5):272～2743 Li Ziqin ,Wang Qi ,Li Qi et al..Multiplication model of speckle image and speckle suppression in imaging lidar [J ].Chinese J .L asers ,2003,30(8):717～720 李自勤,王 骐,李 琦等.激光成像雷达系统中散斑像的乘 法模型及其滤除[J ]1中国激光,2003,30(8):717～7204 Jiang Lihui ,Wang Chunhui ,Wang Qi et al..A speckle imaging model for impulse coherent laser radar and suppressing it s speckle noise [J ].Acta Optica S i nica ,2000,20(12):1623～1628 蒋立辉,王春晖,王 骐等.脉冲相干激光雷达的散斑成像模 型及其散斑噪声压缩[J ]1光学学报,2000,20(12):1623～16285 J acques G.Verly ,Richard L.Delanoy.Model 2based automatic target recognition (A TR )system for forwardlloking groundbased and airborne imaging laser radars (L ADAR )[J ].Proc.I E E E ,1996,84(2):126～163 6 T.J.Green ,J r.,J.H.Shapiro.Maximum 2likelihood laser radar range profiling wit h t he expectation 2maximization algorit hm [J ].Opt.Eng.,1992,31(11):2343～23547 J effrey H.Shapiro ,Robert W.Reinhold ,Dongwook Park. Performance analyses for peak 2detecting laser radars [C ].S PI E ,1986,663:38～568 J effrey H.Shapiro.Target 2reflectivity t heory for coherent laser radars [J ].A p pl.Opt.,1982,21(18):3398～3407 9 Ziqin Li ,Qi Li ,Zhaoshuo Tian et al..Processing for laser radar range images [J ].Chin.Opt.Lett.,2004,2(4):210～21210 Li Ziqin ,Wang Qi ,Li Qi et al..Noises mechanism of range image in coherent laser radar and range anomalies suppression [J ].Chinese J .Lasers ,2005,32(3):356～360 李自勤,王 骐,李 琦等.相干激光雷达距离像噪声机理及 距离反常抑制[J ]1中国激光,2005,32(3):356～36011 C. A.G lasbey.An analysis of histogram 2based t hresholding algorit hms [J ].CV GI P :Grap hical Models and I mage Processing ,1993,55(6):532～53712 J.N.Kapur ,P.K.Sahoo ,A.K. C.Wong.A new met hod for gray 2level picture t hresholding using t he entropy of t he histogram [J ].Com p uter V ision ,Grap hics ,and I mage Processing ,1985,29(3):273～285 2741中 国 激 光 32卷 SIFT 特征提取算法总结 主要步骤 1)、尺度空间的生成； 2)、检测尺度空间极值点； 3)、精确定位极值点； 4)、为每个关键点指定方向参数； 5)、关键点描述子的生成。 L(x,y,σ), σ= 1.6 a good tradeoff D(x,y,σ), σ= 1.6 a good tradeoff 关于尺度空间的理解说明：图中的2是必须的，尺度空间是连续的。在 Lowe 的论文中， 将第0层的初始尺度定为1.6，图片的初始尺度定为0.5. 在检测极值点前对原始图像的高斯平滑以致图像丢失高频信息，所以Lowe 建议在建立尺度空间前首先对原始图像长宽扩展一倍，以保留原始图像信息，增加特征点数量。尺度越大图像越模糊。 next octave 是由first octave 降采样得到（如2） ， 尺度空间的所有取值，s为每组层数，一般为3~5 在DOG尺度空间下的极值点 同一组中的相邻尺度（由于k的取值关系，肯定是上下层）之间进行寻找 在极值比较的过程中，每一组图像的首末两层是无法进行极值比较的，为了满足尺度 变化的连续性，我们在每一组图像的顶层继续用高斯模糊生成了 3 幅图像， 高斯金字塔有每组S+3层图像。DOG金字塔每组有S+2层图像. If ratio > (r+1)2/(r), throw it out (SIFT uses r=10) 表示DOG金字塔中某一尺度的图像x方向求导两次 通过拟和三维二次函数以精确确定关键点的位置和尺度（达到亚像素精度）？ 直方图中的峰值就是主方向，其他的达到最大值80%的方向可作为辅助方向 Identify peak and assign orientation and sum of magnitude to key point The user may choose a threshold to exclude key points based on their assigned sum of magnitudes. 利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备 旋转不变性。以关键点为中心的邻域窗口内采样，并用直方图统计邻域像素的梯度 方向。梯度直方图的范围是0～360度，其中每10度一个柱，总共36个柱。随着距中心点越远的领域其对直方图的贡献也响应减小.Lowe论文中还提到要使用高斯函 数对直方图进行平滑，减少突变的影响。 SIFT 特征点匹配算法 基于SIFT 方法的图像特征匹配可分为特征提取和特征匹配两个部分，可细化分为五个部分： ① 尺度空间极值检测（Scale-space extrema detection ）； ② 精确关键点定位（Keypoint localization ） ③ 关键点主方向分配（Orientation assignment ） ④ 关键点描述子生成（Keypoint descriptor generation ） ⑤ 比较描述子间欧氏距离进行匹配（Comparing the Euclidean distance of the descriptors for matching ） 1.1 尺度空间极值检测 特征关键点的性质之一就是对于尺度的变化保持不变性。因此我们所要寻找的特征点必须具备的性质之一，就是在不同尺度下都能被检测出来。要达到这个目的，我们可以在尺度空间内寻找某种稳定不变的特性。 Koenderink 和Lindeberg 已经证明，变换到尺度空间唯一的核函数是高斯函数。因此一个图像的尺度空间定义为：(,,)L x y σ，是由可变尺度的高斯函数(,,)G x y σ与输入图像(,)I x y 卷积得到，即： ),(),,(),,(y x I y x G y x L *=σσ （1.1） 其中：2222/)(221 ),,(σπσσy x e y x G +-= 在实际应用中，为了能相对高效地计算出关键点的位置，建议使用的是差分高斯函数（difference of Gaussian ）(,,)D x y σ。其定义如下： ) ,,(),,() ,()),,(),,((),,(σσσσσy x L k y x L y x I y x G k y x G y x D -=*-= （1.2） 如上式，D 即是两个相邻的尺度的差（两个相邻的尺度在尺度上相差一个相乘系数k ）。 利用激光雷达检测车道线的4种方法 通过理论分析和实验验证可知一二两层返回的信息主要包括路面、车道线、少量障碍物和边界数据；三四两层主要返回道路边界、障碍物和少量路表信息，所以在特征种子点提取阶段需要重点分析一二两层的雷达数据，这部分数据中对于车道线检测最大的干扰在于路面，提取车道线种子点特征的重点就是分离车道线特征与路面特征。 基于视觉系统的车道线检测有诸多缺陷首先，视觉系统对背景光线很敏感，诸如阳光强烈的林荫道，车道线被光线分割成碎片，致使无法提取出车道线。 其次，视觉系统需要车道线的标识完整，有些年久失修的道路，车道线标记不明显，不完整，有些刚开通几年的道路也是如此。 第三，视觉系统需要车道线的格式统一，这对按照模型库识别车道线的系统尤其重要，有些车道线格式很奇特，比如蓝颜色的车道线，很窄的车道线，模型库必须走遍全国将这些奇特的车道线一一收录，才能保证顺利检测。 再次，视觉系统无法对应低照度环境，尤其是没有路灯的黑夜。一般LKW要求时速在72公里以上才启动，原因之一是速度比较高时人不会轻易换道，另一个原因就是比较低的车速意味着视觉系统的取样点不足，拟合的车道线准确度较低。而激光雷达的有效距离一般是视觉系统的4-5倍，有效的采样点比较多，车速较低时检测准确度远高于视觉系统。 最后，如果车道线表面被水覆盖，视觉系统会完全无效。视觉系统最大的优点就是成本低。因此自2008年后，学术界已经很少研究基于视觉系统的车道线检测，转而利用激光雷达检测车道线，激光雷达可以解决上述所有问题，包括车道线被水覆盖，激光雷达最大可穿越70米的水深。 激光雷达唯一的缺点就是成本太高。 基于雷达扫描点密度的车道线检测早期激光雷达检测车道线是基于雷达扫描点密度的车道线检测方法，该方法通过获取雷达扫描点的坐标并转换成栅格图，用原始数据映射栅格图，可以是直接坐标栅格图也可以是极坐标栅格图。 按照后期处理需要进行选择，极坐标栅格图被直接用于车道线识别，即有多个点映射的栅 二 特征点提取算法 1、基于SIFT （Scale Invariant Feature Transform ）方法的图像特征匹配 参看David G. Lowe 的“Distinctive Image Features from Scale-Invariant Keypoints ” 基于SIFT 方法的图像特征匹配可分为特征提取和特征匹配两个部分，可细化分为五个部分： ① 尺度空间极值检测（Scale-space extrema detection ）； ② 精确关键点定位（Keypoint localization ） ③ 关键点主方向分配（Orientation assignment ） ④ 关键点描述子生成（Keypoint descriptor generation ） ⑤ 比较描述子间欧氏距离进行匹配（Comparing the Euclidean distance of the descriptors for matching ） 1.1 尺度空间极值检测 特征关键点的性质之一就是对于尺度的变化保持不变性。因此我们所要寻找的特征点必须具备的性质之一，就是在不同尺度下都能被检测出来。要达到这个目的，我们可以在尺度空间内寻找某种稳定不变的特性。 Koenderink 和Lindeberg 已经证明，变换到尺度空间唯一的核函数是高斯函数。因此一个图像的尺度空间定义为：(,,)L x y σ，是由可变尺度的高斯函数(,,)G x y σ与输入图像(,)I x y 卷积得到，即： ),(),,(),,(y x I y x G y x L *=σσ （1.1） 其中：2222/)(221 ),,(σπσσy x e y x G +-= 在实际应用中，为了能计算的相对高效，所真正使用的是差分高斯尺度空间（difference of Gaussian ）(,,)D x y σ。其定义如下： ) ,,(),,() ,()),,(),,((),,(σσσσσy x L k y x L y x I y x G k y x G y x D -=*-= （1.2） 如上式，D 即是由两个相邻的尺度的差（两个相邻的尺度在尺度上相差一个相乘系数k ）。 SIFT算法分析 1 SIFT 主要思想 SIFT算法是一种提取局部特征的算法，在尺度空间寻找极值点，提取位置，尺度，旋转不变量。 2 SIFT 算法的主要特点： a)SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性。 b)独特性(Distinctiveness)好，信息量丰富，适用于在海量特征数据库中进 行快速、准确的匹配。 c)多量性，即使少数的几个物体也可以产生大量SIFT特征向量。 d)高速性，经优化的SIFT匹配算法甚至可以达到实时的要求。 e)可扩展性，可以很方便的与其他形式的特征向量进行联合。 3 SIFT 算法流程图： 4 SIFT 算法详细 1）尺度空间的生成 尺度空间理论目的是模拟图像数据的多尺度特征。 高斯卷积核是实现尺度变换的唯一线性核，于是一副二维图像的尺度空间定义为： L( x, y, ) G( x, y, ) I (x, y) 其中G(x, y, ) 是尺度可变高斯函数，G( x, y, ) 2 1 2 y2 (x ) 2 e / 2 2 （x，y）是空间坐标，是尺度坐标。大小决定图像的平滑程度，大尺度对应图像的概貌特征，小尺度对应图像的细节特征。大的值对应粗糙尺度(低分辨率)，反之，对应精细尺度(高分辨率)。 为了有效的在尺度空间检测到稳定的关键点，提出了高斯差分尺度空间（DOG scale-space）。利用不同尺度的高斯差分核与图像卷积生成。 D( x, y, ) (G( x, y,k ) G( x, y, )) I ( x, y) L( x, y,k ) L( x, y, ) DOG算子计算简单，是尺度归一化的LoG算子的近似。图像金字塔的构建：图像金字塔共O组，每组有S层，下一组的图像由上一 组图像降采样得到。 图1由两组高斯尺度空间图像示例金字塔的构建，第二组的第一副图像由第一组的第一副到最后一副图像由一个因子2降采样得到。图2 DoG算子的构建： 图1 Two octaves of a Gaussian scale-space image pyramid with s =2 intervals. The first image in the second octave is created by down sampling to last image in the previous SIFT（Scale-invariant feature transform）是一种检测局部特征的算法，该算法通过求一幅图中的特征点（interest points, or corner points）及其有关scale 和orientation 的描述子得到特征并进行图像特征点匹配，获得了良好效果，详细解析如下： 算法描述 SIFT特征不只具有尺度不变性，即使改变旋转角度，图像亮度或拍摄视角，仍然能够得到好的检测效果。整个算法分为以下几个部分： 1. 构建尺度空间 这是一个初始化操作，尺度空间理论目的是模拟图像数据的多尺度特征。 高斯卷积核是实现尺度变换的唯一线性核，于是一副二维图像的尺度空间定义为： 其中G(x,y,σ) 是尺度可变高斯函数 （x，y）是空间坐标，是尺度坐标。σ大小决定图像的平滑程度，大尺度对应图像的概貌特征，小尺度对应图像的细节特征。大的σ值对应粗糙尺度(低分辨率)，反之，对应精细尺度(高分辨率)。为了有效的在尺度空间检测到稳定的关键点，提出了高斯差分尺度空间（DOG scale-space）。利用不同尺度的高斯差分核与图像卷积生成。 下图所示不同σ下图像尺度空间： 关于尺度空间的理解说明：2kσ中的2是必须的，尺度空间是连续的。在 Lowe的论文中，将第0层的初始尺度定为1.6（最模糊），图片的初始尺度定为0.5（最清晰）. 在检测极值点前对原始图像的高斯平滑以致图像丢失高频信息，所以Lowe 建议在建立尺度空间前首先对原始图像长宽扩展一倍，以保留原始图像信息，增加特征点数量。尺度越大图像越模糊。 图像金字塔的建立：对于一幅图像I,建立其在不同尺度(scale)的图像，也成为子八度（octave），这是为了scale-invariant，也就是在任何尺度都能够有对应的特征点，第一个子八度的scale为原图大小，后面每个octave为上一个octave降采样的结果，即原图的1/4（长宽分别减半），构成下一个子八度（高一层金字塔）。 SIFT算法分析 1 SIFT主要思想 SIFT算法是一种提取局部特征的算法，在尺度空间寻找极值点，提取位置，尺度，旋转不变量。 2 SIFT算法的主要特点： a) SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性。 b) 独特性(Distinctiveness)好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配。 c) 多量性，即使少数的几个物体也可以产生大量SIFT特征向量。 d) 高速性，经优化的SIFT匹配算法甚至可以达到实时的要求。 e) 可扩展性，可以很方便的与其他形式的特征向量进行联合。 3 SIFT算法流程图： 4 SIFT 算法详细 1）尺度空间的生成 尺度空间理论目的是模拟图像数据的多尺度特征。 高斯卷积核是实现尺度变换的唯一线性核，于是一副二维图像的尺度空间定义为： ),(),,(),,(y x I y x G y x L *=σσ 其中 ),,(σy x G 是尺度可变高斯函数，2)(2 2/21),,(22σπσσy x e y x G +-= （x ，y ）是空间坐标，σ是尺度坐标。σ大小决定图像的平滑程度，大尺度对应图像的概貌特征，小尺度对应图像的细节特征。大的σ值对应粗糙尺度(低分辨率)，反之，对应精细尺度(高分辨率)。 为了有效的在尺度空间检测到稳定的关键点，提出了高斯差分尺度空间（DOG scale-space ）。利用不同尺度的高斯差分核与图像卷积生成。 ),,(),,(),()),,(),,((),,(σσσσσy x L k y x L y x I y x G k y x G y x D -=*-= DOG 算子计算简单，是尺度归一化的LoG 算子的近似。 图像金字塔的构建：图像金字塔共O 组，每组有S 层，下一组的图像由上一组图像降采样得到。 图1由两组高斯尺度空间图像示例金字塔的构建， 第二组的第一副图像由第一组的第一副到最后一副图像由一个因子2降采样得到。图2 DoG 算子的构建： 图1 Two octaves of a Gaussian scale-space image pyramid with s =2 intervals. The first image in the second octave is created by down sampling to last image in the previous 3.1.1 尺度空间极值检测 尺度空间理论最早出现于计算机视觉领域，当时其目的是模拟图像数据的多尺度特征。 随后 Koendetink利用扩散方程来描述尺度空间滤波过程，并由此证明高斯核是实现尺度变 换的唯一变换核。Lindeberg， Babaud 等人通过不同的推导进一步证明高斯核是唯一的线性 核。因此，尺度空间理论的主要思想是利用高斯核对原始图像进行尺度变换，获得图像多尺度下的尺度空间表示序列，对这些序列进行尺度空间特征提取。二维高斯函数定义如下： G ( x, y, ) 1 2e( x2y2)/2 2 （ 5） 2 一幅二维图像，在不同尺度下的尺度空间表示可由图像与高斯核卷积得到： L( x, y, G( x, y, )* I ( x, y) （ 6）其中 (x,y)为图像点的像素坐标， I(x,y)为图像数据 , L 代表了图像的尺度空间。σ称为尺度空间因子，它也是高斯正态分布的方差，其反映了图像被平滑的程度，其值越小表征图像被平滑 程度越小，相应尺度越小。大尺度对应于图像的概貌特征，小尺度对应于图像的细节特征。 因此，选择合适的尺度因子平滑是建立尺度空间的关键。 在这一步里面，主要是建立高斯金字塔和DOG(Difference of Gaussian) 金字塔，然后在DOG 金字塔里面进行极值检测，以初步确定特征点的位置和所在尺度。 (1)建立高斯金字塔 为了得到在不同尺度空间下的稳定特征点，将图像I (x, y) 与不同尺度因子下的高斯核 G ( x, y,) 进行卷积操作，构成高斯金字塔。 高斯金字塔有o 阶，一般选择 4 阶，每一阶有s 层尺度图像，s 一般选择 5 层。在高斯金字塔的构成中要注意，第 1 阶的第l 层是放大 2 倍的原始图像，其目的是为了得到更多的 特征点；在同一阶中相邻两层的尺度因子比例系数是k ，则第 1 阶第 2 层的尺度因子是k ，然后其它层以此类推则可；第 2 阶的第l 层由第一阶的中间层尺度图像进行子抽样获得，其尺度因子是k 2 ，然后第 2 阶的第 2 层的尺度因子是第 1 层的k 倍即k 3 。第 3 阶的第 1 层由第 2 阶的中间层尺度图像进行子抽样获得。其它阶的构成以此类推。 (2) 建立DOG 金字塔 DOG 即相邻两尺度空间函数之差，用 D (x, y, ) 来表示，如公式(3)所示： D (x, y, ) (G( x, y, k ) G (x, y, ))* I (x, y) L( x, y, k ) L (x, y, ) (7) DOG 金字塔通过高斯金字塔中相邻尺度空间函数相减即可，如图 1 所示。在图中，DOG 金字塔的第l 层的尺度因子与高斯金字塔的第l 层是一致的，其它阶也一样。 尺度空间理论 尺度空间(scalesPace)思想最早由Iijima 于1962年提出([l])，但当时并未引起算机视觉领域研究者们的足够注意，直到上世纪八十年代，witkin([2])Koenderink([3])等人的奠基性工作使得尺度空间方法逐渐得到关注和发展。此后，随着非线性扩散方程、变分法和数学形态学等方法在计算机视觉领域中的广泛应用，尺度空间方法进入了快速发展阶段。尺度空间方法本质上是偏微分方程对图像的作用。 尺度空间方法的基本思想是：在视觉信息(图像信息)处理模型中引入一个被视为尺度的参数，通过连续变化尺度参数获得不同尺度下的视觉处理信息，然后综合这些信息以深入地挖掘图像的本质特征。尺度空间方法将传统的单尺度视觉信息处理技术纳入尺度不断变化的动态分析框架中，因此更容易获得图像的本质特征。尺度空间的生成目的是模拟图像数据的多尺度特征。高斯卷积核是实现尺度变换的唯一线性核。 尺度空间是一个用来控制观察尺度或表征图像数据多尺度自然特性的框架；信号的尺度空间表征是信号的特征结构集合并包含有一个连续的尺度参量(即观察尺度)。尺度空间理论[8]是通过对原始图像进行尺度变换，获得图像多尺度下的尺度空间表示序列，对这些序列进行尺度空间主轮廓的提取，并以该主轮廓作为一种特征向量，实现边缘、角点检测和不同分辨率上的特征提取等。尺度空间表示是一种基于区域而不是基于边缘的表达，它无需关于图像的先验知识。与通过减小图像尺寸而提高计算效率的其他多尺度或多分辨率表达相比，尺度空间表示由平滑获得，在多由尺度上都保持了不变的空间取样，但对同一特征而言，它在粗糙尺度上对应更多的像素点，这样就使得对这些数据的计算任务得到连续的简化。尺度空间表示的另一个重要特征，就是基于尺度的结构特性能以一种简单的方式解析的表达，不同尺度上的特征可以一种精确的方式联系起来。作为尺度空间理论中的一个重要概念，尺度空间核被定义为：in out f K f *= (1) 对于所有的信号in f ，若它与变换核K 卷积后得到的信号out f 中的极值(一阶微分过零点数)不超过原图像的极值，则称K 为尺度空间核，所进行的卷积变换称为尺度变换。尺度空间表示通过平滑获得,可描述为),(σx 空间（？y 呢？），x 和σ分别为位置参数和尺度参数。当采用不同尺度的平滑函数对同一图像进行滤波时，得到的一簇图像就是原始图像相对于该平滑函数的尺度空间，σ为尺度空间坐标。 在高斯尺度空间，同一类型特征点和边缘在不同的尺度上具有因果性，即当尺度变化时，新的特征点可能出现，而老的特征点可能移位或消失。这种因果性带来的含糊性是固有的，不可避免的，不能企求消除，但可以减小。然而,由于高斯核[9] 具有线性、平移不变性、旋转不变性和子集特性等特性，可以证明， SIFT 算法实现步骤 ：1 关键点检测、2 关键点描述、3 关键点匹配、4 消除错配点 1关键点检测 1.1 建立尺度空间 根据文献《Scale-space theory: A basic tool for analysing structures at different scales 》我们可知，高斯核是唯一可以产生多尺度空间的核，一个图像的尺度空间，L （x,y,σ) ,定义为原始图像I(x,y)与一个可变尺度的2维高斯函数G(x,y,σ) 卷积运算。 高斯函数 高斯金字塔 高斯金子塔的构建过程可分为两步： （1）对图像做高斯平滑； （2）对图像做降采样。 为了让尺度体现其连续性，在简单 下采样的基础上加上了高斯滤波。 一幅图像可以产生几组（octave ） 图像，一组图像包括几层 （interval ）图像。 高斯图像金字塔共o 组、s 层， 则有： σ——尺度空间坐标；s ——sub-level 层坐标；σ0——初始尺度；S ——每组层数（一般为3~5）。 当图像通过相机拍摄时，相机的镜头已经对图像进行了一次初始的模糊，所以根据高斯模糊的性质： -第0层尺度 --被相机镜头模糊后的尺度 高斯金字塔的组数: M 、N 分别为图像的行数和列数 高斯金字塔的组内尺度与组间尺度: 组内尺度是指同一组（octave ）内的尺度关系，组内相邻层尺度化简为： 组间尺度是指不同组直接的尺度关系，相邻组的尺度可化为： 最后可将组内和组间尺度归为： ()22221 ()(),,exp 22i i i i x x y y G x y σπσσ??-+-=- ???()()(),,,,*,L x y G x y I x y σσ=Octave 1 Octave 2 Octave 3 Octave 4Octave 5σ2σ 4σ8 σ … … … … … 0()2s S s σσ=0init init pre pre σσσσσ=?-?init σpre σ()() 2log min ,3O M N ??=-?? 1 12S s s σσ+=1()2s S S o o s σσ++=222s S s S S o o σσ+=121 2(,,,) i n k k k σσσσ--12 S k =SIFT 特征提取算法详解
SIFT特征点提取与匹配算法
利用激光雷达检测车道线的4种方法
SIFT特征点提取与匹配算法
SIFT算法分析
SIFT特征提取分析
SIFT算法分析报告
(完整版)SIFT算法原理.doc
尺度空间理论和SIFT算法小结
SIFT算法实现原理步骤