基于均值漂移的视觉目标跟踪方法综述
基于均值漂移的视觉目标跟踪方法综述
齐 飞，罗予频，胡东成
(清华大学自动化系，北京 100084)
摘 要：基于均值漂移的视觉目标跟踪方法具有模型简洁实用、能够处理目标形变及部分遮挡等复杂情形的优点，算法高效且易于模块化实现。各种改进的模型及方法针对目标的尺度变化、特征分布等核心问题进行了系统研究，跟踪性能得到了进一步提高。该文从基本的均值漂移跟踪方法出发，系统介绍了此类方法的发展过程与最新成果。 关键词：均值漂移；视觉目标跟踪；核函数；相似性度量
Overview on Visual Target Tracking Based on Mean Shift
QI Fei, LUO Yu-pin, HU Dong-cheng
(Department of Automation, Tsinghua University, Beijing 100084)
【Abstract 】Mean-shift-based visual target tracking is one of the hotspots in the field of computer vision. The model of the algorithm is simple,efficient and easy-to-implement, and it can handle the complex cases such as deformations and partial occlusions. Recent researches on scale adaptation of the tracking window and distributions of features improve the performance of such trackers. This paper introduces the development and the state of such kind of the algorithms.
【Key words 】mean shift; visual target tracking; kernel functions; similarity measurement
计 算 机 工 程Computer Engineering 第33卷 第21期
Vol.33 No.21 2007年11月
November 2007
·博士论文·
文章编号：1000—3428(2007)21—0024—04
文献标识码：A
中图分类号：TP311
视觉目标跟踪在安全监控、汽车辅助驾驶、人体运动分析以及视频压缩等领域有着广泛应用。由于视觉目标本身及周边环境复杂多变，因此获得鲁棒而高效的跟踪算法目前仍旧是计算机视觉中一个极具挑战性的研究课题。
典型的视觉跟踪算法通常包括2个核心模块：数据关联和目标定位。前者根据先验知识如目标的动力学特征，将检测结果与目标状态关联起来，并对跟踪轨迹进行滤波。这方面的研究已经比较成熟，常用方法有卡尔曼滤波器、粒子滤波器及概率数据关联。后者是对被跟踪目标建模并据此在图像序列各帧中定位目标。在视觉目标跟踪中，目标建模及定位更为重要，常用的方法有色块模型和活动轮廓模型。均值漂移方法[1~2]提供了一种新的目标描述与定位的框架，将目标特征与空间信息有效地结合起来，避免了使用复杂模型描述目标的形状、外观及其运动。
1 均值漂移方法介绍
均值漂移(mean shift)是Fukunaga 等人提出的一种非参
数概率密度梯度估计算法[1]，在统计相似性计算与连续优化方法之间建立了一座桥梁。该方法直到Cheng 的研究成果[2]发表之后，才受到较多的关注。此后均值漂移被广泛应用到诸多相关领域，如模式分类、图像分割以及目标跟踪等方面。
核函数在均值漂移方法中起了非常重要的作用，核函数的概念、构造方法及常用形态如下文所述。
1.1 核函数
考虑d 维实欧氏空间d R ，向量,d R ∈x y 的内积定义为
T ,=i i i x y ??=∑x y x y ，向量的模可由内积导出1/2=,??x x x 。
对给定的函数:d K R R →，若存在一元函数:[0,)k R ∞→使得
2
()=()K k x x 成立，其中，()k r 在区间[0,)∞上非负、有界、
单调减、分段连续并且积分0
()d k r r ∞
∫有界，则称函数()
K x 为核函数，)(r k 为相应的剖面函数。因为函数)(r k 分段连续，不可导点集的Lebesgue 测度为0，所以在不可导点集上补充定义后，函数)(r k 在其定义域内处处可导，即)(r k ′存在。常见的剖面函数见表1。
表1 常见的剖面函数
给定核函数()K ?和()H ?，对应的剖面函数为)(r k 和
()h r ，若存在常数c ，使得()=()k r ch r ′?，则称()H ?为()K ?的
影子核。
给定核函数()K x 和()K
x 及正实数σ，由下列各式定义的函数也是核函数：
1()(/)()()()()()
()()()K K P K K
K K S K K
σσ?====+?x x x x x x ?x x x x 其中，矩阵?是d d ×维实正定对称矩阵。若记单位矩阵为
I ，当取=σ?I 时，()=()K K σ?x x 。通常称σ为核函数
()K σx 的窗宽，称?为核函数()K ?x 的窗宽矩阵。
作者简介：齐 飞(1977－)，男，博士研究生，主研方向：模式识别，计算机视觉；罗予频、胡东成，教授、博士生导师
收稿日期：2006-11-20 E-mail ：qfei00@https://www.wendangku.net/doc/bf15611653.html,
1.2 均值漂移算法
核函数()H ?如果满足一定的统计矩约束就是概率密度函数，可以用于非参数概率密度估计。若样本集=1
{}n
i i x 是依
密度函数()f x 经过n 次独立抽样得到，则给出的密度函数估
计为
?()=()i i i
f w H ?∑x x x 其中，权重系数i w 满足约束条件=1i i w ∑。若核()H ?是某核
()K ?的影子核，均值漂移向量的定义为
()()=()
i i
i i
i i i w K w K ?∑???∑x x x m x x x x x (1) 其中，()m x 为x 处的样本均值。数据点向样本均值移动的迭代过程，()←x m x ，称为均值漂移算法。迭代过程中x 所经过的位置，即序列{},(),(()),x m x m m x …称为x 的轨迹。 式(1)定义的均值漂移向量正比于概率密度函数?()f x 在x 处的梯度。这一性质在文献[1~4]中均有证明：文献[1]仅证明了各样本点权重系数相同(=1/i w n )，且核函数为高斯函数
的情形；文献[3]的证明也假定了=1/i w n ；文献[4]则给出了
更为一般性的核函数依赖于样本集局部结构的情形的证明。
收敛性是均值漂移方法的应用基础，其证明可以参见文 献[4]。需要指出的是，收敛性证明在文献[1~2]和文献[5]中均
有描述，然而这些证明均存在谬误[4]。
2 基于均值漂移的目标跟踪
视觉目标跟踪是指在视频图像序列的各帧图像中找到被
跟踪的目标。为了有效地刻画被跟踪目标，需要选择合适的
特征空间F 。约定用X 表示图像坐标空间，称为位形空间；
用跟踪窗口表示图像中可能是目标的区域；用目标模型表示
被跟踪的目标，并用带上波浪线的符号表示相关变量。对于目标模型与跟踪窗口对应的图像，其可用信息分别由向量对
=1{,}N i i i x u 和=1{,}N i i i x u
给出，
其中，,i i ∈x x X ；,i i ∈u u F ；,N N 分别表示跟踪窗口和目标模型中像素点的个数。
视觉目标跟踪的核心研究内容是如何有效地利用上述信息对被跟踪目标进行建模。目标的形状和外观(颜色分布)通常十分复杂；在跟踪过程中目标会出现变形，部分或全部被遮挡等情况；目标在图像上的大小也会随其与摄像机的距离发生变化，这些都使目标模型的建立变得困难。基于均值漂移的跟踪方法能够较好地解决上述问题。
2.1 基本的均值漂移跟踪
基于均值漂移的跟踪方法采用统计直方图对所关心的图像区域进行建模。直方图近似表示了对应图像区域内特征分
布的概率密度函数。目标模型的直方图记作?q
；位置在y 的跟踪窗口的直方图记作?()p
y 。若给定刻画目标模型与跟踪窗口相似性的函数()???()(),p q ρ
ρ=y y ，目标位置就是使?()ρy 达到极大值(或局部极大值)的观测窗口坐标y 。考虑到计算的方便性，通常将图像特征进行m 级量化，下文中分别用i b 和
i b 表示i
u 和i u 的量化结果。用()δ?表示Kronecker 函数，则目标模型的直方图的第u 分量可通过计算?=()/i u
i
q
b N δ?∑u 获得。
原始的统计直方图仅考虑特征在特征空间的分布情况，而没有考虑其在位形空间中的相对关系。文献[6]对此进行了改进，用特征点与目标中心的距离对原始特征进行修正：
?()()?()()i u q i
i u p i q C H b p
C H b σδδ=?∑=??∑i i x u x y u
其中，q C 和p C 是归一化常数；窗宽σ表示了跟踪窗口的大小。修正后的直方图同时包括了目标的特征信息及特征在位形空间的分布情况。相似性使用Bhattacharyya
系数，即
?()=ρ
∑y ?()ρy 可以得到目标位置的迭代计算公式：
1()=
()
i i t i
t i i t K K σσ+?∑?∑i i μx y x y μx y (2)
其中，系数=()i b ?∑i μu ，核()H ?是()K ?的影子核。此即式(1)中的均值向量()m x 部分。若使用Epanechnikov 核，则式(2)可化简为())1=i i t +∑∑i i i y x μμ。
这一算法的主要优点[6]有：(1)运行效率高；(2)易于模块
化实现，可以方便地与滤波与数据关联算法结合；(3)适用范围广，在多种图像序列应用中都取得了较好的实验结果。
2.2 跟踪窗口的尺度
目标的大小常会随其与摄像机间的距离发生变化，自动调整跟踪窗口的尺度是跟踪算法中的一个关键问题。在基于均值漂移的跟踪方法中，若跟踪窗口尺寸过大，背景区域所占比例过多，使得跟踪算法容易被杂乱背景影响，而无法正确地跟踪目标；若跟踪窗口尺寸太小，迭代结果会在真正的
极值点附近的平台区域内游动，难以准确定位到目标的真实位置。 文献[6]的解决办法是在0.9σ,σ和σ1.1这3个尺度下搜
索目标位置，选择使得相似性函数最大的尺度opt σ调整跟踪
窗口大小。为避免跟踪窗口尺度变化过于剧烈，对窗宽进行平滑处理： new opt prev =(1)σβσβσ+? 其中，系数β的典型值取为0.1。这一方法在实际中效果并不好，尤其是当目标增大时，窗口尺寸很难被合理地扩大[5,7]。
文献[5]结合尺度空间理论对均值漂移跟踪算法进行了改进。尺度空间理论提供了寻找描述图像特征的最佳尺度的方法：多尺度的图像可以通过将图像与不同尺度的高斯模板卷积获得，进而使用适当的微分算子（如拉普拉斯算子）对不同尺度的图像进行处理，可以获得在位形空间及尺度空间均达到局部极值的鲁棒特征。使用拉普拉斯算子进行多尺度特征检测相当于图像与LOG 模板做卷积。LOG 模板则可以用DOG 模板来做近似：
()121
2
,=()()DOG c G c G σσσ?x x x
其中，()G ?为标准高斯核函数；尺度
参数1=σ
σ；2=σ。这样尺度空间与均值漂移算法通过高斯核联系
起来，而且由于快速算法的存在，高斯核的使用不会对算法
效率造成影响。
据此对直方图模型进行改进，使其既包括特征在位形空间的分布信息，又包括在尺度空间的分布信息：
,,?(,,)=()()s i i s i i p s w K s b ξδ?∑u y u 其中，(),=,s i i s DOG ξσ?x y 尺度方向的核函数()K s 使用Epanichnikov 核，窗宽参数0=s s σσλ。包括了尺度搜索的跟踪通过分别在位形空间和尺度空间定位跟踪窗口实现。 (1)固定尺度参数，搜索跟踪窗口位置：
()(),1,(),=
()|,|
s i i t s i i
t s i i t s i K s DOG w K s DOG w σσ+?∑?∑x y x y x y (2)固定跟踪窗口位置，优化尺度参数：
()(),1,,=
,s i i t s i t i s i t s i
DOG w s
s DOG w σσ+?∑?∑x y x y
以上两步反复迭代直到收敛。
文献[7]研究了同一目标在不同尺度下核直方图的相似性，发现并证明了在核窗宽固定的条件下，目标在窗宽范围内进行缩放、平移运动不影响均值漂移算法定位的准确性。进而提出一种基于后向跟踪、形心配准的窗宽选择算法。该算法基本过程为：(1)从当前帧目标位置c y 出发，前向跟踪，得到目标在下一帧中的位置n y ；(2)从n y 出发，后向跟踪，得到当前帧的位置'c y ；(3)根据'c y 与c y 之差对目标位置n y 进行修正，并移动对应的跟踪窗口；(4)提取当前帧与下一帧窗口中的特征角点进行匹配，从而获得窗口的尺度参数。 2.3 特征在位形空间的分布
在基本的均值漂移跟踪算法中，构造加权直方图使用了径向对称的核函数。这样得到的直方图在许多变换下是不变的。能够保持像素点到中心距离不变的变换，如旋转变换，是其中的一大类。如何在构造直方图时合理使用目标特征在位形空间的分布信息，是另一个重点问题。
文献[3]研究了核密度估计中，特征空间局部结构参数估计的问题。Comaniciu 等人证明，若样本采样自均值为θ方差为Σ正态分布的总体，均值漂移算法中使用固定窗宽为?的高斯核()G ?x ，则当且仅当核窗宽2Σ=?时，用核窗宽归一化的均值漂移向量的模(,)m x ?达到最大值。其中，
21(,)(Σ)()θ?=+?m x ???x 据此文献[8]给出了在多个尺度上选择最稳定窗宽的准则及使用最小二乘估计协方差矩阵的方法。
文献[9]提出了一种可以同时估计统计模式的均值和协方差矩阵的方法，并将其应用于旋转目标的跟踪，取得了良好的效果。若样本采样自均值为θ方差为2V =?正态总体，根据极大似然估计，分布参数可以通过极大化下式获得：
(,)()i i f V w G θθ=?∑?i x 根据Jensen 不等式，最大化上式等价于最大化式(3)中的右端项：
()
log (,)log i i
i i i w G f V θθμμ?≥∑?x (3) 其中，正实数列i μ满足=1i i μ∑。用期望最大化(EM)算法求解式(3)，得到的跟踪一帧的迭代过程如下：
(1)求期望：固定参数,t t V θ，求使log ()f ?极大化的实数 列i μ：
()
()
i i t t
i i i i t t w G w G ??θμθ?=
?∑x x
(2)最大化：固定实数列i μ，求使log ()f ?极大化的参数11,t t V θ++：
1T 112
()()i t i i
i t i i t i t V θμμθθ++=∑=??∑x x x 文献[8]研究了单核跟踪算法的局限性，指出使用单个核
无法跟踪更多的位形空间状态，提出了使用多个核函数来跟踪多自由度目标的方法。Gregory 等人将均值漂移方法转换为等价的矩阵表达形式，使用与Bhattacharyya 等价的Matusita 度量作为优化的目标函数，推导出了最速下降法的迭代公式，并指出这一新的迭代算法比原始的方法收敛速度更快。在分析了基于单个核的跟踪算法性能极限后指出：基于核的目标函数具有内在的降秩特性，即在解空间的任意一点，总有某一运动存在于筛选矩阵的零空间内，无法依据目标函数的变化量检测得到。这意味着即使在最优解处，也存在不改变目标函数值的局部运动。为此，需要提高观测空间的维度，同时设计适当的核函数，使其微分结构对期望跟踪的运动敏感。据此，该文献提出了具有方向性的屋脊状核。跨度为s ，中心位于y ，法线方向为n 的屋脊状核，定义如下：
(,,)cmax(/2|,|,0)r K s =????x y n x y n 其中，c 为归一化常数。同时使用多个核的跟踪算法性能优于使用任何单个核的方法，而且多数情况下结果远好于单个核的结果。
文献[10]研究了使用反映目标的局部结构跟踪算法，指出以前的跟踪算法中，多采用具有固定窗宽的径向基核函数，缺乏窗宽选择机制。在实际系统中，目标模型要能够反映被跟踪物体的形变，以提高跟踪性能。该文使用一组可变窗宽、在分布于目标位形空间的核函数对目标进行建模，并提出了相应的均值漂移算法。以行人跟踪为例，说明了如何通过解一个数据驱动的优化问题来获得窗宽参数。沿用本文前面的约定，文献[10]的算法可简要描述如下：从考虑计算效率的角度出发，将目标划分为有限多个区域j B ，为每一个区域估计相应的窗宽参数。令ju r 表示第j 个区域中具有特征u 的像素所占目标区域的比例，j z 表示第j 个区域的中心，H j 表示针对第j 个区域的核函数，跟踪窗口对应的概率密度则表 示为
,?()()i j u p i ju j p
C b r H δ=???∑i j u x y z 若记()t
ij j i t j k K =??x y z ，则使用均值漂移的跟踪算法如下：
2
,1
,()//t i j i ju ij i j j
t i j i ju ij j
w r k w r k σσ+?∑=∑x z y 其中，核()j H ?是核()j K ?的影子核；j σ是核()j K ?的窗宽。针对特定问题，窗宽参数1,,b σσ…可以通过样本集学习获得。 2.4 使用位形-特征联合空间的跟踪
文献[11]提出了一种使用位形-特征联合空间的跟踪方法。相对于基本的均值漂移方法，其主要改进是在联合空间上估计特征及位形数据的概率分布：
?(,)()()/i i i p W K N σ=??∑x u x x u u 其中，()W ?描述了位形空间的约束，称为空域核。当相似性
度量使用Kullback-Leibler 距离KL ???=log(/)u u u u p
p q ρ∑时，均值漂移的递推公式为
11
=()()=()()i t t i t i i
i t t i t i i
C K G C K G ++??∑??∑y y x v u x v y x v u u
其中，1()()i t i t i C K G =??∑y x v u 随着空域核窗宽参数σ的不同，跟踪算法性能也有所变化。当=0σ时，算法退化为使用模板匹配的刚体跟踪方法；当σ趋近于∞时，就是基本的均值漂移跟踪算法。空域核的引入改变了特征加权的机制：特征的权重依赖于该像素领域内其他像素点的特征。这使得跟踪过程中目标模型保留了位形信息，可以较好地处理目标的局部变形及部分遮挡。
文献[12]提出了一个新的函数来衡量目标模型与跟踪窗口的相似性，定义如下：
,=i j i j i j C W K ρ??∑x y u v （）（） 改进后的相似性函数具有更高的区分度，也使得相似性计算可以采用快速高斯变换进行加速。
3 结束语
基于均值漂移的目标跟踪算法因其算法简洁、实时性好、能够处理目标变形、部分遮挡等困难情形，具有极大的实用价值，是视觉目标跟踪领域的研究热点之一。目前大量的研究集中于进一步改善算法对目标变形、旋转等方面的处理性能，及使用更精细的模型以便跟踪更多的运动状态。本文通过对近年来提出的各种此类跟踪方法进行回顾，并系统地加以分类、讨论，较全面地介绍了这一领域的发展现状。
参考文献
1 Fukunaga K, Hostetler L. The Estimation of the Gradient of a Density Function, with Applications in Pattern Recognition[J]. IEEE Trans. on Inform. Theory, 1975, 21(1): 32.
2 Cheng Y. Mean Shift, Mode Seeking, and Clustering[J]. IEEE Trans. on Pattern Anal. Machine Intell., 1995, 17(8): 790.
3 Comaniciu D, Meer P. Mean Shift: A Robust Approach Toward Feature Space Analysis[J]. IEEE Trans. on Pattern Anal. Machine Intell., 2002, 24(5): 603.
4 李乡儒, 吴福朝, 胡占义. 均值漂移算法的收敛性[J]. 软件学报, 2005, 16(3): 365.
5 Collins R. Mean-shift Blob Tracking Through Scale Space[C]//Proc.
of IEEE Conf. on Computer Vision and Pattern Recognition. 2003.
6 Comaniciu D, Ramesh V, Meer P. Kernel-based Object Tracking[J]. IEEE Trans. on Pattern Anal. Machine Intell., 2003, 25(5): 564.
7 彭宁嵩, 杨杰, 刘志, 等. Mean-shift跟踪算法中核函数窗宽的自动选取[J]. 软件学报, 2005, 16(9): 1542.
8 Hager G, Dewan M, Stewart C. Multiple Kernel Tracking with SSD[C]//Proc. of IEEE Conf. on Computer Vision and Pattern Recognition. 2004.
9 Zivkovic Z, Kr¨ose B. An EM-like Algorithm for Color-histogram- based Object Tracking[C]//Proc. of IEEE Conf. on Computer Vision and Pattern Recognition. 2004.
10 Parameswaran V, Ramesh V, Zoghlami I. Tunable Kernels for Tracking[C]//Proc. of IEEE Conf. on Computer Vision and Pattern Recognition. 2006.
11 Elgammal A, Duraiswami R, Davis L. Probabilistic Tracking in Joint Feature-spatial Spaces[C]//Proc. of IEEE Conf. on Computer Vision and Pattern Recognition. 2003.
12 Yang C, Duraiswami R, Davis L. Efficient Mean-shift Tracking via a New Similarity Measure[C]//Proc. of IEEE Conf. on Computer Vision and Pattern Recognition. 2005.
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ （上接第20页）
6 结束语
本文针对Tian算法存在过分修改像素对值、算法分类复杂、处理不对称等缺点，提出了基于纠错控制码的差值扩展可逆数字水印算法。该算法避免了对图像的不必要修改而带来的图像质量下降。特别在容载较低的情况下，含印图像质量得到明显提高。嵌入、提取、恢复过程是对称处理；嵌入像素对分类简单，算法实现和计算时间都具有明显优势。
算法进一步改进是在容载要求较低的情况下，为了进一步提高含印图像质量，可以增加像素对可嵌入条件的苛刻度(条件限制增加)，优选出更好的像素对进行嵌入。但这会略微增加算法复杂度和计算时间。由于篇幅所限，不再详述。
参考文献
1 Fridrich J, Coljan M, Du R. Lossless Data Embedding——New Paradigm in Digital Watermarking[C]// Proc. of SPIE Security Watermarking Multimedia Contents. 2001.
2 Vleeschouwer C D, Delaigle J F, Macq B. Circular Interpretation of Bijective Transformations in Lossless Watermarking for Media Asset Management[J]. IEEE Transactions on Multimedia, 2003, 5(1): 97-105.
3 Xuan G, Zhu J, Chen J, et al. Distortionless Data Hiding Based on Integer Wavelet Transform[J]. IEE Electronics Letters, 2002, 38(25): 1646-1648.
4 Ni Zhicheng, Shi Yunqing, Ansari N, et al. Revisible Data Hiding[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2006, 16(3): 354-362.
5 Tian Jun. Reversible Data Embedding Using a Difference Expan-sion[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2003, 13(8): 890-896.
6 陈鲁生, 沈世镒. 编码理论基础[M]. 北京: 高等教育出版社, 2005: 156-165.
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ （上接第23页）
当服务申请者提出服务请求且明确m=2时，若服务请求在t2时刻提出，则返回资源WS1与WS2提供者IP地址；若服务请求在t3时刻提出，则返回资源WS1与WS3提供者IP地址。
实验表明，本模型能够在资源底层组织结构中对基于QoS资源选择提供支持，为实现服务动态配置奠定基础。
6 结束语
综上所述，本文在OGSA基础上，改进了文献[2]的模型，从面向负载平衡进一步引申到基于QoS资源选择性分配。本模型具有较好的资源组织能力与定位性能及可扩展性，在具有较好的负载平衡能力基础上还具有基于QoS资源粗粒度选择性定位能力。
参考文献
1 Ben-Shaul I, Kaiser G. Coordinating Distributed Component over
Internet[J]. IEEE Internet Computing, 1998, 2(2): 83-86.
2 陈志刚, 刘安丰, 熊策, 等. 一种有效负载均衡的网格Web服务体系结构模型[J]. 计算机学报, 2005, 28(4): 458-466.
3 单志广, 林闯, 肖人毅, 等. Web QoS 控制研究综述[J]. 计算机学报, 2004, 27(2): 145-156.
4 Zeng L, Benatallam B. QoS-aware Middleware for Web Service Com- position[J]. IEEE Transations on Software Engineering, 2004, 30(5): 311-327.
5 Mani A, Nagarajan A. Understanding Quality of Service for Web Services[Z]. (2006-03). https://www.wendangku.net/doc/bf15611653.html,/developerworks/ library/ ws-quality.html.
6 杨文军, 李涓子, 王克宏. 领域自适应的Web服务评价模型[J]. 计算机学报, 2005, 28(4): 514-523.
目标跟踪相关研究综述
Artificial Intelligence and Robotics Research 人工智能与机器人研究, 2015, 4(3), 17-22 Published Online August 2015 in Hans. https://www.wendangku.net/doc/bf15611653.html,/journal/airr https://www.wendangku.net/doc/bf15611653.html,/10.12677/airr.2015.43003 A Survey on Object Tracking Jialong Xu Aviation Military Affairs Deputy Office of PLA Navy in Nanjing Zone, Nanjing Jiangsu Email: pugongying_0532@https://www.wendangku.net/doc/bf15611653.html, Received: Aug. 1st, 2015; accepted: Aug. 17th, 2015; published: Aug. 20th, 2015 Copyright ? 2015 by author and Hans Publishers Inc. This work is licensed under the Creative Commons Attribution International License (CC BY). https://www.wendangku.net/doc/bf15611653.html,/licenses/by/4.0/ Abstract Object tracking is a process to locate an interested object in a series of image, so as to reconstruct the moving object’s track. This paper presents a summary of related works and analyzes the cha-racteristics of the algorithm. At last, some future directions are suggested. Keywords Object Tracking, Track Alignment, Object Detection 目标跟踪相关研究综述 徐佳龙 海军驻南京地区航空军事代表室，江苏南京 Email: pugongying_0532@https://www.wendangku.net/doc/bf15611653.html, 收稿日期：2015年8月1日；录用日期：2015年8月17日；发布日期：2015年8月20日 摘要 目标跟踪就是在视频序列的每幅图像中找到所感兴趣的运动目标的位置，建立起运动目标在各幅图像中的联系。本文分类总结了目标跟踪的相关工作，并进行了分析和展望。
基于单目视觉的路面车辆检测及跟踪方法综述_胡铟
第24卷 第12期2007年12月 公 路 交 通 科 技 Journal of Highway and Transportation Research and Development Vol .24 No .12 Dec .2007 文章编号:1002-0268(2007)12-0127-05 收稿日期:2006-08-01 基金项目:江苏省科技计划高技术研究项目(BG2005008) 作者简介:胡铟(1973-),男,江西南昌人,博士研究生,研究方向为计算机视觉、目标检测及跟踪.(huyinyx @https://www.wendangku.net/doc/bf15611653.html, ) 基于单目视觉的路面车辆 检测及跟踪方法综述 胡 铟,杨静宇 (南京理工大学,江苏 南京 210094) 摘要:首先介绍了车辆检测算法的3种基本组成部分:检测、验证、跟踪,然后根据算法的组成重点介绍了车辆检测以及跟踪的几种主要算法。车辆检测算法包括基于特征的方法、基于光流场的方法和基于模型的方法,车辆跟踪算法包括基于区域相关的方法、基于活动轮廓的方法、基于特征的方法和MeanShift 快速跟踪算法。根据试验结果对各种车辆检测和跟踪方法的优点、缺点以及实际应用中不同情况下适用范围的局限性进行了综合分析。最后在结论部分总结展望了文中介绍的几种车辆检测和跟踪方法的应用前景,并提出了在实际应用时的一些建议和将来的主要研究和发展方向。 关键词:智能运输系统;车辆检测;单目视觉;跟踪中图分类号:TP391.4 文献标识码:A Vehicle D etection and Tracking Based on Monocular Vision HU Yin ,YANG Jing -yu (Nanjing Univers ity of Science &Technology ,Jian gsu Nanjing 210094,China ) Abstract :First ,the three component of the vehicle detection algorithm including detection , verification and tracking are discussed .Then ,the algorithm of detection and tracking are discussed with emphasis on composition .The vehicle detection algorithm includes feature based ,optical flow based and model based method .The vehicle tracking al gorithm includes region correlation based ,active contours based ,feature based and mean shift based method .The merit and disadvantage of these algorith ms is discussed accordin g to the result of experimentation .Finally ,some suggestions for future research and application are presented .Key words :Intelligent Transport Sy stems ;vehicle detection ;monocular vision ;trackin g 0 引言 近年来随着计算机视觉技术的发展,计算机视觉 在智能交通系统中得到了广泛的应用,如交通事件及流量的监测 [1] 、路面病害检测以及智能车辆的自动导 航等。作为智能交通系统的一个方面,智能车辆利用 检测和智能算法去理解车辆的即时环境,并且提示驾驶员部分或完全控制车辆的行驶。 智能车辆的应用领域可以分为: (1)为驾驶员提供建议或警告(碰撞报警)。(2)部分的控制车辆,可以是持续的驾驶辅助, 如行道线的维持,或者是紧急事件的干预,碰撞的紧急避免措施。 (3)完全的控制车辆(自动驾驶系统)。 在过去的几年中,为了研究改良安全性和防止事故的新技术,许多国家和国际间的项目开始启动。车辆事故的统计数据揭示出其他车辆是驾驶员面临的主要威胁。因此研究对驾驶员发出关于行驶环境和可能与其他车辆碰撞的警告辅助系统受到更多的关注。 利用光学传感器的车辆检测是一个极富挑战性的任务,具体说有如下需要解决的难点问题: (1)车型多样:各种形状,大小,颜色;
机器视觉文献综述
一、机器视觉与图像采集的研究的意义 “作为一项关键性的自动化技术，机器视觉在发展中国家中对经济的现代化非常重要。为了在世界市场中进行竞争，发展中经济不能无限期的依赖于廉价劳动力。“AIA市场分析员Kellett说。同样地，现代化必须实现高效率、高生产率以及高质量。这也是机器视觉的作用所在，”对机器视觉长期需求这样的趋势是发展中国家实现经济现代化的基础。因此，机器视觉对于世界经济的发展将越来越重要。” 二、机器视觉与图像采集的研究的现状 国外机器视觉发展的起点难以准确考证，其大致的发展历程是：在机器视觉发展的历程中，有3个明显的标志点，一是机器视觉最先的应用来自“机器人”的研制，也就是说，机器视觉首先是在机器人的研究中发展起来的；二是20世纪70年代CCD图像传感器的出现，CCD摄像机替代硅靶摄像是机器视觉发展历程中的一个重要转折点；三是20世纪80年代CPU、DSP等图像处理硬件技术的飞速进步，为机器视觉飞速发展提供了基础条件。 国内机器视觉发展的大致历程：中国正在成为世界机器视觉发展最活跃的地区之一，其中最主要的原因是中国已经成为全球的加工中心，许许多多先进生产线己经或正在迁移至中国，伴随这些先进生产线的迁移，许多具有国际先进水平的机器视觉系统也进入中国。对这些机器视觉系统的维护和提升而产生的市场需求也将国际机器视觉企业吸引而至，国内的机器视觉企业在与国际机器视觉企业的学习与竞争中不断成长。 三、机器视觉与图像采集技术在各个领域的应用 视觉技术的最大优点是与被观测对象无接触,因此,对观测与被观测者都不会产生任何损伤,十分安全可靠,这是其它感觉方式无法比拟的. 理论上,人眼观察不到的范围机器视觉也可以观察,例如红外线、微波、超声波等,而机器视觉则可以利用这方面的传感器件形成红外线、微波、超声波等图像. 另外,人无法长时间地观察对象,机器视觉则无时间限制,而且具有很高的分辨精度和速度. 所以,机器视觉应用领域十分广泛,可分为工业、科学研究、军事和民用4 大领域. 3. 1 工业领域 工业领域是机器视觉应用中比重最大的领域,按照功能又可以分成4 类:产品质量检测、产品分类、产品包装、机器人定位. 其应用行业包括印刷包装、汽车工业、半导体材料/ 元器件/ 连接器生产、药品/ 食品生产、烟草行业、纺织行业等.下面以纺织行业为例具体阐述机器视觉在工业领域的应用[9 ] .在纺织企业中,视觉检测是工业应用中质量控制的主要组成部分,用机器视觉代替人的视觉可以克服人工检测所造成的各种误差,大大提高检测精度和效率. 正是由于视觉系统的高效率和非接触性,机器视觉在纺织检测中的应用越来越广泛[10 - 12 ] ,在许多方面已取得了成效.机器视觉可用于检测与纺织材料表面有关的性能指标见表4. 目前主要的研究内容可分为3 大类: 纤维、纱线、织物. 由于织物疵点检测(在线检测) 需要很高的计算速度,因此,设备费用比较昂贵. 目前国内在线检测的应用比较少,主要应用是离线检主要的检测有纺织布料识别与质量评定、织物表面绒毛鉴定、织物的反射特性、合成纱线横截面分析、纱线结构分析等. 此外还可用于织物组织设计、花型纹板、棉粒检测、分析纱线表面摩擦。 3. 2 民用领域 机器视觉技术可用在智能交通、安全防范、文字识别、身份验证、医疗设备等方面. 在医学领域,机器视觉用于辅助医生进行医学影像的分析,主要利用数字图像处理技术、信息融合技术对x 射线透视图、核磁共振图像、CT 图像进行适当叠加,然后进行综合分析,以及对其它医学影像数据进行统计和分析。 3. 3 科学研究领域 在科学研究领域可以利用机器视觉进行材料分析、生物分析、化学分析和生命科学,如
均值漂移跟踪算法
在无人驾驶车辆测试平台上利用均值漂移跟踪算法实现移 动图像的实时跟踪 Benjamin Gorry, Zezhi Chen, Kevin Hammond, Andy Wallace, and Greg Michaelson 摘要：本文描述了一种用来跟踪移动目标的新型计算机视觉算法，该算法是作为 无人驾驶车辆长期研究的一部分而被发展的。我们将介绍在视频序列中利用变量核 进行跟踪的研究结果。其中，均值漂移目标跟踪算法是我们工作的基础；对于一个 移动目标，该算法通常用来在初始帧中确定一个矩形目标窗口，然后利用均值漂移 分离算法处理该窗口中的数据，将跟踪目标从背景环境中分离出来。我们并没有使 用标准的Epanechnikov内核，而是利用一个倒角距离变换加权内核来提升目标表 示和定位的精度，利用Bhattacharyya系数使RGB色彩空间中两个分布之间的距离 最小化。实验结果表明，相对于标准算法，本算法在跟踪能力和通用性上有一定的 提升。这些算法已经运用在机器人试验平台的组成部分中，并证明了这些算法的有 效性。 关键词：Hume，函数程序设计，无人驾驶车辆，先驱者机器人，视觉 I.引言 本文比较和对比了在视觉序列中跟踪移动目标的三种计算机视觉算法。对于很多无人驾驶车辆（A V）来说，在复杂背景中检测和跟随移动目标的应用是至关重要的。例如，这可以让一个全尺寸无人驾驶车辆跟踪行人或者移动车辆并避免与之相撞。同时对于机器人而言，这项技术也可以提升导航性能和增强安全性。对单个移动目标的良好隔离，将便于我们针对感兴趣的目标进行应用开发。而所有的这些应用都要求我们能够实时的处理全彩色的视频序列。 我们的工作是在基于先驱者P3-AT全地形机器人的无人驾驶车辆测试平台上进行的，它是一个英国项目的一部分。这个庞大的项目是由国防科学技术中心（DTC）下辖的无人系统工程（SEAS）为了开发新型无人驾驶车辆传感器技术而建立的。国防科学技术中心的无人系统工程是由英国工业联盟操作管理，旨在通过采取系统工程的方法在整个系统和子系统
opencv实现分水岭,金字塔,均值漂移算法进行分割
using System; using System.Collections.Generic; using https://www.wendangku.net/doc/bf15611653.html,ponentModel; using System.Data; using System.Drawing; using System.Linq; using System.Text; using System.Windows.Forms; using System.Diagnostics; using System.Runtime.InteropServices; using Emgu.CV; using Emgu.CV.CvEnum; using Emgu.CV.Structure; using Emgu.CV.UI; namespace ImageProcessLearn { public partial class FormImageSegment : Form { //成员变量 private string sourceImageFileName = "wky_tms_2272x1704.jpg";//源图像文件名 private Image
基于均值漂移的视觉目标跟踪方法综述
基于均值漂移的视觉目标跟踪方法综述 齐 飞，罗予频，胡东成 (清华大学自动化系，北京 100084) 摘 要：基于均值漂移的视觉目标跟踪方法具有模型简洁实用、能够处理目标形变及部分遮挡等复杂情形的优点，算法高效且易于模块化实现。各种改进的模型及方法针对目标的尺度变化、特征分布等核心问题进行了系统研究，跟踪性能得到了进一步提高。该文从基本的均值漂移跟踪方法出发，系统介绍了此类方法的发展过程与最新成果。 关键词：均值漂移；视觉目标跟踪；核函数；相似性度量 Overview on Visual Target Tracking Based on Mean Shift QI Fei, LUO Yu-pin, HU Dong-cheng (Department of Automation, Tsinghua University, Beijing 100084) 【Abstract 】Mean-shift-based visual target tracking is one of the hotspots in the field of computer vision. The model of the algorithm is simple,efficient and easy-to-implement, and it can handle the complex cases such as deformations and partial occlusions. Recent researches on scale adaptation of the tracking window and distributions of features improve the performance of such trackers. This paper introduces the development and the state of such kind of the algorithms. 【Key words 】mean shift; visual target tracking; kernel functions; similarity measurement 计 算 机 工 程Computer Engineering 第33卷 第21期 Vol.33 No.21 2007年11月 November 2007 ·博士论文· 文章编号：1000—3428(2007)21—0024—04 文献标识码：A 中图分类号：TP311 视觉目标跟踪在安全监控、汽车辅助驾驶、人体运动分析以及视频压缩等领域有着广泛应用。由于视觉目标本身及周边环境复杂多变，因此获得鲁棒而高效的跟踪算法目前仍旧是计算机视觉中一个极具挑战性的研究课题。 典型的视觉跟踪算法通常包括2个核心模块：数据关联和目标定位。前者根据先验知识如目标的动力学特征，将检测结果与目标状态关联起来，并对跟踪轨迹进行滤波。这方面的研究已经比较成熟，常用方法有卡尔曼滤波器、粒子滤波器及概率数据关联。后者是对被跟踪目标建模并据此在图像序列各帧中定位目标。在视觉目标跟踪中，目标建模及定位更为重要，常用的方法有色块模型和活动轮廓模型。均值漂移方法[1~2]提供了一种新的目标描述与定位的框架，将目标特征与空间信息有效地结合起来，避免了使用复杂模型描述目标的形状、外观及其运动。 1 均值漂移方法介绍 均值漂移(mean shift)是Fukunaga 等人提出的一种非参 数概率密度梯度估计算法[1]，在统计相似性计算与连续优化方法之间建立了一座桥梁。该方法直到Cheng 的研究成果[2]发表之后，才受到较多的关注。此后均值漂移被广泛应用到诸多相关领域，如模式分类、图像分割以及目标跟踪等方面。 核函数在均值漂移方法中起了非常重要的作用，核函数的概念、构造方法及常用形态如下文所述。 1.1 核函数 考虑d 维实欧氏空间d R ，向量,d R ∈x y 的内积定义为 T ,=i i i x y ??=∑x y x y ，向量的模可由内积导出1/2=,??x x x 。 对给定的函数:d K R R →，若存在一元函数:[0,)k R ∞→使得 2 ()=()K k x x 成立，其中，()k r 在区间[0,)∞上非负、有界、 单调减、分段连续并且积分0 ()d k r r ∞ ∫有界，则称函数() K x 为核函数，)(r k 为相应的剖面函数。因为函数)(r k 分段连续，不可导点集的Lebesgue 测度为0，所以在不可导点集上补充定义后，函数)(r k 在其定义域内处处可导，即)(r k ′存在。常见的剖面函数见表1。 表1 常见的剖面函数 给定核函数()K ?和()H ?，对应的剖面函数为)(r k 和 ()h r ，若存在常数c ，使得()=()k r ch r ′?，则称()H ?为()K ?的 影子核。 给定核函数()K x 和()K x 及正实数σ，由下列各式定义的函数也是核函数： 1()(/)()()()()() ()()()K K P K K K K S K K σσ?====+?x x x x x x ?x x x x 其中，矩阵?是d d ×维实正定对称矩阵。若记单位矩阵为 I ，当取=σ?I 时，()=()K K σ?x x 。通常称σ为核函数 ()K σx 的窗宽，称?为核函数()K ?x 的窗宽矩阵。 作者简介：齐 飞(1977－)，男，博士研究生，主研方向：模式识别，计算机视觉；罗予频、胡东成，教授、博士生导师 收稿日期：2006-11-20 E-mail ：qfei00@https://www.wendangku.net/doc/bf15611653.html,
视频目标跟踪算法综述_蔡荣太
1引言 目标跟踪可分为主动跟踪和被动跟踪。视频目标跟踪属于被动跟踪。与无线电跟踪测量相比，视频目标跟踪测量具有精度高、隐蔽性好和直观性强的优点。这些优点使得视频目标跟踪测量在靶场光电测量、天文观测设备、武器控制系统、激光通信系统、交通监控、场景分析、人群分析、行人计数、步态识别、动作识别等领域得到了广泛的应用[1-2]。 根据被跟踪目标信息使用情况的不同，可将视觉跟踪算法分为基于对比度分析的目标跟踪、基于匹配的目标跟踪和基于运动检测的目标跟踪。基于对比度分析的跟踪算法主要利用目标和背景的对比度差异，实现目标的检测和跟踪。基于匹配的跟踪主要通过前后帧之间的特征匹配实现目标的定位。基于运动检测的跟踪主要根据目标运动和背景运动之间的差异实现目标的检测和跟踪。前两类方法都是对单帧图像进行处理，基于匹配的跟踪方法需要在帧与帧之间传递目标信息，对比度跟踪不需要在帧与帧之间传递目标信息。基于运动检测的跟踪需要对多帧图像进行处理。除此之外，还有一些算法不易归类到以上3类，如工程中的弹转机跟踪算法、多目标跟踪算法或其他一些综合算法。2基于对比度分析的目标跟踪算法基于对比度分析的目标跟踪算法利用目标与背景在对比度上的差异来提取、识别和跟踪目标。这类算法按照跟踪参考点的不同可以分为边缘跟踪、形心跟踪和质心跟踪等。这类算法不适合复杂背景中的目标跟踪，但在空中背景下的目标跟踪中非常有效。边缘跟踪的优点是脱靶量计算简单、响应快，在某些场合（如要求跟踪目标的左上角或右下角等）有其独到之处。缺点是跟踪点易受干扰，跟踪随机误差大。重心跟踪算法计算简便，精度较高，但容易受到目标的剧烈运动或目标被遮挡的影响。重心的计算不需要清楚的轮廓，在均匀背景下可以对整个跟踪窗口进行计算，不影响测量精度。重心跟踪特别适合背景均匀、对比度小的弱小目标跟踪等一些特殊场合。图像二值化之后，按重心公式计算出的是目标图像的形心。一般来说形心与重心略有差别[1-2]。 3基于匹配的目标跟踪算法 3.1特征匹配 特征是目标可区别与其他事物的属性，具有可区分性、可靠性、独立性和稀疏性。基于匹配的目标跟踪算法需要提取目标的特征，并在每一帧中寻找该特征。寻找的 文章编号：1002－8692（2010）12-0135-04 视频目标跟踪算法综述* 蔡荣太1，吴元昊2，王明佳2，吴庆祥1 （1.福建师范大学物理与光电信息科技学院，福建福州350108； 2.中国科学院长春光学精密机械与物理研究所，吉林长春130033） 【摘要】介绍了视频目标跟踪算法及其研究进展，包括基于对比度分析的目标跟踪算法、基于匹配的目标跟踪算法和基于运动检测的目标跟踪算法。重点分析了目标跟踪中特征匹配、贝叶斯滤波、概率图模型和核方法的主要内容及最新进展。此外，还介绍了多特征跟踪、利用上下文信息的目标跟踪和多目标跟踪算法及其进展。 【关键词】目标跟踪；特征匹配；贝叶斯滤波；概率图模型；均值漂移；粒子滤波 【中图分类号】TP391.41；TN911.73【文献标识码】A Survey of Visual Object Tracking Algorithms CAI Rong-tai1,WU Yuan-hao2,WANG Ming-jia2,WU Qing-xiang1 （1.School of Physics,Optics,Electronic Science and Technology,Fujian Normal University,Fuzhou350108,China; 2.Changchun Institute of Optics,Fine Mechanics and Physics,Chinese Academy of Science,Changchun130033,China）【Abstract】The field of visual object tracking algorithms are introduced,including visual tracking based on contrast analysis,visual tracking based on feature matching and visual tracking based on moving detection.Feature matching,Bayesian filtering,probabilistic graphical models,kernel tracking and their recent developments are analyzed.The development of multiple cues based tracking,contexts based tracking and multi-target tracking are also discussed． 【Key words】visual tracking;feature matching;Bayesian filtering;probabilistic graphical models;mean shift;particle filter ·论文·*国家“863”计划项目（2006AA703405F）；福建省自然科学基金项目（2009J05141）；福建省教育厅科技计划项目（JA09040）
(完整版)视频目标检测与跟踪算法综述
视频目标检测与跟踪算法综述 1、引言 运动目标的检测与跟踪是机器视觉领域的核心课题之一，目前被广泛应用在视频编码、智能交通、监控、图像检测等众多领域中。本文针对视频监控图像的运动目标检测与跟踪方法，分析了近些年来国内外的研究工作及最新进展。 2、视频监控图像的运动目标检测方法 运动目标检测的目的是把运动目标从背景图像中分割出来。运动目标的有效分割对于目标分类、跟踪和行为理解等后期处理非常重要。目前运动目标检测算法的难点主要体现在背景的复杂性和目标的复杂性两方面。背景的复杂性主要体现在背景中一些噪声对目标的干扰，目标的复杂性主要体现在目标的运动性、突变性以及所提取目标的非单一性等等。所有这些特点使得运动目标的检测成为一项相当困难的事情。目前常用的运动目标检测算法主要有光流法、帧差法、背景相减法，其中背景减除法是目前最常用的方法。 2.1帧差法 帧差法主要是利用视频序列中连续两帧间的变化来检测静态场景下的运动目标，假设f k（x, y）和f（k i）（x, y）分别为图像序列中的第k帧和第k+1帧中象素点（x，y）的象素值,则这两帧图像的差值图像就如公式2-1所示： Diff ki f k（x, y） f（k 1）（x, y）（2-1）2-1式中差值不为0的图像区域代表了由运动目标的运动所经过的区域（背景象素值不变），又因为相邻视频帧间时间间隔很小，目标位置变化也很小，所以运动目标的运动所经过的区域也就代表了当前帧中运动目标所在的区域。利用此原理便可以提取出目标。下图给出了帧差法的基本流程：1、首先利用2-1式得到第k帧和第k+1帧的差值图像Diff k 1；2、对所得到的差值图像Diff k 1二值化（如 式子2-2示）得到Qk+1 ；3、为消除微小噪声的干扰，使得到的运动目标更准 确，对Q k 1进行必要的滤波和去噪处理，后处理结果为M k 1。 1
单目视觉定位方法研究综述
万方数据
万方数据
万方数据
万方数据
单目视觉定位方法研究综述 作者：李荣明， 芦利斌， 金国栋 作者单位：第二炮兵工程学院602教研室,西安,710025 刊名： 现代计算机：下半月版 英文刊名：Modem Computer 年，卷(期)：2011(11) 参考文献(29条) 1.R.Horaud;B.Conio;O.Leboullcux An Analytic Solution for the Perspective 4-Point Problem 1989(01) 2.任沁源基于视觉信息的微小型无人直升机地标识别与位姿估计研究 2008 3.徐筱龙;徐国华;陈俊水下机器人的单目视觉定位系统[期刊论文]-传感器与微系统 2010(07) 4.邹伟;喻俊志;徐德基于ARM处理器的单目视觉测距定位系统[期刊论文]-控制工程 2010(04) 5.胡占义;雷成;吴福朝关于P4P问题的一点讨论[期刊论文]-自动化学报 2001(06) 6.Abdel-Aziz Y;Karara H Direct Linear Transformation from Comparator to Object Space Coordinates in Close-Range Ph- togrammetry 1971 7.Fishier M A;Bolles R C Random Sample Consensus:A Paradigm for Model Fitting with Applications to Image Analy-s~s anu Automated tartograpny 1981(06) 8.祝世平;强锡富用于摄像机定位的单目视觉方法研究[期刊论文]-光学学报 2001(03) 9.沈慧杰基于单目视觉的摄像机定位方法的研究 2009 10.任沁源;李平;韩波基于视觉信息的微型无人直升机位姿估计[期刊论文]-浙江大学学报（工学版） 2009(01) 11.刘立基于多尺度特征的图像匹配与目标定位研究[学位论文] 2008 12.张治国基于单目视觉的定位系统研究[学位论文] 2009 13.张广军;周富强基于双圆特征的无人机着陆位置姿态视觉测量方法[期刊论文]-航空学报 2005(03) 14.Zen Chen;JenBin Huang A Vision-Based Method for theCircle Pose Determination with a Direct Geometric Interpre- tation[外文期刊] 1999(06) 15.Safaee-Rad;I.Tchoukanov;K.C.Smith Three-Dimension of Circular Features for Machine Vision 1992 16.S.D.Ma;S.H.Si;Z.Y.Chen Quadric Curve Based Stereo 1992 17.D.A.Forsyth;J.L.Munday;A.Zisserman Projective In- variant Representation Using Implicit Algebraic Curves 1991(02) 18.吴朝福;胡占义PNP问题的线性求解算法[期刊论文]-软件学报 2003(03) 19.降丽娟;胡玉兰;魏英姿一种基于平面四边形的视觉定位算法[期刊论文]-沈阳理工大学学报 2009(02) 20.Sun Fengmei;Wang Weining Pose Determination from a Single Image of a Single Parallelogram[期刊论文]-Acta Automatica Sinica 2006(05) 21.吴福朝;王光辉;胡占义由矩形确定摄像机内参数与位置的线性方法[期刊论文]-软件学报 2003(03) 22.王晓剑;潘顺良;邱力为基于双平行线特征的位姿估计解析算法[期刊论文]-仪器仪表学报 2008(03) 23.刘晓杰基于视觉的微小型四旋翼飞行器位姿估计研究与实现 2009 24.刘士清;胡春华;朱纪洪一种基于灭影线的无人直升机位姿估计方法[期刊论文]-计算机工程与应用 2004(9) 25.Mukundan R;Raghu Narayanan R V;Philip N K A Vision Based Attitude and Position Estimation Algorithm for Rendezvous and Docking 1994(02)
视觉跟踪技术发展和难点问题的分析
信息技术与信息化 计算机技术与应用 63 视觉跟踪技术发展和难点问题的分析 The Tendency of the V isual Tracking and the Analysis of Tr oubles 张 进3 ZHAN G J in 摘 要 本文介绍了计算机视觉领域里的一种新兴技术即视觉跟踪技术。其中,主要介绍了视觉跟踪技术的产生、发展,同时也提到了跟踪技术中难点问题和解决思路。 关键词 视觉跟踪 目标检测 目标识别 目标跟踪 Abstract I n this paper,it describes a new technol ogy which called visual tracking of the computer visi on field .The text intr oduces that the new technol ogy ’s e mergence and devel opment,at the sa me ti m e,it refers s ome p r oble m s of this technol ogy and how t o res olve these p r oble m s. Keywords V isual tracking Object detecti on Object identificati on Object tracking 3山东建筑大学信电学院 250010 在当今的信息化社会中,随着计算机网络、通信以及微电子技术的发展,计算机图像以其直观形象、内容丰富的特点备受人们青睐。然而,在很多应用领域,人类在全部依赖视觉获得信息的同时,也需要付出艰辛的劳动。需要一种智能计算机系统技术,来模拟人眼获取外界信息图像,并模拟人脑进行视觉信息的分析和理解,从而做出相应的响应,这种技术的研究越来越受到诸多学者专家的厚爱,它就是我要介绍的视觉跟踪技术。 视觉跟踪技术用途广泛,目前它已经应用于计算机视觉等许多领域,如:视频监控、视觉用户接口、虚拟现实、智能大楼、基于目标跟踪的视频压缩等。这种技术的研究同时也为高层次的计算机视觉的研究打下基础,如3-D 目标的识别与重建等。 1 研究的主要内容和目的 视觉跟踪技术主要完成的工作有以下三个:目标的检测,目标的识别和目标的跟踪。 1.1 目标检测 目标检测是从图像序列中将前景运动区域从背景中提取出来。目标检测是运动物体的分类与跟踪以及运动人体动作分析与理解的基础,该阶段处理结果直接影响到后续处理的效果,所以运动检测在人体运动分析中的作用非常重要。然而,实时多变的外界条件如天气,光照,运动物体的影子及混乱干扰的影响给运动检测带来了困难。目前几种常用的运动检测方法有:背景减除法,时域差分法和光流法。 1.2 目标识别 目标的识别即目标的分类,一般把检测到的运动目标分为两类:人和非人,其中人体跟踪的目的是从检测的运动区域中将人的运动区域提取出来。常用的分类方法有基于形状特征的分类 (利用检测的运动区域的形状特征进行分类),比如:区域的分散 度,面积,宽高比等作为特征;基于运动特性的分类,比如:利用人的运动具有周期性作为特征。为了得到更准确的分类效果,可以将上述两种方法结合起来使用,还可以考虑运动物体的色彩和运动特征。 1.3 目标跟踪 运动目标的跟踪是指在连续帧的图像间建立基于位置、形状和颜色等有关特征的匹配问题。简单来说,就是在序列图像中,为运动目标定位。目前视频监控系统己经广泛应用到了对安全要求非常敏感的场合和机构,如银行,商场,飞机场等,但是目前的应用并没有发挥它实时主动的监控作用。因为现阶段的视频监控系统大部分只提供视频录像和回放的功能,往往是当异常事件发生后,相关人员才通过记录的结果来观察曾经发生的事,但此时往往为时己晚。人们需要的监控系统是能够实行实时监控,并能自主分析摄像头捕捉的视频信息,若发生异常情况,可以及时报警,从而避免意外发生,同时也减少了雇佣大量监视人员所需要的物力和财力。 2 视觉跟踪技术的发展 近年来,随着运动分析的硬件的发展(包括视频获取设备如摄像头,图像采集卡,处理器和计算机等),基于视频信息的分析迅速渗透到人民生活的各个方面。巨大的商业价值和应用价值使越来越多的公司和学术机构致力于这种技术的研究。美国,英国等国家己经展开了大量相关项目的研究。 1997年,由美国国防高级研究项目署DARP A (Defence Ad 2vanced Research Pr ojects Agency )领头,以美国卡耐基梅隆大学为 首,麻省理工学院等高校参与了视频监控系统项目VS AM [1]的研究开发,并于2000年基本完成.此项目主要研究用于战场及普通民用场景进行监控的自动视频理解技术:分布于各个不同位置的摄像头获取的视频信号通过一个分布式的网络连接汇集到操作 中心,只需要一个操作人员就可以监控一个相当广阔的空间范
多目标跟踪方法研究综述
经过近４０多年的深入研究和发展，多目标跟踪技术在许多方面都有着广泛应用和发展前景，如军事视觉制导、机器人视觉导航、交通管 制、 医疗诊断等［１－２］。目前，虽然基于视频的多运动目标跟踪技术已取得了很大的成就，但由于视频中图像的变化和物体运动的复杂性，使得对多运动目标的检测与跟踪变得异常困难，如多目标在运动过程中互遮挡、监控场景的复杂性等问题，解决上述难题一直是该领域所面临的一个巨大挑战，因此，对视频中多目标跟踪技术研究仍然是近年来一个热门的研究课题［３－５］。 １、多目标跟踪的一般步骤 基于视频的多目标跟踪技术融合了图像处理、模式识别、人工智能、 自动控制以及计算机视觉等众多领域中的先进技术和核心思想。不同的多目标跟踪方法其实现步骤有一定的差异，但多目标跟踪的主要 流程是相同的，如图１所示，其主要包括图像预处理、 运动目标检测、多目标标记与分离、多目标跟踪四个步骤。 图１多目标跟踪基本流程图 ２、多目标跟踪方法 多目标跟踪方法可以根据处理图像或视频获取视点的多少分为两大类，一类是单视点的多目标跟踪，另一类就是多视点的多目标跟踪。 ２．１单视点的方法 单视点方法是针对单一相机获取的图像进行多目标的检测和跟踪。该方法好处在于简单且易于开发，但由于有限的视觉信息的获取，很难处理几个目标被遮挡的情况。 块跟踪（Ｂｌｏｂ－ｔｒａｃｋｉｎｇ）是一种流行的低成本的跟踪方法［６－７］。这种方法需要首先在每一帧中提取块，然后逐帧寻找相关联的块，从而实现跟 踪。 例如ＢｒａＭＢＬｅ系统［８］就是一个基于已知的背景模型和被跟踪的人的外表模型计算出块的似然性的多块跟踪器。这种方法最大的不足之处在于：当由于相似性或者遮挡，多个目标合并在一起时，跟踪将导致失败。因此，可以取而代之的方法是通过位置、外观和形状保留清晰目标的状态。文献［９］利用组合椭圆模拟人的形状，用颜色直方图模拟不同人的外观，用一个增强高斯分布模拟背景以便分割目标，一旦场景中发现对应于运动头部的像素，一个ＭＣＭＣ方法就被用于获取多个人的轮廓的最大后验概率，在单相机的多人跟踪应用中取得了非常有意义的结果。Ｏｋｕｍａ等人提出了一种将Ａｄａｂｏｏｓｔ算法和粒子滤波相结合的方法［１０］。该方法由于充分利用了两种方法的优点，相比于单独使用这两种方法本身，大大降低了跟踪失败的情形，同时也解决了在同一框架下检测和一致跟踪的问题。Ｂｒｏｓｔｏｗ等人提出了一个用于在人群中检测单个行人的特征点轨迹聚类的概率框架［１１］。这个框架有一个基本假设是一起运动的点对可能是同一个个体的一部分，并且把它用于检测和最终的跟踪。对于完全和部分遮挡目标以及外观变化，这些方法和另外一些相似的方法都有很大的局限性。 为了解决遮挡问题，一系列单视点跟踪技术应运而生。典型的方法 是利用块合并来检测遮挡的发生［１２］。当被跟踪的点消失， 跟踪特征点的方法就简单的将其作为一个被遮挡特征点。近年来，基于目标轮廓和外观的跟踪技术利用隐含的目标到相机的深度变化来表示和估计目标间的遮挡关系。但大多数方法都只能解决部分遮挡，不能解决完全被遮挡 的情况。 另外，小的一致运动被假设为是可以从遮挡视点中可以预测运动模式的，这些给没有预测运动的较长时间的遮挡的处理带来问题。尽管这些单视点的方法有较长的研究历史，但这些方法由于不能明锐的 观察目标的隐藏部分，因此不能很好地解决有２或３个目标的遮挡问题。 ２．２多视点的方法 随着复杂环境中对检测和跟踪多个被遮挡的人和计算他们的精确 位置的需要，多视点的方法成为研究的热点。 多视点跟踪技术的目的就是利用不同视点的冗余信息，减少被遮挡的区域，并提供目标和场景的３Ｄ信息。尽管通过相机不能很好地解决目标跟踪问题，但却提出了一些很好的想法，如选择最佳视点，但这些方法都以实际环境模型和相机校正为特征。 ９０年代后半期，在很多文献中给出了多视点相关的多目标跟踪方法。 比如利用一个或多个相机与观察区域相连的状态变化映射，同时给出一系列的行为规则去整合不同相机间的信息。利用颜色在多个视点中进行多目标的跟踪的方法，该方法模拟了从基于颜色直方图技术的 背景提取中获得的连接块并应用其去匹配和跟踪目标。 除此之外，也有在原来的单视点跟踪系统进行扩展的多视点跟踪方法。该方法主要是通过一个预测，当预测当前的相机不在有一个好的视点时，跟踪就从原来凯斯的那个单相机视点的跟踪转换到另外一个相机，从而实现多视点的跟踪。基于点与它对应的极线的欧氏距离的空间匹配方法、贝叶斯网络和立体相对合并的方法都是多目标多视点跟踪的常见方法。尽管这些方法都试图去解决遮挡问题，但由于遮挡的存在，基于特征的方法都不能根本解决，其次，这些方法中的遮挡关系的推理一般都是根据运动模型，卡尔曼滤波或者更普遍的马尔科夫模型的时间一致性来进行的。因此，当这个过程开始发散，这些方法也不能恢复遮挡关系。 最近一种基于几何结构融合多个视点信息的Ｈｏｍｅｇｒａｐｈｉｃｏｃｃｕｐａｎｃｙｃｏｎｓｒｒａｉｎｔ（ＨＯＣ）［１２］方法，可以通过在多场景平台对人的定位来解决遮挡问题。仅采用随时间变化的外表信息用于从背景中检测前景，这使得在拥挤人流的场景中的外表遮挡的解决更健壮。利用多视点中的前景信息，主要是试图找到被人遮挡的场景点的图像位置，然后这些被遮挡的信息用于解决场景中多个人的的遮挡和跟踪问题。在这种思想指导下，Ｍｉｔｔａｌ，Ｌｅｉｂｅ，Ｆｒａｎｃｏ等的研究工作和机器人导航中基于遮挡网格的距离传感器的并行工作是相似的，这些方法在融合３Ｄ空间信息的时候需要进行校正相机。但ＨＯＣ方法是完全基于图像的，仅需要２Ｄ结构信息进行图像平面的融合。当然也有另外一些不需要进行相机校正的算法被提出，但需要学习一个与相机最小相关的信息。在目标跟踪过程中，由于这些方法依赖于单个相机的场景，对于拥挤场景中目标分布密度增加九无能为力了。在ＨＯＣ的多视点的目标跟踪中，对于任何单一相机的场景，或者相机对的场景，都不需要进行定位和跟踪目标，而是从所有相机的场景中收集证据，形成一个统一的框架，由于该方法能够从多个时间帧的场景中进行场景被遮挡概率的全局轨迹优化，因此可以同时进行检测和跟踪。 ３、总结 动态目标检测与跟踪是智能监控系统的重要组成部分，它融合了图像处理、模式识别、自动控制及计算机应用等相关领域的先进技术和研究成果，是计算机视觉和图像编码研究领域的一个重要课题，在军事武器、工业监控、交通管理等领域都有广泛的应用。尤其是对于多目标检测与跟踪中的遮挡与被遮挡的处理，对提高智能监控中目标的行为分析有着重要的意义。随着监控设备的发展和设施的铺设，多视点的场景图像是很容易得到的，因此借助信息融合的思想，充分利用不同角度对目标的描述信息，可以很大地改进目前基于单视点的多目标检测和跟踪的精度，能够很好地解决单视点方法中不能很好解决的遮挡问题。参考文献 ［１］胡斌，何克忠．计算机视觉在室外移动机器人中的应用．自动化学报，２００６，３２（５）：７７４－７８４． ［２］Ａ．Ｏｔｔｌｉｋ，Ｈ．－Ｈ．Ｎａｇｅｌ．ＩｎｉｔｉａｌｉｚａｔｉｏｎｏｆＭｏｄｅｌ－ＢａｓｅｄＶｅｈｉｃｌｅＴｒａｃｋｉｎｇｉｎＶｉｄｅｏＳｅｑｕｅｎｃｅｓｏｆＩｎｎｅｒ－ＣｉｔｙＩｎｔｅｒｓｅｃｔｉｏｎｓ．ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒＶｉｓｉｏｎ，２００８，８０（２）：２１１－２２５．多目标跟踪方法研究综述 苏州联讯图创软件有限责任公司 陈宁强 ［摘要］文章对目前现有的多目标跟踪方法从信息获取的不同角度进行了综述。主要分析比较了目前单视点和多视点目标跟踪方 法对于目标遮挡问题的处理性能，并指出多视点的基于多源信息融合的思想，可以较好地解决场景中目标的遮挡问题。［关键词］单视点多视点目标跟踪信息融合基金项目：本文系江苏省自然科学基金（ＢＫ２００９５９３）。 作者简介：陈宁强（１９７３－），男，江苏苏州人，工程师，主要研究方向：ＧＩＳ、模式识别和图像处理与分析。 目标跟踪多目标标记与分离 匹配 目标模型 运动检测当前帧图像 背景提取 去噪 ＲＯＩ 预处理 视频序列 （下转第２６页）