运动目标检测与跟踪技术研究
摘要
运动目标检测与跟踪是计算机视觉领域的热点问题，广泛应用于视频监控、人机交互、虚拟现实和图像压缩等。而要在各种复杂的环境中和不同的条件下（如遮挡、光照变化等）都对目标进行准确的跟踪是目前广大研究工作者共同关注的焦点，也是目前实际应用中一个亟待解决的难题。
本文主要研究静态背景下运动目标的检测、运动目标跟踪以及相关结果仿真分析三方面的内容。运动目标检测方面，在分析了目前比较常用的三种目标检测方法，即光流法、帧间差分法、背景相减法的基础上，着重研究了基于帧间差分法运动目标检测的算法原理及流程，讨论了三种检测算法的优缺点。运动目标跟踪方面，在分析了目前比较常用的三种目标跟踪算法，即均值漂移算法、卡尔曼滤波算法、基于特征的目标跟踪算法的基础上，重点研究了基于特征——最小外接矩形框运动目标跟踪算法。分析了其算法原理以及跟踪步骤。最后用matlab软件采用帧间差分运动目标检测法以及基于最小外接矩形框跟踪法对含有运动目标的视频进行仿真。
在采用了帧间差分检测法以及最小外接矩形框跟踪法基础上，用matlab软件对视频进行仿真，检测到了人体的轮廓，同时矩形框跟踪出了运动人体的轨迹，达到了运动目标检测与跟踪的效果。
关键词：运动目标检测；运动目标跟踪；帧间差分法；最小外接矩形框
Abstract
Moving target detection and tracking is a hot issue in the field of computer vision, is widely used in video surveillance, human-computer interaction, virtual reality and image compression etc.. But in various complex environments and different conditions (such as occlusion, illumination changes) of target accurate tracking is currently the focus of researchers of common concern in the current application, is an urgent problem to be solved.
This paper mainly involves moving target detection under a static background, moving target tracking and simulation results analysis of three aspects. In the moving object detection, in the analysis of the current commonly used three kinds of target detection method based on optical flow method, namely, the inter-frame difference method, background subtraction method, focusing on the frame difference algorithm principle and process method based on moving object detection.And discusses the advantages and disadvantages of three kinds of detection algorithm.In terms of moving object tracking, in the analysis of the current three kinds of target more commonly used tracking algorithm, the mean shift algorithm, Calman algorithm, based on the characteristics of the target tracking algorithm based on the characteristics, focuses on the minimum exterior rectangle based on moving target tracking algorithm.Finally using MATLAB software using frame difference detection method for moving targets as well as based on the minimum bounding box tracking method to simulate the video with moving objects.
Based on the frame difference detection method and the minimum bounding box tracking method based on the simulation, the video with the MATLAB software, to detect the contours of the body, at the same time rectangle tracking a human motion trajectory, reached the moving target detection and tracking results.
Keywords: moving object detection; object tracking; inter-frame difference method; minimum circumscribed rectangle
目录
1 绪论 (1)
1.1 研究背景和意义 (1)
1.2 国内外研究现状 (2)
1.3 章节安排 (4)
2 运动目标检测与跟踪技术 (5)
2.1 数字图像处理相关概念 (5)
2.1.1 数字图像处理过程 (5)
2.1.2 图像增强 (5)
2.1.3 图像分割 (6)
2.1.4 数学形态学 (6)
2.2 运动目标检测流程及常用算法 (7)
2.2.1 背景差分法 (8)
2.2.2 帧间差分法 (8)
2.2.3 光流法 (9)
2.3 运动目标跟踪常用算法 (10)
2.3.1 基于均值漂移目标跟踪算法 (10)
2.3.2 基于卡尔曼滤波目标跟踪算法 (10)
2.3.3 基于特征的目标跟踪算法 (11)
3 基于帧间差分法运动目标检测的研究 (12)
3.1 帧间差分法运动目标检测流程 (12)
3.2 帧间差分法运动目标检测过程及原理 (12)
3.2.1RGB图像转换为灰度图像 (12)
3.2.2 图像差分处理 (13)
3.2.3 差分图像二值化 (13)
3.2.4 形态学滤波 (16)
3.2.5 连通性检测 (17)
4 基于最小外接矩形框目标跟踪 (19)
4.1 目标跟踪流程 (19)
4.1.1 运动目标跟踪过程图 (19)
4.1.2 运动目标跟踪过程分析 (19)
4.2 基于最小外接矩形框跟踪原理 (20)
4.2.1 特征提取 (20)
4.2.2 最小外接矩形提取 (21)
4.3 最小矩形框跟踪实现 (21)
5 仿真结果与分析 (23)
5.1 仿真环境 (23)
5.2 运动目标检测仿真 (23)
5.3 运动目标跟踪仿真 (28)
结论 (33)
致谢 (34)
参考文献 (35)
附录A (38)
附录B (54)
附录C (67)
1 绪论
1.1 研究背景和意义
视觉是人类感知自身周围复杂环境最直接有效的手段之一，而在现实生活中大量有意义的视觉信息都包含在运动中，人眼对运动的物体和目标也更敏感，能够快速的发现运动目标，并对目标的运动轨迹进行预测和描绘[1]。随着计算机技术、通信技术、图像处理技术的不断发展，计算机视觉己成为目前的热点研究问题之一[1,2]。
计算机视觉是利用计算机实现视觉信息处理的一门学科，它涉及计算机、心理学、生理学、物理学、信号处理和数学等领域，是交叉性很强的一门学科[1,3]。
与静态图像相比，视频序列图像的优势在于时间的连续性及目标运动信息的捕获。因此，视频序列图像和视频中的运动目标一直是图像处理研究的重要方面[4,5,6]。运动目标检测与跟踪技术则是计算机视觉领域中应用的核心技术，它融合了图像处理、模式识别、人工智能、自动控制等相关领域的先进技术和研究成果，是成像跟踪系统智能化的关键]3[。该技术利用可见光的图像传感器或红外成像传感器或其他摄像设备摄取运动目标的视频图像信号，经过相应的数字图像处理，对运动目标进行检测、提取、识别，然后根据目标的图像特征及目标的运动特征、背景的特征等数据对运动目标进行预测跟踪，这些数据包括运动目标的颜色、形态、轮廓，运动目标的位置、速度、加速度等运动参数和运动轨迹，背景的颜色等。为后继的图像分析、运动目标的行为理解及完成更高级的任务提供数据支持[6]。
基于视频序列的运动目标的检测和追踪技术作为计算机视觉领域的关键技术之一，应用十分广泛，比如该技术在智能安防、交通导航、智能武器、对空监视、导弹预警等许多应用领域发挥重要作用。
运动目的检测与跟踪己经有近20年的研究历史，这种技术的研究主要涉及到运动目标检测与提取、运动目标跟踪、运动目标识别、运动目标行为分析和理解等诸多内容，是计算机视觉研究的重要组成部分[7,8]。它不但具有实际的研究价值，而且对计算机视觉的其他领域有着重要的推动作用。
运动目标检测与跟踪技术在近20年来一直是比较热的研究课题。它广泛应用于军事和民用领域。在战场侦察，武器控制以及车辆异常行为等各个方面都有极其重要的应用。
同时，随着计算机技术，通信技术，控制技术，电子技术的发展，运动目标检测与跟踪技术也较为广泛的应用于车辆违规检测，并且在交通检测技术中，运动目标检测技术已初步显示了其强大的生命力，正逐步成为交通检测中最有前途的一项技术[9,10,11]。在人体运动的视觉分析中的应用：人体运动的视觉分析是近年来计算机视觉领域中备受关注的前沿方向，它从包含人的图像序列中进行人的检测、跟踪、识别与行为理解，属于图像分析和理解的范畴。人运动分析在人机接口、安全监控、视频会议、医疗诊断等方面均具有广泛的应用前景，它激发了广大科研工作者及相关商家的浓厚兴趣。
目前，智能化视频监控系统在我国仍处于普及阶段，但随着我国经济的飞速发展和物质生活水平的不断提高，人们的安全防范意识也越来越强，这意味着智能化视频监控有着广泛的应用市场。因此，对作为视频监控系统关键组成部分的运动目标检测与跟踪技术的研究有着重要的理论意义与应用价值。
然而实际中存在很多不利的干扰因素对运动目标检测与跟踪技术的研究带来巨大的挑战，而人们对运动目标检测与跟踪技术的稳定性的要求也越来越高。
因此研究几种常用的运动目标检测与跟踪算法的原理，分析比较他们的特点以及效果评估并且从中筛选出稳定性最高，效果最好的目标检测与跟踪算法就成为一个重要的研究课题。运动目标检测与跟踪的工作过程如图1.1所示。
图1.1 运动目标检测与跟踪过程
从图1.1可以得知，运动目标检测与跟踪的主要工作可以分为目标检测和目标跟踪两个方面。运动目标检测是运动目标检测与跟踪的第一部分它实时地在被监视的场景中检测运动目标，并将其提取出来。运动目标跟踪是衔接运动目标检测和目标行为分析与理解的一个重要环节，它在运动目标检测的基础上，利用目标有效特征，使用适当的匹配算法，在序列图像中寻找与目标模板最相似的图像位置。在实际应用中，运动目标跟踪不仅可以提供目标的运动轨迹和准确定位目标，为下一步的目标行为分析与理解提供了可靠的数据来源，而且也可以为运动目标检测提供帮助，从而形成一个良性的循环。
1.2 国内外研究现状
目前，在美国、日本、欧洲已经开展了大量的运动目标检测与跟踪的研究工作，
W4是一个可以在室外对入进行实时检测与跟踪的视觉监视系统[12]：Pfinder是一个利用颜色和形状特征对大视角范围内的人进行跟踪的实时系统[13]。同时也出现了大量的国际会议和讨论组目前，国外的视频目标检测与跟踪技术相对成熟，已经有了一些雏形系统。比如卡内基梅隆大学领导的视频安全与控制（VSAM）研究计划[14]。根据这个计划，研究人员研制了一个端到端的测试系统，集成了很多高级视频安全监控技术，比如静止背景和运动背景下的实时目标探测与跟踪，普通目标（比如人、轿车、卡车）的分类识别，特殊物体（比如校车等具有特殊标记的物体）的分类识别，目标姿势估计，摄像机的自主控制，多摄像机协同跟踪，人体步法分析等等。
马里兰大学的实时监控系统W4可以利用单摄像头对人体以及人体的各个部分进行实时地跟踪。所谓W4，是指Who，When，Where，What，也就是说这个系统可以确定目标是谁，什么时间、什么地点，他在干什么。W4具有基于目标形状分析人体及其头部、手部等定位功能，基于自适应背景差技术的前背景分离功能，以及区域的分裂与合并，用来处理目标交互行为的功能。而IBM等大公司也在资助这个领域内的相关研究，期望能将研究成果应用到商业领域中。Pfinder系统用于实现对室内人员行为的实时监视与判定。另外，在交通系统中，Tai等人研究了一个用于交通事故检测的视频监视系统，能够自动检测运动车辆并对其运动轨迹进行判定[15]。VISATRAM系统能够对各个车道的车辆行为进行监控，保证交通通畅[16]。Haag和Nagel专门对机动驾驶的车辆跟踪问题进行了研究[17]。Pai等人专门研究了十字路口的行人检测与跟踪以实现对行人的计数[18]。
在国内也出现了一定规模的研究，召开了一些相关会议探讨研究成果和发展方向。我国视频目标检测与跟踪技术研究起步于60年代末，通过近40多年的努力，我国在这一领域得到了长足发展，许多先进的图像处理与模式识别方法被应用到这个领域，并研制了一些实际的系统。我国先进成像识别与跟踪技术在智能化程度、通用性、多目标实时测量、低对比度和复杂图像视频信息处理等方面与国外相比还存在着较大的差距。在实际的跟踪过程也还存在很多问题，如数据同步、图像模糊、跟踪台稳定性差等等，由于这些方面的实用信息能从国外获得很少，所以在这一领域进行深入的研究，对提高我国国防实力，加强民用具有重要意义。目前，一些高等院校、科研院所都已经开展了此项研究工作。
相比较而言，国内对智能化视频监控技术的研究起步较晚，但是随着数字图像处理技术、计算机视觉以及各种诸如红外、雷达、激光等传感器技术的不断发展，为运动目标检测与跟踪技术的研究提供了必要的理论基础与技术支持，创造了无比优越的研究环
境。比如北京大学视觉与听觉信息处理国家重点实验室主要研究高度智能化机器感知系统，实验室在三维视觉信息处理和智能机器人等领域取得了许多成果。
1.3章节安排
第一章绪论部分研究了计算机视觉技术的发展，并对国内外运动目标检测及跟踪算法的现状进行了总结，提出了课题的研究背景意义。
第二章系统分析了运动目标检测与跟踪的几种常用算法。其中，运动目标检测算法包括光流法，帧间差分法，背景法。分析了这三种算法的简单原理，并讨论了它们的特点及优缺点。运动目标跟踪算法方面包括均值漂移算法，卡尔曼滤波算法，基于最小外接矩形框目标跟踪算法，在本章中简单分析了这三种算法的原理。
第三章为本文的重点，详细研究了基于帧间差分法的运动目标检测算法，包括检测流程，算法原理以及阈值选取算法等。
第四章同样为本文的重点，结合了第三章的检测结果，详细研究了基于最小外接矩形框的运动目标跟踪算法。分析了跟踪的流程以及最小外接矩形框的提取算法等。
第五章主要讨论了基于帧间差分法运动目标检测与基于最小外接矩形框目标跟踪的matlab仿真结果。
2 运动目标检测与跟踪技术
2.1数字图像处理相关概念
2.1.1数字图像处理过程
图像处理就是对图像信息进行加工以满足视觉心理或应用需求的行为[19,20,21]。图像的处理手段有光学方法和电子学（数字）方法，前者已经有很长的发展历史，从简单的光学滤波到现在的激光全息技术光学理论已经日臻完善，而且处理速度快，信息容量大，分辨率高，又非常经济，但是光学处理图像的精度不高，稳定性差，操作不便。从20世纪60年代起，随着电子技术和计算机技术的不断提高和普及，数字图像处理进入高速发展的时期。数字图像处理就是利用数字计算机或者其他它数字硬件，对从图像信息转换成的电信号进行某些数学运算，以提高图像的实用性。数字图像处理技术精度比较高，而且还可以通过改进处理软件来优化处理效果。由数字图像处理技术应用的范围非常广泛，数字图像处理系统有各种各样的结构。典型的数字图像处理系统由输入输出设备、存储器、运算处理设备和图像处理软件构成。
数字图像处理包括图像数字化和压缩编码，图像增强和复原，图像分割，图像分类，图像重建几个部分。我们以图2.1来简单描述数字图像处理的内容及其步骤。
图2.1 数字图像处理的内容及步骤
2.1.2 图像增强
增强图像中的有用信息，它可以是一个失真的过程，其目的是要增强视觉效果，将原来不清晰的图像变得清晰或强调某些感兴趣的特征，抑制不感兴趣的特征，使之改善图像质量、丰富信息量。从方法上说，则是设法摒弃一些认为不必要或干扰的信息，而将所需要的信息得以突出出来，以利于分析判读或作进一步的处理。
图像增强能够改善图像的视觉效果，针对给定图像的应用场合，有目的地强调图像的整体或局部特性，扩大图像中不同物体特征之间的差别，满足某些特殊分析的需要。
其方法多是通过一定手段对原图像附加一些信息或变换数据，有选择地突出图像中感兴趣的特征或者抑制（掩盖）图像中某些不需要的特征，使图像与视觉响应特性相匹配。在图像增强过程中，不分析图像质量降低的原因，处理后的图像也不一定逼近原始图像。图像增强技术根据增强处理过程所在的空间不同，可分为基于空域的算法和基于频域的算法两大类。基于空域的算法处理时直接对图像灰度级做运算；基于频域的算法是在图像的某种变换域内对图像的变换系数值进行某种修正，是一种间接增强的算法，通过改变像素灰度值达到增强效果，并不改变像素的位置。
空域增强包括空域变换增强与空域滤波增强两种。空域变换增强是基于点处理的增强方法即点运算算法，空域滤波增强是基于邻域处理的增强方法即邻域增强算法。点运算算法通过灰度级校正、灰度变换和直方图修正等实现，目的或者使图像成像均匀，或者扩大图像动态范围，扩展对比度。邻域增强算法分为图像平滑和锐化两种。平滑一般用于消除图像噪声，但是也容易引起边缘的模糊，常用算法有均值滤波、中值滤波两种。锐化的目的在于突出物体的边缘轮廓，便于目标识别，常用算法有梯度法、算子、高通滤波法、掩模匹配法、统计差值法等。
常用的空域变换增强方法包括：对比度增强、直方图增强等。
2.1.3图像分割
图像分割是一种重要的图像分析技术，就是把图像分成各具特性的区域并提取出感兴趣目标的技术和过程[22]。通常分割是为了进一步对图像进行分析、识别、压缩等，分割的准确性直接影响后续任务的有效性。在对图像的研究和应用中，人们往往仅对图像中的某些部分感兴趣。这些部分通常称为目标或前景（其它部分称为背景），它们一般对应图像中特定的、具有独特性质的区域。为了辨识和分析图像中的这些目标，需要将它们从图像中分离提取出来，在此基础上才有可能进一步对目标进行测量和对图像进行利用。在不同领域中有时也用其它名称，如目标轮廓（object delineation）技术，阈值化（thresholding）技术，图像区分或求差（image discrimination）技术。目标检测（objectdetection）技术，目标识别（object recognition）技术。目标跟踪（object tracking）技术等，这些技术本身或核心实际上也是图像分割技术。
2.1.4 数学形态学
数学形态学是研究数字影像形态结构特征与快速并行处理的理论[23]。数学形态学的基本思想是用具有一定形态的结构元素去量度和提取图像中的对应形状以达到对图像
分析和识别的目的。其历史可以追溯到十九世纪的Euler，Steiner，Crofton等的论述中，但数学形态学是一门新兴学科，1964年，法国的GMathem和J．Serra在积分集合的基础上首次创立了这门学科，此后，他们又在法国建立了“枫丹白露数学研究中心”，在该中心及各国研究人员的共同努力下，形态学得到了充分的发展和完善。
数学形态学是由一组形态学的代数运算子组成的，它的基本运算有4个：膨胀（或扩张）、腐蚀（或侵蚀）、开运算和闭运算，它们在二值图像和灰度图像中各有特点。基于这些基本运算还可推导和组合成各种数学形态学实用算法，用它们可以进行图像形状和结构的分析及处理，包括图像分割、特征抽取、边界检测、图像滤波、图像增强和恢复等。数学形态学方法利用一个称作结构元素的“探针”来收集图像的信息，当探针在图像中不断移动时，便可考察图像各个部分之间的相互关系，从而了解图像的结构特征。数学形态学基于探测的思想，与人的FOA（Focus Of Attention）的视觉特点有类似之处。作为探针的结构元素，可直接携带知识（形态、大小、甚至加入灰度和色度信息）来探测、研究图像的结构特点。
形态学的最大特征是试图形成一种只利用输入模式的局部信息，来分析模式的全局构造的方法；另一个特征是几何学的构造和纹理不是客观存在的，而是认为它们是在物体和观测者相互之间的关系才成立的。数学形态学因为是一种利用局部信息，由单纯运算进行图像分析的方法，让机器来处理是非常合适的，另外也非常适用于并行处理。
2.2运动目标检测流程及常用算法
常见的运动目标检测过程主要涉及到差分、二值化、形态学滤波和连通性分析等几部分。整个检测过程分为三个层次，面向像素级的检测，面向变化区域级的检测和面向帧级的检测[24,25]。面向像素级的检测是指对包含运动目标的视频序列图像进行差分，二值化，逐点检测判断背景与运动目标；面向变化区域级的检测是指对像素检测后得到的二值图像中的目标区域采用形态学滤波和连通性检测的方法提高检测的准确度；面向帧级的检测是指对整帧图像进行去噪处理，使其适应环境光线变化。运动目标检测算法的实质就是当场景中有新目标进入或者场景中有目标移动时，通过检测算法能够得知有运动目标出现，再利用目标分割方法把进入场景中的运动目标（前景）从背景图像中分离出来的方法[26]。按照检测算法的原理主要可以分为三类：背景差分法、光流法、帧间差分法。
2.2.1 背景差分法
背景差分法的实现可以分为已知背景和统计背景两种[27,28]。已知背景是指在开始进
行运动目标检测前预先设定好运动目标的活动背景，在检测的过程中通过当前帧与背景
的差分获得运动目标的模版，借助于形态学的开闭运算等方法进行滤波去噪和轮廓平
滑。为后续的处理程序提供处理的对象以完成图像的分割和跟踪。其简单原理如图2.2
所示。
图2.2 基于背景差分法原理流程
图2.2中k f 是第k 帧图像，k B 是背景图像，第k 帧图像与背景图像的差即为差分后的
图像k D 。
在统计背景的背景差分实现中，没有预先设定目标的运动场景，一种比较简单的实
现是将连续若干帧的灰度图像叠加，然后进行中值滤波，确定目标的运动场景（背景图
像），然后将当前帧与背景图像进行差分，通过形态学等方法的滤波、去噪、平滑，获
取运动目标的轮廓。
由于背景差分算法中构造的背景，只是对真实背景的近似，往往在运动物体较小和
背景中存在运动比较剧烈的物体（如：游泳池中晃动的水波，狂风中晃动的树枝等）时，
检测的结果会不够准确。这些问题的解决需要采用一些辅助的方法。
背景差分法的优点就是算法简单，运算速度较快，基本能够满足实时检测的需要，
存在的主要问题就是如果采用己知背景实现的话，需要人工干预，预先设定背景图像，
自适应能力较差，而统计背景差分法相比较来说不需要人工干预，自适应能力有了很大
提高。这两种背景差分法的共同缺点就是对运动目标的空间信息没有充分利用，差分得
到的轮廓图像很不准确。
2.2.2 帧间差分法
帧间差分法进行目标检测的主要优点是：算法实现简单，程序设计复杂度低，易于
实现实时监视[29,30,31]。基于帧间差分方法，由于相邻帧的时间间隔一般较短，因此该方
法对场景光线的变化一般不太敏感。最基本的帧间差分法可以检测到场景中的变化，并
且提取出目标。
帧间差分法主要是利用视频序列中连续的两帧或几帧图像的差异来进行目标检测
和提取，其简单原理如图2.3所示。
图2.3 相邻两帧图像差分法基本原理流程
图2.3中k f 为第k 帧图像，1-k f 为k-1帧图像，k D 为差分后图像。如图可知第k 帧
图像与第k-1帧图像相减便得到了差分之后的图像，这种方法对动态环境有较好的适应
性，处理起来较为方便。
2.2.3 光流法
不论背景差分法还是帧间差分法，这两种方法都只是利用了视频图像的空间特征，
对于图像内部的信息却没有很好的应用，美国学者Hom 和Schunch 提出的光流法就充分
的利用了图像自身所携带的信息[32]。所谓光流是指空间中物体被观测面上的像素点运动
产生的瞬时速度场，包含了物体表面结构和动态行为等重要信息。基于光流法的运动目
标检测采用了运动目标随时间变化的光流特性，由于光流不仅包含了被观测物体的运动
信息，还携带了物体运动和景物三位结构的丰富信息，这种方法不仅适用于运动目标的
检测，还可以在运动目标跟踪方面使用，甚至在摄像头存在运动的情况下也能检测出独
立运动的目标。但是在实际的应用中，由于遮挡、多光源、透明性及噪声等原因，使得
光流场基本方程—灰度守恒的假设条件无法满足，不能正确求出光流场，计算方也相当
复杂，计算量巨大，不能满足实时的要求。
总之，现有的算法多是针对某特定的场合提出的，各有特点，这些算法中也仍有许
多值得改进的地方，有的算法在检测的精确方面需要改进，有的算法在计算量等方面需
要改进等。经过了多年的发展，到目前为止对目标检测的研究仍面临许多没有很好解决
的问题。
2.3运动目标跟踪常用算法
目标跟踪技术是视频图像分析的一个关键技术，在安全监控、辅助驾驶、运动分析以及视频压缩等领域中有着广泛的应用[33]。近年来大多方法是基于目标表面特征的跟踪，即首先在每帧图像中寻找与目标表面模型最相似的区域，然后在下一帧图像中寻找目标位置，一般利用全局的搜索方法总能找到。整个跟踪过程要求能够实时的跟踪视频场中的运动目标，而被跟踪的目标常常由于运动速度快、变形、周围环境干扰等各种因素的影响，因此要获得较好的实时性、是比较困难的。
目标跟踪时，目标本身以及目标所处的环境都会影响到目标跟踪算法的性能，例如目标大小是否变化，目标形态是否变化，背景是否复杂，运动是平缓还是剧烈，摄像机是否运动等。根据不同的情况，众多的研究人员已经提出了多种不同的跟踪算法。这些算法主要分为基于模型的方法、基于区域的方法、基于特征的方法和基于变形模板的方法等四类。这些方法都有各自的优缺点，在特定的场景下可以获得到较好的跟踪效果。
2.3.1基于均值漂移目标跟踪算法
均值漂移算法是一种基于特征的运动目标跟踪方法[34]。是由Fukunaga等人在上个世纪70年代首先提出的一种非参数概率密度梯度估计算法，但是迟迟没有得到应用，直到上世纪90年代中期Cheng改进了均值漂移算法中最重要的部分—核函数及权重函数，并将其应用于聚类和全局最优化，才扩大了均值漂移算法的适用范围。由于均值漂移算法完全依靠特征空间中的样本点进行分析，不需要任何的先验知识，收敛速度快，近年来被广泛的应用于图像分割和跟踪等领域。
该算法的基本思想是：通过反复迭代搜索特征空间中样本点最密集的区域，搜索点沿着样本密度增加的方向漂移到局部密度最大值。均值漂移算法原理简单、迭代效率高，但是迭代过程中搜索区域大小对算法的准确性和效率有很大的影响。
均值漂移是一种基于非参数的核密度估计理论，是在概率空间中求解概率密度极值的优化算法，通过对目标点赋大权值，对非目标点赋小权值，使目标区域成为密度极值区，从而将目标跟踪同均值漂移算法联系起来。均值漂移向量的方向和密度梯度估计的方向一致，使跟踪窗向密度增大最大的方向漂移，并且它的大小和密度估计成反比，是一种变步长的跟踪算法。
2.3.2基于卡尔曼滤波目标跟踪算法
1960年，匈牙利数学家RudolfEmil Kalman，发表了他著名的用递归方法解决离散数据线性滤波问题的论文。从那以后，得益于数字计算技术的进步，Kalman(卡尔曼)滤波器己成为推广研究和应用的主题，尤其是在自主或协助导航领域[35,36]。
卡尔曼滤波器由一系列递归数学公式描述。它们提供了一种高效可计算的方法来估计过程的状态，并使估计均方误差最小。卡尔曼滤波器应用广泛且功能强大：它可以估计信号的过去和当前状态，甚至能估计将来的状态，即使并不知道模型的确切性质。
卡尔曼滤波器是一个对动态系统的状态序列进行线性最小方差估计的算法，具有计算量小，可实时计算的特点，通常被用来对跟踪目标运动状态进行预测，可以减少搜索区域的大小，提高跟踪的实时性以及准确性。均值漂移算法作为一种高效的匹配算法，已经被成功运用的目标跟踪领域。该算法利用梯度优化实现快速目标定位，能够对非刚体目标实时跟踪，对目标的变形、旋转等有较好的适用性，但是当周围场景存在干扰时，仅使用均值漂移算法容易造成目标丢失。在跟踪目标被严重遮挡或干扰时，均值漂移算法无法跟踪目标时，卡尔曼滤波能够较好的预测目标的速度和位置。
卡尔曼滤波器是一个最优化自回归数据处理算法。它的广泛应用已经超过30年，包括机器人导航，控制，传感器数据融合甚至在军事方面的雷达系统以及导弹追踪等等。近年来更被应用于计算机图像处理，例如头脸识别，图像分割，图像边缘检测等等。2.3.3基于特征的目标跟踪算法
基于特征的目标跟踪方法是指根据目标的一些有用特征信息利用某种匹配算法在序列图像中寻找目标，进而跟踪运动目标[37,38]。该算法的实现通常分为三步：第一步，根据目标检测结果抽取目标的显著特征，如拐角、边界、有明显标记的区域、颜色等。第二步，在连续帧图像上寻找特征点的对应关系，也称为特征匹配。第三步，根据某种相似性度量方法，确定在当前帧中目标的最佳位置。
区域特征是最常用的匹配特征之一。区域特征包括目标区域信息、边缘信息、灰度分布信息、纹理特征等，由于包含了大量的目标信息，因此能在一定程度上排除背景干扰，但也导致计算量很大。基于区域特征匹配的跟踪算法非常适合于室外的目标跟踪，其最典型的算法是模板相关匹配算法。颜色，直方图以及最小外接矩形框也是最常用的跟踪特征。
3 基于帧间差分法运动目标检测的研究
3.1 帧间差分法运动目标检测流程
利用帧间差分法实现运动目标检测是根据比较相邻图像之间的变化来实现的[39]。方
法简单明了，主要利用视频序列中连续的两帧或几帧图像的差异来进行目标检测和提
取。一个最基本的帧间差分法的基本过程如图3.1所示。
图3.1 帧间差分法基本流程
图3.1中首先第k 帧图像k f 经过延时处理得到第k-1帧图像1-k f ，接着将两帧图像进行
差分得到差分图像k D 。其次对差分后的图像k D 进行二值化以及形态学滤波处理得到了
二值化图像。最后经过连通性检测并对二值化图像进行判别进而达到了运动目标检测的
目的。
3.2 帧间差分法运动目标检测过程及原理
3.2.1 RGB 图像转换为灰度图像
RGB 图像也称为真彩图像，分别用红、绿、蓝三个色度值为一组，代表每个像素的
颜色。这些色度值直接存在图像数组中，而不使用调色板。RGB 图像是24位图像，其中
红、绿、蓝分量分别占用8位，因而图像理论上可以包含224种不同的颜色。
灰度图像是包含灰度级（亮度）的图像。在matlab 中，灰度图像是由一个uint8、uint16
或一个双精度类型的数组来描述。灰度图像保存在一个矩阵中，矩阵中的每一个元素代
表一个像素点。元素的数值代表一定范围内的灰度，通常0代表黑色，1、255代表白色。
由于灰度图像存储时不使用调色板，因而matlab 将使用一个默认的系统调色板来显示图
像。在运用帧间差分法检测运动目标的过程中需要将真彩图像转换为灰度图像。
彩色图像每个像素点在RGB 空间中是一个三维矢量，每个分量分别代表红、绿、蓝
三种颜色的灰度。最简单的将彩色图像转换成灰度图像的方法是将这三个分量取平均
值。但是这种方法和人眼视觉感知不符。人眼感知红、绿、蓝三种颜色的权重是不一样
的。JPEG 图像压缩格式采用的是YUV 空间，YUV 空间是RGB 空间的线性变换。转换公
式是：
????
????????????????----=??????????B G R V U Y 0813.04186.0500.0500.03316.0169.0144.0587.0299.0 （3.1） R 、G 、B 分别表示红、绿、蓝三种颜色分量的灰度值。Y 分量表示图像的亮度，这
是符合人眼对颜色感知的。我们就以Y 分量作为图像像素的灰度。将彩色像素转换为灰
度像素的公式为：
B G R GRAY 114.0587.0299.0++= （3.2）
遍历彩色图像的每一个像素矢量，设矢量的红、绿、蓝三色分量值为R 、G 、B ，输
出的灰度图像的对应像素的值就变为为0.299R+0.587G+0.114B ， 彩色图像则转换为灰
度图像。
3.2.2 图像差分处理
差分是面向像素级的变化像素检测，可以分为连续帧间差分和背景差分。连续帧间
差分处理是将连续两帧进行比较，从中提取出运动目标的信息，见公式（3.3）。
),(),(),(1y x f y x f y x D k k k --= （3.3）
如公式（3.3）所示，将连续两帧图像做减法，便得到了差分后的图像，从而提取出
运动目标。
公式（3.3）中k f 是第k 帧图像，k B 是背景图像，第k 帧图像与背景图像的差即为
差分后的图像k D 。
3.2.3 差分图像二值化
运动目标的视频序列图像进行差分后，要对差分图像进行二值化处理，逐点检测判
断背景与运动目标，这是基于像素级的检测。传统的二值亿方法是设定固定的阈值T ，
当差分值小于阈值T 时，将其判为背景像素，反之则为目标像素，见公式（3.4）。
???=motion
background y x f t ),(T y x f T y x f ≥<),(),( （3.4）
如公式（3.4）所示，我们认为当差分图像中某一像素值的差大于某一给定的阈值T
时，该像素为目标像素，即认为该像素可能为目标上的一点，反之则认为是背景像素图。
阈值的大小是由经验值确定的，在不同的环境条件下，阈值不是固定的，所以简单
的给定阅值的方法是不可取的。人们将分割的方法引入差分图像的二值化处理问题中，
希望通过分割算法能够自动选取合适的闽值将差分图像分成目标与背景两类。如kim 等
采用自适应阈值分割法[40]。它首先假定差分图像的直方图是三个加权单峰高斯模型混合
而成，那么差分图像的混合概率密度函数为：
??
????--+??????--+??????--=2323332222222121112)(exp 22)(exp 22)(exp 2)(σμσπωσμσπωσμσπωd d d d P （3.5） 公式（3.5）中，i ω为差值数量，i μ为单高斯模型的均值，i σ为均值的标准差。这
样阈值问题变成了寻找1θ和2θ划分三个高斯模型。由于是差分图像，θ∈[255，255]，
阈值出现在两个模型的交叉点上或者说是两峰之间的谷底。由于对称性，1θ=θ，2θ=θ。
公式（3.5）所示的求阈值的方法很有效，但是这种方法需要建立高斯模型，为了找出使
均方误差最小的θ，需要遍历地对于每一个θ求取三组ω，μ，σ以及最小均方误差e ，
计算量非常大，不利于实时检测。
本文中采用最大类间方差分割法，这是一种比较简单，使用范围较广，受到普遍欢
迎的阈值选取算法[41,42]。最大类间方差分割法是由Ostu 在最小二乘法原理的基础上推导
得出的。
首先，如果图像的灰度级范围是0，1，2，…，L-1，设灰度级i 的像素点个数为i m ，
图像的像素点的总数为∑-=1
0L i m M ,则第i 级灰度级的出现概率i p 就被定义为：
M m p i i = （其中110=∑-L i p ） （3.6） 在最大类间方差分割方法中，阈值t 把图像的像素分为),,1,0(0t C =和
)1,,1,1(1-++=L t t C 两类（分别代表目标与背景）
。 那么，0C 和1C 类出现概率及均值分别为：
)(00t p t
i i ωω==∑= （3.7） )(1111t p
L t i i ωω-==
∑-+= （3.8）
)
()(000t t ip t i i ωμωμ==∑= （3.9）
)(1)()(1111t t t ip T L t i i ωμμωμ--==
∑-+= （3.10） 其中∑==t i i ip t 0
)(μ，∑-==1
0)(L i i T ip t μ 0C 和1C 类的方差为：
∑=-=t i i p i t 00
202
)()(ωμσ （3.11） ∑-+=-=
1112121)()(L t i i p i t ωμσ （3.12）
类间方差为： 2112002)(σωσωσω+=t （3.13）
类内方差为：
2112002)()()(T T B t μμωμμωσ-+-= （3.14）
总体方差为：
222)(ω
σσσ+=B T t （3.15） 引入关于t 的等价判决准则函数：
22)(ω
σσηB t = （3.16） 最优阈值*t 通过等价判决准则的最大值得到：
)(max arg )
1,0(t t L t η-∈*= （3.17） 从推导中可以看出，在这个最优阈值下，公式（3.17）达到最大值时，公式（3.16）
的分子——类内方差最大，分母——类间方差最小。也就是，通过这个阈值的设定将图
像分割成的运动目标和背景两类像素。
尽管最大类间方差分割法同样是遍历地求取方法，为了找到使公式（3.17）达到最
大值，对所有的t 都要进行运算，但是这种方法比自适应阅值分割法计算量要小得多。 它有以下的优点：
1、它将差分图像取绝对值，那么所需要遍历的值的范围缩小一半。
2、它将差分值分成两类，每次求两类的均值和方差，比起三高斯模型求三组均值和
方差，计算量减小三分之一。
3、自适应阈值分割法存在误判，所找的使均方误差最小的口，与模型的谷底不对应，
而最大类间方差分割法总能够找到t 使类间方差达到最大值从而将差分值合理地分成了
两类（背景与运动目标）。
3.2.4 形态学滤波
二值化以后的图像为往往会含有许多孤立的点、孤立的小区域、小间隙和孔洞，为
了解决阈值分割后的差分图像可能会存在这些的问题，我们使用了数学形态学图像滤波
处理[43]。
形态学一般指生物学中研究动物和植物结构的一个分支，后来人们用数学形态学表
示以形态为基础对图像进行分析的数学工具。数学形态学的基本思想是用具有一定形态
的结构元素去量度和提取图像中的对应形状以达到对图像分析和识别的目的。该技术一
般以二值图像为处理对象，但也可以用在某些灰度图像的应用中。
基本的形态学运算是腐蚀和膨胀，腐蚀（Erosion ）是消除目标图像中的无用点（或
孤立噪声点）的一个过程， 其结果使得剩下的目标比处理前少了一些像素。一般意义
的腐蚀定义是：
X 用B 来腐蚀记为B X ?定义为：
?
??????=?=∧X B y x B X E y x ,),( （3.18） 如公式（3.18）所示腐蚀过程可以描述如下：B 平移（x ，y ）后仍在集合X 中的结
构元素参考点的集合。换句话说，用B 来腐蚀X 得到的集合是B 完全包括在集合X 中
时B 的参考点位置的集合。
膨胀（Dilation ）是腐蚀运算的对偶运算（逆运算），它是将与目标接触的所有点合
并到该目标的过程，过程的结果是使目标的面积增加了相应数量的像素。膨胀在填补分
割后目标中的孔洞很有用。
X 用B 来膨胀记为B X ⊕定义为：
?
????????????=⊕=∧X X B y x B X D y x ,),( （3.19） 膨胀过程可以描述如下：用B 来膨胀X 得到的集合雪的位移与集合X 至少有一个
非零元素相交时结构元素B 的参考点位置的集合。
运动目标检测光流法
摘要 运动目标检测方法是研究如何完成对视频图像序列中感兴趣的运动目标区域的“准确定位”问题。光流场指图像灰度模式的表面运动，它可以反映视频相邻帧之间的运动信息，因而可以用于运动目标的检测。MATLAB这种语言可移植性好、可扩展性强，再加上其中有丰富的图像处理函数，所以利用MATLAB 软件来用光流法对运动目标的检测中具有很大的优势。本设计主要可以借助matlab软件编写程序，运用Horn-Schunck算法对图像前后两帧进行处理，画出图像的光流场。而图像的光流场每个像素都有一个运动矢量，因此可以反映相邻帧之间的运动，分析图像的光流场就可以得出图像中的运动目标的运动情况。 关键字：光流法；Horn-Schunck算法；matlab
目录 1光流法的设计目的 (1) 2光流法的原理 (1) 2.1光流法的介绍 (1) 2.1.1光流与光流场的概念 (1) 2.1光流法检测运动目标的原理 (2) 2.1.1光流场计算的基本原理 (2) 2.2.2基于梯度的光流场算法 (2) 2.2.3Horn-Schunck算法 (3) 2.2.4光流法检测运动目标物体的基本原理概述 (5) 3光流法的程序具体实现 (6) 3.1源代码 (6) 3.1.1求解光流场函数 (6) 3.1.2求导函数 (9) 3.1.3高斯滤波函数 (9) 3.1.4平滑性约束条件函数 (10) 3.1.5画图函数 (10) 4仿真图及分析 (12) 结论 (13) 参考文献 (14)
1 光流法的设计目的 数字图像处理，就是用数字计算机及其他有关数字技术，对图像进行处理，以达到预期的目的。随着计算机的发展，图像处理技术在许多领域得到了广泛应用，数字图像处理已成为电子信息、通信、计算机、自动化、信号处理等专业的重要课程。 数字图像处理课程设计是在学习完数字图像处理的相关理论后，进行的综合性训练课程，其目的是：使学生进一步巩固数字图像处理的基本概念、理论、分析方法和实现方法；增强学生应用Matlab编写数字图像处理的应用程序及分析、解决实际问题的能力；尝试所学的内容解决实际工程问题，培养学生的工程实践能力。 运动目标检测是数字图像处理技术的一个主要部分，近些年来，随着多媒体技术的迅猛发展和计算机性能的不断提高，动态图像处理技术日益受到人们的青睞，并且取得了丰硕的成果，广泛应用于交通管理、军事目标跟踪、生物医学等领域。 因此，基于光流法，实现运动目标的检测是本文的研究对象。结合图书馆书籍、网上资料以及现有期刊杂志，初步建立起运动目标检测的整体思路和方法。 2 光流法的原理 2.1 光流法的介绍 2.1.1 光流与光流场的概念 光流是指空间运动物体在观测成像面上的像素运动的瞬时速度，它利用图像序列像素强度数据的时域变化和相关性来确定各自像素位置的“运动”，即反映图像灰度在时间上的变化与景物中物体结构及其运动的关系。将二维图像平面特定坐标点上的灰度瞬时变化率定义为光流矢量。视觉心理学认为人与被观察物体
目标跟踪的研究背景意义方法及现状
目标跟踪的研究背景意义方法及现状 1目标跟踪的研究背景及意义 (1) 1.1电视监控 (2) 1.2视频压缩编码 (2) 1.3智能交通系统 (2) 1.4人机交互 (3) 2研究现状及研究面临的问题 (3) 2.1研究现状 (3) 2.2研究面临的难题 (4) 3目标跟踪的主要方法 (4) 3.1基于检测的方法 (5) 3.2基于识别的方法 (5) 1目标跟踪的研究背景及意义 感觉是人类与外界联系的窗口和交流的桥梁，它的主要任务是识别周边物体，判断与这些物体之间的联系，使人类的思维与周围世界建立某种对应的关系。而视觉系统是人类感觉的最主要来源，是获取外界信息的最主要途径，它是一种高清晰度的媒介，为人类提供着丰富的外界资源信息。据统计，大约有80%的外界信息是通过眼睛被人接收的。然而，由于人类的精力毕竟是有限的，人类的视野也是有限的，所以人类的视觉在各种领域的应用都受到很大限制甚至是低效的。 因而，随着数字计算机技术的飞速发展，让计算机能够处理视觉信息、完善人类视觉上的诸多短板就成了一项非常诱人的研究课题，也因此推动了计算机视觉这一学科的产生和发展。计算机视觉是融合了图像处理、计算机图形学、模式识别、人工智能、人工神经网络、计算机、心理学、物理学和数学等领域的一门交叉性很强的学科。计算机视觉研究的目的是使计算机感知环境中的物体的几何信息，包括它的形状、位置、姿态、运动等，并对其进行描述、存储、识别与理解，因此成为当今最热门的课题之一。 运动目标跟踪属于视频分析的内容，而视频分析则融合了计算机视觉研究领域的中层和高层处理阶段，即对图像序列进行处理，从而研究运动目标的规律，或者为系统的决策报警提供语义和非语义的信息支持，包括运动检测、目标分类、目标跟踪、行为理解、事件检测等。视频目标跟踪方法的研究和应用作为计算机视觉领域的一个重要分支，正日益广泛地应用到科学技术、国防建设、航空航天、医药卫生以及国民经济的各个领域，因而研究目标跟踪技术有着重大的实用价值
目标跟踪算法的分类
目标跟踪算法的分类
主要基于两种思路： a)不依赖于先验知识，直接从图像序列中检测到运动目标，并进行目标识别，最终跟踪感兴趣的运动目标； b)依赖于目标的先验知识，首先为运动目标建模，然后在图像序列中实时找到相匹配的运动目标。 一．运动目标检测 对于不依赖先验知识的目标跟踪来讲，运动检测是实现跟踪的第一步。运动检测即为从序列图像中将变化区域从背景图像中提取出来。运动目标检测的算法依照目标与摄像机之间的关系可以分为静态背景下运动检测和动态背景下运动检测 （一）静态背景 1.背景差 2.帧差 3.GMM 4.光流 背景减算法可以对背景的光照变化、噪声干扰以及周期性运动等进行建模，在各种不同情况下它都可以准确地检测出运动目标。因此对于固定
个关键技术： a)匹配法则，如最大相关、最小误差等 b)搜索方法，如三步搜索法、交叉搜索法等。 c) 块大小的确定，如分级、自适应等。 光流法 光流估计的方法都是基于以下假设：图像灰度分布的变化完全是目标或者场景的运动引起的，也就是说，目标与场景的灰度不随时间变化。这使得光流方法抗噪声能力较差，其应用范围一般局限于目标与场景的灰度保持不变这个假设条件下。另外，大多数的光流计算方法相当复杂，如果没有特别的硬件装置，其处理速度相当慢，达不到实时处理的要求。 二．目标跟踪 运动目标的跟踪，即通过目标的有效表达，在图像序列中寻找与目标模板最相似候选目标区位置的过程。简单说，就是在序列图像中为目标定位。运动目标的有效表达除了对运动目标建模外，目标跟踪中常用到的目标特性表达主要包括视觉特征 (图像边缘、轮廓、形状、纹理、区域)、统计特征 (直方图、各种矩特征)、变换系数特
基于模板匹配的目标跟踪技术研究与实现
目录
基于模板匹配的目标跟踪技术研究与实现 摘要：视频目标跟踪是计算机视觉领域中一个非常活跃的研究领域，近年来已经逐渐成为学者们研究的热点。本文主要对模板匹配算法在目标跟踪领域中的应用进行研究，并对跟模板匹配目标跟踪相关的一些技术问题进行了深入的探讨。在Visualstudio2008开发环境下结合MFC和开源计算机视觉库（OpenComputerVision，OpenCV）用程序语言实现基于模板匹配的目标跟踪算法，并在图像序列上对模板匹配跟踪算法在降低复杂度和抗目标旋转方面的有效性进行了验证。 关键词：Visualstudio2008；OpenCV；模板匹配；角度旋转匹配；目标跟踪
DesignandImplementationofTemplatematchingandtrackingby usingOPENCV Abstract:Videoobjecttrackingisaveryactivefieldofresearchinthefieldo fcomputervision,,(OpenComputerVision,OpenCV)trackingalgorithmfor templatematchingbasedobjectlanguage,andmatchingtrackingalgorithmisv erifiedeffectiveinloweringthecomplexityandantirotationtargettemplat einimagesequences. Keywords:Visualstudio2008;OpenCV;templatematching;rotationmatching；Objecttracking
基于opencV的动态背景下运动目标检测及跟踪(修改版)
基于openCV的动态背景下的运动目标检测 摘要：介绍在动态背景下对视频图像序列进行运动目标的检测，主要包括三个步骤，分别是运动估计，运动补偿和目标检测。在运动估计中采用的主要是基于特征点匹配算法。这种算法与传统的块匹配算法最大的好处在于它的数据量少，计算简单迅速而且图像的匹配可靠性更高。最后用计算机视觉类库openCV进行实现。 关键词：运动目标检测；openCV；特征点匹配 Moving Object Detection in the Dynamic Background Based on openCV Abstract：Introducing a moving object detection algorithm of the dynamic background in the video image sequence，which includes three steps. They are motion estimation, motion compensation and object detection. At the motion estimation, we take an algorithm based on the feature points matching. The advantages of this algorithm is that it needs fewer data and indicates faster calculating speed compared to the block matching algorithm. What’s more, the matching of the video image sequence is more reliable. Then used openCV realized the algorithm. Keywords: moving object detection; openCV; feature points matching 引言 在生活中摄像头可以说随处可见，我们经常需要对视频中的运动目标进行相关操作，这就设涉及到了对运动目标的检测及跟踪。作为视觉领域的一部分，它不仅对我们的生活，在军事，医学等各种领域里都有着广泛的影响。 所谓运动目标的检测就是在一段序列图像中检测出变化区域，并将运动目标从背景图像中提取出来[2]，它是基础，能否正确的检测与分割出运动目标对后续的工作有着巨大的影响。常见的运动目标检测方法有：背景差分法，帧差法，累积差分法，光流法。本文主要介绍的是一种在动态背景下对运动目标进行检测的算法。 检测算法介绍 检测算法有很多种，不同的算法有他们各自的利与弊。背景差分法：是事先将背景图像存储下来，再与观测图像进行差分运算，实现对运动区域的检测。这种方法能得到较为完整的运动目标信息，但背景图像必须随着外部条件比如光照等的变化而不断更新，所以背景模型的获取和更新比较麻烦。帧差法：直接比较相邻两帧图像对应像点的灰度值的不同，然后通过阈值来提取序列图像中的运动区域[2]。这种方法更新速度快，算法简单易实现，适应性强，不需要获取背景图像。但是背景与运动目标间需要有一定程度的灰度差，否则可能在目标内部产生空洞，不能完整的提取出运动目标。为了改进相邻两帧间的差分效果，人们提出了累积差分法。累积差分法是利用三帧图像计算两个差分图像，再令其对应像素相乘的算法。它通过分析整个图像序列的变化来检测小位移或缓慢运动的物体。光流法是在时间上连续的两幅图想中，用向量来表示移动前后的对应点，在适当平滑性约束的条件下，根据图像序列的时空梯度估计运动场，通过分析运动场的变化对运动目标和场景进行检测和分割。 上面的几种算法都是基于静态背景下的方法，下面主要介绍动态背景下运动目标的检测。 因为生活中我们在很多情况下背景图像都不是静态的，有时摄像机都是安装在一个运动
运动目标检测方法总结报告
摘要 由于计算机技术的迅猛发展，使得基于内容的视频信息的存取、操作和检索不仅成为一种可能，更成为一种需要。同时，基于内容的视频编码标准MPEG-4和基于内容的视频描述标准MPEG-7正在发展和完善。因此提取和视频中具有语义的运动目标是一个急需解决的问题。运动目标提取和检测作为视频和图像处理领域的重要研究领域，有很强的研究和应用价值。运动检测就是将运动目标从含有背景的图像中分离出来，如果仅仅依靠一种检测算法，难以从复杂的自然图像序列中完整地检测出运动的目标。较高的检测精度和效率十分重要，因此融合多种检测方法的研究越来越受到重视。本文介绍了几种国内外文献中的经典的视频运动目标的检测和提取算法，并对各种方法进行了评价和总结。首先介绍了基本的运动目标检测的基本知识和理论，然后介绍了基本的几种目标检测方法及其各种改进方法。对今后的运动目标检测提取的相关研究提供一定的参考。 关键词：运动目标检测光流法帧差法背景建模方法
ABSTRACT Because of the rapid development of computer technology, it is possible to access, operate and retrieve the video information based on the content of the video. At the same time, based on the content of the video coding standard MPEG-4 and content-based video description standard MPEG-7 is developing and improving. Therefore, it is an urgent problem to be solved in the extraction and video. Moving object extraction and detection is a very important field of video and image processing, and has a strong research and application value. Motion detection is to separate moving objects from the image containing background, if only rely on a detection algorithm, it is difficult to from a complex natural image sequences to detect moving target. Higher detection accuracy and efficiency are very important, so the study of the fusion of multiple detection methods is becoming more and more important. In this paper, the detection and extraction algorithms of the classical video moving objects in the domestic and foreign literatures are introduced, and the methods are evaluated and summarized. Firstly, the basic knowledge and theory of basic moving target detection is introduced, and then the basic method of target detection is introduced. To provide a reference for the research on the extraction of moving target detection in the future. Keywords: Visual tracking Optical flow method Frame Difference Background modeling method
智能机器人运动控制和目标跟踪
XXXX大学 《智能机器人》结课论文 移动机器人对运动目标的检测跟踪方法 学院（系）： 专业班级： 学生学号： 学生姓名： 成绩：
目录 摘要 (1) 0、引言 (1) 1、运动目标检测方法 (1) 1．1 运动目标图像HSI差值模型 (1) 1.2 运动目标的自适应分割与提取 (2) 2 运动目标的预测跟踪控制 (3) 2．1 运动目标的定位 (3) 2．2 运动目标的运动轨迹估计 (4) 2．3 移动机器人运动控制策略 (6) 3 结束语 (6) 参考文献 (7)
一种移动机器人对运动目标的检测跟踪方法 摘要：从序列图像中有效地自动提取运动目标区域和跟踪运动目标是自主机器人运动控制的研究热点之一。给出了连续图像帧差分和二次帧差分改进的图像HIS 差分模型，采用自适应运动目标区域检测、自适应阴影部分分割和噪声消除算法，对无背景图像条件下自动提取运动目标区域。定义了一些运动目标的特征分析和计算 ，通过特征匹配识别所需跟踪目标的区域。采用 Kalrnan 预报器对运动目标状态的一步预测估计和两步增量式跟踪算法，能快速平滑地实现移动机器人对运动目标的跟踪驱动控制。实验结果表明该方法有效。 关键词：改进的HIS 差分模型；Kahnan 滤波器；增量式跟踪控制策略。 0、引言 运动目标检测和跟踪是机器人研究应用及智能视频监控中的重要关键技术 ，一直是备受关注的研究热点之一。在运动目标检测算法中常用方法有光流场法和图像差分法。由于光流场法的计算量大，不适合于实时性的要求。对背景图像的帧问差分法对环境变化有较强的适应性和运算简单方便的特点，但帧问差分不能提出完整的运动目标，且场景中会出现大量噪声，如光线的强弱、运动目标的阴影等。 为此文中对移动机器人的运动目标检测和跟踪中的一些关键技术进行了研究，通过对传统帧间差分的改进，引入 HSI 差值模型、图像序列的连续差分运算、自适应分割算法、自适应阴影部分分割算法和图像形态学方法消除噪声斑点，在无背景图像条件下自动提取运动 目标区域。采用 Kalman 滤波器对跟踪目标的运动轨迹进行预测，建立移动机器人跟踪运动 目标的两步增量式跟踪控制策略，实现对目标的准确检测和平滑跟踪控制。实验结果表明该算法有效。 1、运动目标检测方法 接近人跟对颜色感知的色调、饱和度和亮度属性 (H ，S ，I )模型更适合于图像识别处理。因此，文中引入改进 型 HSI 帧差模型。 1．1 运动目标图像HSI 差值模型 设移动机器人在某一位置采得的连续三帧图像序列 ()y x k ,f 1-，()y x f k ,，()y x f k ,1+
运动目标图像的识别与跟踪
运动目标图像的识别与跟踪 本文主要目的是将视频摄像头中的运动目标从背景中提取出来，并加以跟踪。首先考虑的是常见的目标检测的算法，其次考虑对于噪声的滤除，最后是对运动目标的跟踪。 一、基本目标检测算法 我们主要考虑的目标检测的算法主要有三种，光流场法、背景模型法以及时域差分法。 1.1光流场法 光流主要是图像亮度模式的表现运动。而光流场则是指灰度模式的表面运动。一般条件下，我们可以根据图像的运动，进行估算相对运动。 光流场法的基本理论是光流场基本方程： 0=++t y x I vI uI (1.1) 式中我们根据亮度守恒，利用泰勒公式展开，忽略高阶项与二次项。其中x I 、y I 和t I 是图像在对数轴x 、y 两个方向和t 的的导数，()v u ,就是这个点的光流坐标。 光流场法的目标检测，在摄像机运动时候也可以做出判断，但是图像的噪声太过明显，使得计算数据庞杂，计算的公式更加复杂，这样并不适合我们的对于目标跟踪的高精度的摄像系统。 1.2背景模型法 背景模型法，也被称为背景差法，主要利用当前的图像和背景的图像的二值化做差，然后取阈值，分割运动目标。 首先根据： ()()()y x b y x f y x D t t t ,,,-= (1.2) 我们可以得到当前的图像帧数()y x f t ,和背景图像的帧数),(y x b t 做差，然后以公式对图像进行二值化的处理。 ???≤>=)(,0)(,1),(BackGround T D ForeGround T D y x P t t t (1.3) 上面),(y x P t 是二值化模板图。假设某一区域大于一个给定的面积的时候，该区域就是我们要找的目标区域。 背景模型法的算法简单，可以快速反应，并且可以提供运动目标的大略特征等数据。但是对于复杂背景下，比如人流较大的公共场所，或者有光照等干扰时，就需以其他的算法以不断更新背景信息来进行弥补。
视频图像中运动目标检测
视频图像中运动目标检测
毕业论文 题目视频图像中运动目标检测 方法研究 专业电气工程及其自动化 班级电气1003 学生曹文 学号20113024543 指导教师赵哥君 二〇一二年六月八日
摘要 在很多现代化领域，运动目标检测都显示出了其重要的作用。尤其是近二十年的社会经济的飞速发展，运动目标检测都彰显了其重要性，在航空、通信、航海等各个方面都有关键性的作用，从而使运动目标检测方法的研究成为各国的研究热门课题。 通过阅读大量的相关论文、期刊及其网络资源，了解了高斯背景建模及背景更新的基本原理及思想。在本文中，首先介绍了运动目标检测方法的相关基础知识，如图像的二值化、图像的形态学处理、颜色空间模型。然后重点说明了三种常用的运动目标检测方法的研究，简要阐述了三种研究方法的基本思想。在老师的帮助下进行了相应的实验，最终得出了三种运动目标检测方法的优点和缺点，着重探究了高斯背景建模及其背景更新基本原理及思想。 最后，通过相关的程序及软件对混合高斯背景模型进行了相关的实验，进而发现了混合高斯背景建模算法存在的不足之处，如：高斯背景建模的计算量大、运动目标较大时检测效果差等问题，并对对这些问题提出了相关设想及改进。 关键词：运动目标检测；二值化；图像的形态学处理；高斯背景建模；背景更新 I
ABSTRACT In many modern fields, moving target detection are showing its important role. Especially nearly twenty years of rapid development of social economy, the moving target detection has shown its importance, in various aviation, communication, navigation and so on have a key role, so the study of moving target detection method has become a research hot topic in countries. By reading relevant papers, a large number of journals and cyber source, understand the basic principle and thought of Gauss background modeling and updating the background. In this paper, firstly introduces the basic knowledge of moving target detection method, such as the two values image, morphological image processing, color space model. Then focus on the study of three methods used for moving object detection, a brief description of the basic ideas of the three kinds of research methods. By the experiment, the results of three kinds of method of moving target detection has advantages and disadvantages, this paper emphatically explores Gauss background modeling and background updating basic principle and thought. Finally, through the program and software related to mixed Gauss background model for the relevant experiments, and found the shortcomings, the presence of mixed Gauss background modeling algorithm such as: the problem of computing Gauss background modeling, moving target volume larger detection effect is poor, and on these problems put forward relevant ideas and improvement. Keywords: moving object detection; two values; I I
基于opencv的运动目标检测和跟踪
本科毕业论文
(科研训练,毕业设计)
题
目: opencv 的运动目标检测
姓 学
名:汤超 院:信息科学与技术学院 系:电子工程系
专 年 学
业:电子信息工程 级:2005 号:22220055204057 职称:教授
指导教师(校内) :杨涛
2009 年
5 月
25 日
厦门大学电子工程系 2005 级本科毕业论文 -
基于 opencv 的运动目标检测和跟踪
摘要
Opencv(Open Source Computer Vision Library)是一种用于数字图像处理和计算机视 觉的函数库,由 Intel 微处理器研究实验室(Intel's MicroprocessorResearch Lab)的视 觉交互组(The Visual Interaetivity Group)开发.采用的开发语言是 C++,可以在 window: 系统及 Linux 系统下使用,该函数库是开放源代码的,能够从 Intel 公司的网站免费下载 得到.opencv 提供了针对各种形式的图像和视频源文件(如:bitmap 图像,video 文件和实 时摄像机)的帧提取函数和很多标准的图像处理算法,这些函数都可以直接用在具体的视频 程序开发项目中. 针对在背景中检测出运动目标并实施警戒等特定提示,本文利用 opencv 的运动物体 检测的数据结构,函数以及基本框架,建立了一个由人机交互界面模式.实施对物体的检 测.该方面在安防方面已经很受重视.相信在不久的将来将会成为一种监督秩序的方式.
关键字 视频,运动目标检测,帧差分
雷达机动目标跟踪技术研究精编
雷达机动目标跟踪技术 研究精编 Document number：WTT-LKK-GBB-08921-EIGG-22986
1 绪论 课题背景及目的 目标跟踪问题实际上就是目标状态的跟踪滤波问题，即根据传感器已获得的目标量测数据对目标状态进行精确的估计[1]。它是军事和民用领域中一个基本问题，可靠而精确地跟踪目标是目标跟踪系统设计的主要目的。在国防领域，目标跟踪可用于反弹道导弹的防御、空防预警、战场区域监视、精确制导和低空突防等。在民用领域，则用于航空和地面交通管制、机器人的道路规划和障碍躲避、无人驾驶车的跟踪行驶、电子医学等。作为科学技术发展的一个方面，目标跟踪问题可以追溯到第二次世界大战的前夕，即1937年世界上出现第一部跟踪雷达站SCR-28的时候。之后，许多科学家和工程师一直努力于该项课题的研究，各种雷达、红外、声纳和激光等目标跟踪系统相继得到发展并且日趋完善。 运动目标的机动会使跟踪系统的性能恶化，对机动目标进行跟踪是人们多年来一直关注的问题。随着现代航空航天技术的飞速发展，机动目标在空间飞行的速度、角度、加速度等参数不断变化，使得目标的位置具有很强的相关性，因此，提高对这类目标的跟踪性能便成为越来越重要的问题，迫切需要研究更为优越的跟踪滤波方法。机动目标的跟踪研究，已成为当今电子战的研
究热点之一。今天，精密跟踪雷达不仅广泛应用于各类武器控制和各类实验靶场，而且还广泛应用于各种空间探测、跟踪和识别领域，以及最先进的武器控制系统。 跟踪模型和匹配滤波是机动目标跟踪的两个关键部分，机动目标的精确跟踪在过去和现在都是一个难题，最根本原因在于跟踪滤波采用的目标动力学模型和机动目标实际动力学模型不匹配，导致跟踪滤波器发散，跟踪性能严重下降。本文将机动目标作为研究对象，从目标的运动建模和匹配滤波算法入手，提出或修正跟踪算法，从而实现对机动目标的精确跟踪。 机动目标跟踪技术及其发展状况 目标机动是指运动当中的目标，其运动方式在不断地发生变化，从一种形式变化为另一种形式，目标的运动可能从匀速到变速，也可能送直线到转弯，它的运动方式并不会从一而终。通俗地说，就是“目标速度的大小和方向发生变化”。 一般情况下，机动目标跟踪方法概括来讲可以分为以下两类：具有机动检测的跟踪算法和无需机动检测的自适应跟踪算法。机动目标的跟踪需要综合运用统计决策、滤波算法以及其它的数学方法，将传感器所接受到的信号数据进行处理，得到目标的位置、速度、加速度等估计信息。图给出了机动目标跟踪的基本原理图。
运动目标检测原理
运动检测（移动侦测）原理 一、引言 随着技术的飞速发展，人们对闭路电视监控系统的要求越来越高，智能化在监控领域也得到越来越多的应用。在某些监控的场所对安全性要求比较高，需要对运动的物体进行及时的检测和跟踪，因此我们需要一些精确的图像检测技术来提供自动报警和目标检测。运动检测作为在安防智能化应用最早的领域，它的技术发展和应用前景都受到关注。 运动检测是指在指定区域能识别图像的变化，检测运动物体的存在并避免由光线变化带来的干扰。但是如何从实时的序列图像中将变化区域从背景图像中提取出来，还要考虑运动区域的有效分割对于目标分类、跟踪等后期处理是非常重要的，因为以后的处理过程仅仅考虑图像中对应于运动区域的像素。然而，由于背景图像的动态变化，如天气、光照、影子及混乱干扰等的影响，使得运动检测成为一项相当困难的工作。 二、运动检测（移动侦测）原理 早期的运动检测如MPEG1是对编码后产生的I帧进行比较分析，通过视频帧的比较来检测图像变化是一种可行的途径。原理如下：MPEG1视频流由三类编码帧组成，它们分别是：关键帧（I 帧），预测帧（P帧）和内插双向帧（B帧）。I帧按JPEG标准编码，独立于其他编码帧，它是MPEG1视频流中唯一可存取的帧，每12帧出现一次。截取连续的I帧，经过解码运算，以帧为单位连续存放在内存的缓冲区中，再利用函数在缓冲区中将连续的两帧转化为位图形式，存放在另外的内存空间以作比较之用，至
于比较的方法有多种。此方法是对编码后的数据进行处理，而目前的MPEG1/MPEG4编码都是有损压缩，对比原有的图像肯定存在误报和不准确的现象。 目前几种常用的方法： 1.背景减除（Background Subtraction ） 背景减除方法是目前运动检测中最常用的一种方法，它是利用当前图像与背景图像的差分来检测出运动区域的一种技术。它一般能够提供最完全的特征数据，但对于动态场景的变化，如光照和外来无关事件的干扰等特别敏感。最简单的背景模型是时间平均图像，大部分的研究人员目前都致力于开发不同的背景模型，以期减少动态场景变化对于运动分割的影响。 2.时间差分（Temporal Difference ） 时间差分（又称相邻帧差）方法是在连续的图像序列中两个或三个相邻帧间采用基于像素的时间差分并且阈值化来提取出图像中的运动区域。时间差分运动检测方法对于动态环境具有较强的自适应性，但一般不能完全提取出所有相关的特征像素点，在运动实体内部容易产生空洞现象。 3.光流（Optical Flow） 基于光流方法的运动检测采用了运动目标随时间变化的光流特性，如Meyer[2] 等通过计算位移向量光流场来初始化基于轮廓的跟踪算法，从而有效地提取和跟踪运动目标。该方法的优点是在摄像机运动存在的前提下也能检测出独立的运动目标。然而，
人形目标检测与跟踪
——人形目标检测与跟踪
一、 本组研究方案，算法系统框图 二、 检测算法、原理、程序实现方法、调试过程 【视频处理】 老师提供的两端视频两段视频并不能直接用来输入OpenCV 所编程序处理，需要将其转化为无压缩的avi 格式。利用软件WinAVI Video Converter ，转换为ZJMedia uncompressed RGB24格式。 【背景建模】 我们小组利用N 帧图像的平均来求取背景，并实时对背景进行更新。由于考虑到ExhibitionHall.avi 视频中运动物体所占场景比例少，运动轨迹为直线，为了处理的简单，所以在这不刻意区分物体和背景像素点。即(1)(1)()()A A A B k B k I k αα+=-+ ，这里的α 很小（0.003） 。 【前景提取】 灰度图像的处理比彩色图像的处理过程简单。我们小组将读入的彩色图像变成灰度图像，并二值化；同样，背景也进行二值化。两者做差值，得到一些离散的黑白点块。也就
是要识别的目标。但是，这样得到的块是分散开的，程序 整的人形被分块识别成多个目标。为此，我们做了一些简 单的后处理。先腐蚀元素，去除不必要的杂点，然后进行 膨胀块处理，自定义块的大小，使其膨胀成能被识别成一 个人形的目标。另外，我们还做个简单的高斯低通滤波， 是得到的结果光滑些。其流程图如右。 【目标检测】 根据前景处理的结果，得到一些连续的块目标。利用帧间差，可以提取出目标的轮廓。根 据轮廓的位置分布，计算出检测目标的形心和大小。并予以标记。 【目标跟踪】 根据目标帧间的位移差值，可以计算出运动目标在x，y方向上的运动速度。可以利用这 个关系判断下一帧目标的位置。设置一个合适的阈值，就可以实现目标的跟踪。在此，我们还 引入了重叠判断机制。如果目标重叠，即通过遍历，发现块重叠大于一定阈值后，根据前面得 到的位置预测判断当前物块位置；如果不重叠，则遍历这幅图像中的所有物块，寻找临近最优 物块，以保持编号连续性。在目标跟踪过程中，还进行了Kalman滤波，对目标轨迹进行滤波 处理。
基于匹配的目标跟踪技术研究与实现
计算机科学与技术学院 毕业设计(论文) 论文题目基于模板匹配的目标跟踪技术研究与实现 指导教师职称讲师 学生姓名学号 专业网络工程班级 系主任院长 起止时间2013年10月11日至2014年5月23日 2014年5月23日
目录
基于模板匹配的目标跟踪技术研究与实现 摘要：视频目标跟踪是计算机视觉领域中一个非常活跃的研究领域，近年来已经逐渐成为学者们研究的热点。本文主要对模板匹配算法在目标跟踪领域中的应用进行研究，并对跟模板匹配目标跟踪相关的一些技术问题进行了深入的探讨。在Visual studio 2008开发环境下结合MFC和开源计算机视觉库（Open Computer Vision，OpenCV）用程序语言实现基于模板匹配的目标跟踪算法，并在图像序列上对模板匹配跟踪算法在降低复杂度和抗目标旋转方面的有效性进行了验证。关键词：Visual studio 2008；OpenCV；模板匹配；角度旋转匹配；目标跟踪
Design and Implementation of Template matching and tracking by using OPENCV Abstract: Video object tracking is a very active field of research in the field of computer vision, in recent years has gradually become the focus of the researchers. This paper mainly studies the matching algorithm in the field of target tracking on the template, and the template matching target tracking with some related technology problems are discussed. The combination of MFC and open-source computer vision library in Visual studio2008 development environment (Open Computer Vision, OpenCV) tracking algorithm for template matching based object language, and matching tracking algorithm is verified effective in lowering the complexity and anti rotation target template in image sequences. Key words: Visual studio 2008; OpenCV; template matching; rotation matching；Object tracking
基于OpenCV的运动目标检测与跟踪
基于VC的运动图像跟踪算法设计 学院自动化学院 专业 班级 学号 姓名 指导教师 负责教师 沈阳航空航天大学 2013年6月
沈阳航空航天大学毕业设计（论文） 摘要 运动目标检测与跟踪作为计算机视觉领域的一个重要分支与基础，在工业、医疗保健、航空航天、军事等各个领域具有广泛的应用前景，一直受到广泛的关注，并成为计算机视觉领域的一个研究热点。但是由于运动目标检测问题本身的复杂性，运动目标的检测与跟踪依然面临着诸多挑战。本文在现有研究成果的基础上，对静态场景下的运动目标检测跟踪进行了深入的讨论。 本文首先对运动目标检测的基本方法----帧间差分法与背景差分法进行了深入的学习和探讨，然后，借助于OpenCV技术，在Visual C++ 6.0编程环境下开发了运动目标检测跟踪系统。该系统首先对采集的视频图像序列进行相关的预处理之后，将视频图像序列中的运动目标比较可靠地检测出来。通过系统的测试结果和数据可以得出结论：本文基于OpenCV设计的运动目标检测跟踪系统具有良好的实时性，能够正确地进行运动目标的实时检测与跟踪。 关键词：运动目标检测；帧间差分法；视频图像；OpenCV
基于VC的运动图像跟踪算法设计 Algorithm Design of Image Motion Tracking Based on VC Abstract Moving target detection and tracking field of computer vision as an important branch of the foundation, in the industrial, healthcare, aerospace, military and other fields with a wide range of applications, has been widespread concern, and the field of computer vision to become a research hotspot. However, due to moving target detection complexity of the problem itself, moving target detection and tracking is still facing many challenges. In this paper, based on the results of existing research in static scenes of the moving target detection and tracking in-depth discussion. This article first basic method of moving target detection - frame difference method and background subtraction method conducted in-depth study and discussion, and then, by means of OpenCV technology, Visual C 6.0 programming environment developed a moving target detection and tracking system. The system and the collection of the associated video sequence after pretreatment, the video image of the moving target sequence comparison reliably detected. Through systematic test results and data can be concluded: Based on OpenCV design moving target detection and tracking system has good real-time, be able to properly carry out real-time moving target detection and tracking. Keywords: moving target detection; frame difference method; video frame; OpenCV