双目视觉下三维人体运动跟踪算法概要
收稿日期:2008206219; 修回日期:2008209224基金项目:国家“863”计划资助项目(2006AA01Z324 ; 西北工业大学研究生创业种子基金资助项目(200850
作者简介:蔡杰(19852 , 男, 河南修武人, 硕士, 主要研究方向为多媒体智能信息处理等(caijie2015@g mail . com ; 郑江滨(19712 , 男, 副教授, 博士, 主要研究方向为计算机视觉、图像/视频及多媒体处理技术等.
双目视觉下三维人体运动跟踪算法
3
蔡杰, 郑江滨
(西北工业大学计算机学院, 西安710072
摘要:由于人体运动的复杂性, 人体运动轨迹的快速改变和人体自遮挡现象经常发生, 这给人体运动跟踪带来了很大的困难。针对此问题提出了一种基于三维Kal m an 滤波器和人体约束的人体运动跟踪算法。该算法首先利用外极线约束和灰度互相关法对二维标记点进行立体匹配, 计算各个标记点的三维位置, 从而构建得到三维标记点; 然后利用三维Kal m an 滤波器对三维标记点进行跟踪; 最后利用人体约束检验和修正跟踪结果。实验结果表明, 该算法能有效地对复杂人体动作进行跟踪并能从跟踪错误中正确恢复。关键词:外极线约束; 三维Kal m an 滤波器; 三维人体运动跟踪; 人体约束
中图分类号:TP391文献标志码:A 文章编号:100123695(2009 0421279203
3D hu man moti on tracking algorithm in binocular ca C A I J ie, ZHE NG J 2bin
(School of Co m puter , N orthw estern Polytechnical U X i
Abstract:It is very difficult t o track hu man moti on 2rap id change in traject ory of hu man mo 2
ti on due t o the comp lexity of hu man moti r using 3D Kal m an filter and hu man constraints t o try t o s olve these p r oble m s in a s ome markers t o the hu man body at key j oints, and initialized 3D Kal m an . t o 3D markers, matched the corres ponding 2D markers of each bin 2ocular i m age on . Thirdly, tracked 3D markers by 3D Kal m an filter . Finally, used hu man constraints t of the tracking results, and revise the tracking err ors . Experi m ental results de monstrate the p r oposed track lex hu man moti on accurately and als o can revise the tracking err ors . Key words:ep restricti on; 3D Kal m an filter; 3D hu man moti on tracking; hu man constraints
引言
近年人体运动跟踪技术被广泛应用到虚拟现实、视频压缩、体育运动分析、人机交互、运动捕捉等领域之中, 成为计算机视觉领域中研究的热点之一。由于人体运动是非刚性的, 人体运动轨迹的快速改变和人体自遮挡现象经常发生, 对人体运动进行准确有效的跟踪是十分困难的。
目前国内外学者已经研究出许多人体运动跟踪算法, 它们大致可分为基于模型的和非基于模型的[1]两类。基于模型的跟踪方法常需要建立人体运动模型库, 来存放人体运动的各种姿势模型及对应的特征参数和运动参数。在跟踪过程中需要在模型库中为跟踪目标选择一个最匹配的模型, 当匹配完成之后, 人体的各种运动参数就可以从库中得到。Huang 等人[2]提出了一种基于模型的人体跟踪算法。首先利用模型估计人体在空间中的姿势, 然后使用遗传算法估计关节点的位置。Sigal 等人[3]提出了一种基于松散连接的人体模型的跟踪算法, 并得到了较好的跟踪结果。Ki m 等人[4]提出了一种基于三维人体模型的跟踪算法。他们使用有着17个关节的三维人体模型和粒子滤波器对人体进行跟踪, 也得到了不错的跟踪结果。而非基于模型的算法常利用图像的一些辅助特征进行跟踪。
Ukida 等人
[5]
利用提取的人体轮廓和安置在人体关节上的彩
色标记点对人体进行跟踪。Chen 等人[6]通过提取人体轮廓和人体约束来对人体进行跟踪。Zhuang 等人[7]利用贴在人体身上的色块对人体进行跟踪。Silaghi 等人[8]通过安置在人体关节的光学标记点进行跟踪。Shen 等人[9]把整个跟踪过程分为宏运动分析和微运动分析, 前者通过分析投影面获得人体姿势; 后者基于不同姿势之间的转换并使用Kal m an 滤波器预测得到运动参数。
目前大多数的跟踪算法在特定条件下有着较好的结果, 但由于人体运动所固有的复杂性, 仍存在一些问题。基于模型的跟踪算法不能为所有类型的动作建立模型, 所以应进行跟踪。由于这些特征极易受人体自遮挡和环境的影响, 算法的鲁棒性较差。
本文提出一种基于三维Kal m an 滤波器和人体约束的平行双目人体运动跟踪算法。该算法将基于模型的方法和非基于模型的方法相结合, 能有效地对复杂人体动作进行跟踪并能从跟踪错误中恢复。
三维人体运动跟踪算法
1立体匹配构建三维标记点
外极线约束方法能有效缩小图像中标记点在另一幅图像
中的搜索范围(从二维降到一维 , 在此基础上, 再使用灰度互
第26卷第4期2009年4月
计算机应用研究
App licati on Research of Computers Vol . 26No . 4Ap r . 2009
相关法对标记点进行匹配, 可得到准确的匹配结果。
11灰度互相关法
假设I 和I ′为待匹配图像, I 为左视图, I ′为右视图, (x, y
为I 中一标记点的位置, (x ′, y ′ 表示I ′中一标记点的位置。对
图像I 和I ′中的每个标记点建立一个以该标记点为中心的匹配模板。然后选择I 中的一个标记点, 将其模板与图像I ′中的候选标记点(满足外极线约束关系的模板进行比较, 利用式
(1 计算两个模板的相关程度。
corr ij =∑k
u =-k ∑k
v =-k [g(x i +u, y i +v -g -
(x i , y i ][g′
(x ′j +u, y ′
j +v -g ′-
(x ′j , y ′
j ]/∑k =-k ∑k v =-k
[g(x i +u, y i +v -g -(x i , y i ]2∑k u =-k ∑k
v =-k
[g′(x ′j +u, y ′j +v -g ′-
(x ′j , y ′j ]
2
(1
其中:(x i , y i 、(x ′i , y ′
分别为图像I
、I ′中标记点的坐标; g 表示图像I 中一点的灰度; g ′表示图像I ′中一点的灰度;
g 和g -
′分别表示模板中所有像素灰度的平均值。
计算标记点(x, y 与图像I ′中候选标记点的相关程度, 由式(2 得到I ′中与(x, y 对应的标记点。
corr i =max j =1, …, n ′
(cor r ij
(2
11匹配准则
假设P 1(x 1, y 1 和P 2(x 2, y 2 是对应匹配点, P 2线为a ?u +b ?v +c =0, 当已知P 1时, P :
(|a ?x 2b |b 2 (3
其中:δ由式(3 1的候选匹配点集Ω, 然后再使用式(1 选择与P 1互相关程度最
高的标记点作为P 2的对应匹配点。1三维
滤波器
在之前已经得到所有三维候选标记点(候选标记点的三维位置 , 在此要使用某
种策略为标记点选择三维候选点。本文使用扩展Kal m an 滤波器对标记点的三维
位置进行预测, 并在此预测范围内寻找候选标记点。11扩展滤波器的组成
三维Kal m an 滤波器用于对三维标记点进行跟踪, 并由以
下参数组成:
M n =(p k , p ⌒
k , Δp k , v k , v ⌒
k , Δv k , a k , a ⌒
k , Δa k
n
(4
其中:Mn 表示三维标记点n; p k 表示M n 在第k 时刻测量得到的三维中心位置; p ⌒
k 表示M n 在第k 时刻预测得到的三维中心位置; Δp k 表示M n 在第k 时刻预测位置的误差, 也即候选标记点的搜索范围; v k 表示M n 在第k 时刻测量得到的速度; v ⌒
k 表
示M n 在第k 时刻预测得到的速度; Δv k 表示M n 在第k 时刻预测速度的误差;
a k 表示M n 在第k 时刻测量得到的加速度; a ⌒k 表示M n 在第k 时刻预测得到的加速度; Δa k 表示M n 在第k 时刻预测加速度的误差。11使用扩展
滤波器进行位置预测
p ⌒
k +1=p k +v k ×
Δt +1/2a k ×Δt 2
(5 Δp k +1=Δp k +Δv k ×Δt +1/2Δa k ×Δt
2
(6
其中:p ⌒
k +1表示标记点在第k +1时刻预测的三维位置; Δp k +1表示标记点三维坐标
位置预测的误差, 为搜索M n 提供了搜索
范围。鉴于人体运动的复杂性, 通常要在Δp k +1
上加一个正
常数<。
11候选标记点的选择策略
在标记点M n 的搜索范围(Δp k +1+< 内搜索候选点, 若此范围内只有一个, 则直接作为候选点; 若有多个则选择距离预测中最近的点作为候选点; 没有则可能丢失或发生异常, 将会在1. 3节中进行处理。另外扩展Kal m an 参数的修正也在1. 3节中进行。
1使用人体约束处理跟踪结果
在人体运动跟踪过程中, 人体运动经常被看做是由多个关节组成的刚体运动。在图1中, 实线表示的关节点之间的长度是相对不变的, 在运动过程中只会发生微小的变化; 虚线表示的关节点间的长度则会发生较大的变化, 但由于运动的连续性, 相邻帧间的关节点间的距离只会发生较小的变化。可以利。
假设Ω代表得到的三维标记点集合; Ω′代表三维Kal m an
滤波器的跟踪结果; M n 代表在Ω中的一个三维标记点n; M ′n 代表M n 的跟踪结果并且在集合Ω′中; M r n 表示M n 距离本帧最近且未发生异常情况的那一帧的三维位置; dis (M i , M j 表示本帧M i 和M j 之间的距离; last_dis(M i , M j 表示距离本帧最近且未发生异常情况的那一帧的M i 和M j 之间的距离; δ表示预设的阈值(很小的正数 , 并且能够在跟踪期间调整。具体算法如下:
a 检验M ′
n (n =0, …, 12 (从1. 2节获得的存在情况。
只要存在相邻点有跟踪结果, 执行b ; 否则转到e 。
b 确定相邻标记点跟踪结果的正确性。如果相邻点M n -1
和M n (n =1, …, 5or 7, …, 11 的跟踪结果M ′n -1和M ′
n 满足式
(7 , 则置M n -1和M n 跟踪正确。判断此时是否所有标记点(除了丢失和遮挡的都跟踪正确。如果是, 则结束此帧跟踪;
否则继续处理。
|dis (M ′n -1, M ′
n -last_dis(M n -1, M n |<δ
(7
c 正确跟踪的相邻标记点对其中间标记点跟踪结果的约
束。即M n (n =1, …, 4or 7, …, 10 未跟踪正确, 它的相邻点
M n -1和M n +1跟踪正确, 那么如果在Ω中可找到满足式(7 ～
(9 的点M ′n , 则M ′
n 即为M n 的跟踪结果, 并置M n 跟踪正确。
判断此时是否所有标记点(除了丢失和遮挡的都跟踪正确。如果是, 则结束此帧跟踪; 否则继续处理。
|dis (M ′n +1, M ′
n -last_dis(M n +1, M n |<δ
(8 dis (M r
n , M ′n <δ
(9
如图2所示, 由M n -1和M n +1确定M n 所在的圆环, 再由M r
n
确定M n 在圆环上的大致位置, 搜索即可找到M ′n 。
d 由一个正确跟踪的相邻标记点对标记点跟踪结果的约
束。即当M n (n =0, …, 5 未跟踪正确, 它的一个相邻点M n -1
(M n +1 跟踪正确, 另一个相邻点(如果存在的话, 若不存在则
将式(11 (12 去掉 M n +1(M n -1 未跟踪正确, 那么如果在Ω
中可找到满足式(9 ～(12 的点M ′n , 则M ′
n 即为M n 的跟踪结
?
0821?计算机应用研究
第26卷
果。判断此时是否所有标记点(除了丢失和遮挡的都跟踪正确。如果是, 则结束此帧跟踪; 否则继续处理。|dis (M ′n -1(M ′n +1 , M ′
n -last_dis(M n -1(M n +1 , M n |<δ(10
dis (M r n +1M r n -1, M ′n +1(M ′
n -1 <δ
(11
|dis (M ′n +1(M ′n -1 , M ′
n -last_dis(M n +1(M n -1 , M n |<δ(13
如图3所示, 由M n -1确定M ′n 所在的球面, 再由M n +1(如
果存在确定M ′n 所在的圆环, M r
n 确定圆环上的大致位置, 搜
索即可找到M ′n 。M n (n =6, …, 11 情况类似
。
e 处理特殊情况。结果(丢失或遮挡 , 即使M n (n =0, …, 都没有跟踪结果, 或者M n , 此时应在集合Ω足(11 M ′
n 和M ′
n -1
(M ′
n +1 。(除
了丢失和遮挡的。f ; 否则返回b 。
f 用II R 滤波器对扩展Kal m an 参数进行修正:
v k +1=(p k +1-p k /Δt
a k +1=(v k +1-v k /Δt
v ⌒
k +1=α×v k +1+(1-α ×v ⌒
k
Δv k +1=α×|v ⌒
k +1-v k +1|+(1-α ×Δk
a ⌒
k +1=γ×a k +1+(1-γ ×a ⌒
k
Δa k +1=γ×|a ⌒
k +1-a k +1|+(1-γ ×Δa k
其中:α、
γ为一常数且0≤α, γ≤1。实验
根据本文提出的算法, 使用C ++开发一个人体运动跟踪系统, 可运行在W indows XP 平台上。实验中的视频是使用两个具有高度差的平行光轴相机拍摄而成。图4是拍摄的一段图像序列的跟踪结果以及恢复出的三维骨架序列。
图4(a 是对右相机拍摄的图像序列的跟踪结果(三维跟
踪正确后反映在二维上 ; (b 是恢复出的三维骨架序列的正视图; (c 是恢复出的三维骨架序列的侧视图。
如图4所示, 实验中表演者做着快速大幅度摆臂的踏步动作, 其间人体的各个关节点的运动方向经常快速改变, 且伴有遮挡现象, 如安置在左髋关节上的标记点在第
33和40帧被遮挡。实验中本算法基本上可以正确跟踪图像序列中所有帧(235帧 , 而且还可以从跟踪错误中恢复。
结束语
本文提出一种双目平行相机下的三维人体运动跟踪算法, 该算法除利用贴在人体关节处的用于构建三维标记点的二维标记点之外, 没有利用图像上的其他特征, 因而鲁棒性较高。另外当出现人体运动轨迹的快速改变或人体自遮挡而造成跟踪错误时, , 从而可以从, 并且表演者不, 进一步提高跟踪的准确性和
参考文献:
[1]AGG AR WAL J K, CA I Q. Human moti on analysis:a revie w [J ].
Com p ute r V is i o n and I m a ge U nde rs ta ndi ng, 1999, 73(3 :4282440.
[2]HUANG C L, TZE NG T H, SH I H H C . A model 2based articulated
human moti on tracking syste m [C ]//Proc of the 6th A sian Confe 2rence on Computer V isi on . 2004.
[3]SI G AL L, BHATI A S, ROTH S, et al . Tracking l oose 2li m bed peop le
[C ]//Proc of Conference on Computer V isi on and Pattern Recogni 2ti on . 2004:4212428.
[4]KI M S M , P ARK C B, LEE S W. Tracking 3D human body using
particle filter in moving monocular ca mera [C ]//Proc of the 18th I n 2ternati onal Conference on Pattern Recogniti on . 2006:8052808. [5]UKI D A H, K AJ I S, T AN I M OT O Y, et al . Human moti on cap ture
system using col or markers and silhouette [C ]//Proc of I EEE I nstru 2mentati on and Measure ment Technol ogy Conference . 2006:1512156. [6]CHEN Yi 2sheng, LEE J, P ARENT R, et al . Markerless monocular
moti on cap ture using i m age features and physical constraints [C ]Pr oc of Computer Graphics I nternati onal . W ashingt on DC:I EEE Computer Society,
2005:36243. [7]
Z HUANG Yue 2ting, L I U Xiao 2m ing, P AN Yun 2he . V ideo moti on cap ture using feature tracking and skelet on reconstructi on [C ]Pr oc of I EEE I nternati onal Conference on I m age Pr ocessing . 1999:2322236. [8]SI L AGH IM, P LAENKERS R, BOUL I C R, et al . Local and gl obal
skelet on fitting techniques f or op tical moti on cap ture [C ]//Proc of I nternati onal Workshop on Modelling and Moti on Cap ture Techniques f or V irtual Envir onments . London:Sp ringer 2Verlag, 1998:26240. [9]SHEN B C, SH I H H C, HUANG C L. Real 2ti m e human moti on cap 2
turing syste m [C ]Pr oc of I EEE I nternati onal Conference on I m age Pr ocessing . 2005:11214.
[10]GHL I T A O, MALLON J, WHELAN P F . Ep i polar line extracti on
using feature matching [C ]//Proc of Irish Machine V isi on &I m age Pr ocessing (I M V I P . 2001:87297.
?
1821?第4期蔡杰, 等:双目视觉下三维人体运动跟踪算法
目标跟踪相关研究综述
Artificial Intelligence and Robotics Research 人工智能与机器人研究, 2015, 4(3), 17-22 Published Online August 2015 in Hans. https://www.wendangku.net/doc/a5891355.html,/journal/airr https://www.wendangku.net/doc/a5891355.html,/10.12677/airr.2015.43003 A Survey on Object Tracking Jialong Xu Aviation Military Affairs Deputy Office of PLA Navy in Nanjing Zone, Nanjing Jiangsu Email: pugongying_0532@https://www.wendangku.net/doc/a5891355.html, Received: Aug. 1st, 2015; accepted: Aug. 17th, 2015; published: Aug. 20th, 2015 Copyright ? 2015 by author and Hans Publishers Inc. This work is licensed under the Creative Commons Attribution International License (CC BY). https://www.wendangku.net/doc/a5891355.html,/licenses/by/4.0/ Abstract Object tracking is a process to locate an interested object in a series of image, so as to reconstruct the moving object’s track. This paper presents a summary of related works and analyzes the cha-racteristics of the algorithm. At last, some future directions are suggested. Keywords Object Tracking, Track Alignment, Object Detection 目标跟踪相关研究综述 徐佳龙 海军驻南京地区航空军事代表室，江苏南京 Email: pugongying_0532@https://www.wendangku.net/doc/a5891355.html, 收稿日期：2015年8月1日；录用日期：2015年8月17日；发布日期：2015年8月20日 摘要 目标跟踪就是在视频序列的每幅图像中找到所感兴趣的运动目标的位置，建立起运动目标在各幅图像中的联系。本文分类总结了目标跟踪的相关工作，并进行了分析和展望。
人体工程学对展示设计的影响
人体工程学对展示设计的影响 过大的密度，也容易造成参观人群堵塞，会使人感觉疲劳，影响展示整体效果；陈列密度过低，则会显得展示空间空旷、缺乏内容。陈列的密度大小还与展厅的空间跨度、净高有直接的关系，同时也受展示物的视距、展品的陈列高度、展品的大小、展示形式以及不同观众类型等因素影响。展示空间较宽敞时，可使陈列密度稍大，也不显得拥挤；如果展示空间低矮，同样的陈列密度也会显得拥挤。展示对象的尺寸较大，展示视距又近，也会使人觉得空间拥挤。 1视觉的传达是人体工程学在展示设计中最重要的应用 在展示设计中，除了人的尺度和活动中的相关尺度以外，还有一个最重要的因素就是人的视觉活动。眼睛是人类获取信息的主要器官，信息获得有８０％依赖于视觉。人的视距，视角以及视觉习惯是合理组织陈列高度的依据。陈列高度是指展品或版面与参观者视线的相对位置。从人机工程学的角度分析；人对陈列高度的适应受人体有效视角的限制，一般陈列高度不宜超过３５０厘米；经常运用的展示高度是８０～２５０厘米之间的区域。人体工程学的研究表明：人体的最佳视觉区域是在水平视线高度以上２０厘米，以下４０厘米之间这个６０厘米宽的水平区域，如果以亚洲人一般标准高度１６５厘米左右，最佳的陈列高度应在１２５～１８５厘米之间，重点展示的对象陈列在此区域内，较易获得良好的效果。在接受信息之前往往人们有一个选择的过程，经过选择之后，往往注意力会集中到那些准备接受的信号上面。因此，引起注意是展示设计的重要手段和成功的基础，只有引起注意才能产生以后的理解，确信，记忆行为并导致最终的行为。 展示效果最终需要面对的是人，如何吸引和维持住他们的注意力，达到信息传递的目的，根据人体工程学中视觉心理和人的心理规律，可采用以下方法。 2增大展示效果的强度
双目视觉成像原理
双目视觉成像原理 1.引言 双目立体视觉(Binocular Stereo Vision)是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。融合两只眼睛获得的图像并观察它们之间的差别，使我们可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，这个差别，我们称作视差(Disparity)图。 双目立体视觉测量方法具有效率高、精度合适、系统结构简单、成本低等优点，非常适合于制造现场的在线、非接触产品检测和质量控制。对运动物体（包括动物和人体形体）测量中，由于图像获取是在瞬间完成的，因此立体视觉方法是一种更有效的测量方法。双目立体视觉系统是计算机视觉的关键技术之一，获取空间三维场景的距离信息也是计算机视觉研究中最基础的内容。 2.双目立体视觉系统 立体视觉系统由左右两部摄像机组成。如图一所示，图中分别以下标L和r标注左、右摄像机的相应参数。世界空间中一点A(X，Y，Z)在左右摄像机的成像面C L和C R上的像点分别为al(ul，vl)和ar(ur，vr)。这两个像点是世界空间中同一个对象点A的像，称为“共轭点”。知道了这两个共轭像点，分别作它们与各自相机的光心Ol和Or的连线，即投影线alOl和arOr，它们的交点即为世界空间中的对象点A(X，Y，Z)。这就是立体视觉的基本原理。 图1：立体视觉系统 3.双目立体视觉相关基本理论说明 3．1 双目立体视觉原理 双目立体视觉三维测量是基于视差原理，图2所示为简单的平视双目立体成像原理图，两摄像机的投影中心的连线的距离，即基线距为b。摄像机坐标系的原点在摄像机镜头的光心处，坐标系如图2所示。事实上摄像机的成像平面在镜头的光心后，图2中将左右成像平面绘制在镜头的光心前f处，这个虚拟的图像平面坐标系O1uv的u轴和v轴与和摄像机坐标系的x轴和y轴方向一致，这样可以简化计算过程。左右图像坐
视频目标跟踪算法综述_蔡荣太
1引言 目标跟踪可分为主动跟踪和被动跟踪。视频目标跟踪属于被动跟踪。与无线电跟踪测量相比，视频目标跟踪测量具有精度高、隐蔽性好和直观性强的优点。这些优点使得视频目标跟踪测量在靶场光电测量、天文观测设备、武器控制系统、激光通信系统、交通监控、场景分析、人群分析、行人计数、步态识别、动作识别等领域得到了广泛的应用[1-2]。 根据被跟踪目标信息使用情况的不同，可将视觉跟踪算法分为基于对比度分析的目标跟踪、基于匹配的目标跟踪和基于运动检测的目标跟踪。基于对比度分析的跟踪算法主要利用目标和背景的对比度差异，实现目标的检测和跟踪。基于匹配的跟踪主要通过前后帧之间的特征匹配实现目标的定位。基于运动检测的跟踪主要根据目标运动和背景运动之间的差异实现目标的检测和跟踪。前两类方法都是对单帧图像进行处理，基于匹配的跟踪方法需要在帧与帧之间传递目标信息，对比度跟踪不需要在帧与帧之间传递目标信息。基于运动检测的跟踪需要对多帧图像进行处理。除此之外，还有一些算法不易归类到以上3类，如工程中的弹转机跟踪算法、多目标跟踪算法或其他一些综合算法。2基于对比度分析的目标跟踪算法基于对比度分析的目标跟踪算法利用目标与背景在对比度上的差异来提取、识别和跟踪目标。这类算法按照跟踪参考点的不同可以分为边缘跟踪、形心跟踪和质心跟踪等。这类算法不适合复杂背景中的目标跟踪，但在空中背景下的目标跟踪中非常有效。边缘跟踪的优点是脱靶量计算简单、响应快，在某些场合（如要求跟踪目标的左上角或右下角等）有其独到之处。缺点是跟踪点易受干扰，跟踪随机误差大。重心跟踪算法计算简便，精度较高，但容易受到目标的剧烈运动或目标被遮挡的影响。重心的计算不需要清楚的轮廓，在均匀背景下可以对整个跟踪窗口进行计算，不影响测量精度。重心跟踪特别适合背景均匀、对比度小的弱小目标跟踪等一些特殊场合。图像二值化之后，按重心公式计算出的是目标图像的形心。一般来说形心与重心略有差别[1-2]。 3基于匹配的目标跟踪算法 3.1特征匹配 特征是目标可区别与其他事物的属性，具有可区分性、可靠性、独立性和稀疏性。基于匹配的目标跟踪算法需要提取目标的特征，并在每一帧中寻找该特征。寻找的 文章编号：1002－8692（2010）12-0135-04 视频目标跟踪算法综述* 蔡荣太1，吴元昊2，王明佳2，吴庆祥1 （1.福建师范大学物理与光电信息科技学院，福建福州350108； 2.中国科学院长春光学精密机械与物理研究所，吉林长春130033） 【摘要】介绍了视频目标跟踪算法及其研究进展，包括基于对比度分析的目标跟踪算法、基于匹配的目标跟踪算法和基于运动检测的目标跟踪算法。重点分析了目标跟踪中特征匹配、贝叶斯滤波、概率图模型和核方法的主要内容及最新进展。此外，还介绍了多特征跟踪、利用上下文信息的目标跟踪和多目标跟踪算法及其进展。 【关键词】目标跟踪；特征匹配；贝叶斯滤波；概率图模型；均值漂移；粒子滤波 【中图分类号】TP391.41；TN911.73【文献标识码】A Survey of Visual Object Tracking Algorithms CAI Rong-tai1,WU Yuan-hao2,WANG Ming-jia2,WU Qing-xiang1 （1.School of Physics,Optics,Electronic Science and Technology,Fujian Normal University,Fuzhou350108,China; 2.Changchun Institute of Optics,Fine Mechanics and Physics,Chinese Academy of Science,Changchun130033,China）【Abstract】The field of visual object tracking algorithms are introduced,including visual tracking based on contrast analysis,visual tracking based on feature matching and visual tracking based on moving detection.Feature matching,Bayesian filtering,probabilistic graphical models,kernel tracking and their recent developments are analyzed.The development of multiple cues based tracking,contexts based tracking and multi-target tracking are also discussed． 【Key words】visual tracking;feature matching;Bayesian filtering;probabilistic graphical models;mean shift;particle filter ·论文·*国家“863”计划项目（2006AA703405F）；福建省自然科学基金项目（2009J05141）；福建省教育厅科技计划项目（JA09040）
双目视觉成像原理讲解学习
双目视觉成像原理
双目视觉成像原理 1.引言 双目立体视觉(Binocular Stereo Vision)是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。融合两只眼睛获得的图像并观察它们之间的差别，使我们可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，这个差别，我们称作视差(Disparity)图。 双目立体视觉测量方法具有效率高、精度合适、系统结构简单、成本低等优点，非常适合于制造现场的在线、非接触产品检测和质量控制。对运动物体（包括动物和人体形体）测量中，由于图像获取是在瞬间完成的，因此立体视觉方法是一种更有效的测量方法。双目立体视觉系统是计算机视觉的关键技术之一，获取空间三维场景的距离信息也是计算机视觉研究中最基础的内容。2.双目立体视觉系统 立体视觉系统由左右两部摄像机组成。如图一所示，图中分别以下标L和r标注左、右摄像机的相应参数。世界空间中一点A(X，Y，Z)在左右摄像机的成像面C L和C R上的像点分别为al(ul，vl)和ar(ur，vr)。这两个像点是世界空间中同一个对象点A的像，称为“共轭点”。知道了这两个共轭像点，分别作它们与各自相机的光心Ol和Or的连线，即投影线alOl和arOr，它们的交点即为世界空间中的对象点A(X，Y，Z)。这就是立体视觉的基本原理。
图1：立体视觉系统 3.双目立体视觉相关基本理论说明 3．1 双目立体视觉原理 双目立体视觉三维测量是基于视差原理，图2所示为简单的平视双目 立体成像原理图，两摄像机的投影中心的连线的距离，即基线距为b 。摄像机坐标系的原点在摄像机镜头的光心处，坐标系如图2所示。事实上摄像机的成像平面在镜头的光心后，图2中将左右成像平面绘制在镜头的光心前f 处，这个虚拟的图像平面坐标系O1uv 的u 轴和v 轴与和摄像机坐标系的x 轴和y 轴方向一致，这样可以简化计算过程。左右图像坐标系的原点在摄像机光轴与平面的交点O1和O2。空间中某点P 在左图像和右图像中相应的坐标分别为P1(u1,v1)和P2(u2,v2)。假定两摄像机的图像在同一个平面上，则点P 图像坐标的Y 坐标相同，即v1=v2。由三角几何关系得到: c c 1z x f u = c c 2z ）b -x （f u = v 1 c c 21z y f v v ==
(完整版)视频目标检测与跟踪算法综述
视频目标检测与跟踪算法综述 1、引言 运动目标的检测与跟踪是机器视觉领域的核心课题之一，目前被广泛应用在视频编码、智能交通、监控、图像检测等众多领域中。本文针对视频监控图像的运动目标检测与跟踪方法，分析了近些年来国内外的研究工作及最新进展。 2、视频监控图像的运动目标检测方法 运动目标检测的目的是把运动目标从背景图像中分割出来。运动目标的有效分割对于目标分类、跟踪和行为理解等后期处理非常重要。目前运动目标检测算法的难点主要体现在背景的复杂性和目标的复杂性两方面。背景的复杂性主要体现在背景中一些噪声对目标的干扰，目标的复杂性主要体现在目标的运动性、突变性以及所提取目标的非单一性等等。所有这些特点使得运动目标的检测成为一项相当困难的事情。目前常用的运动目标检测算法主要有光流法、帧差法、背景相减法，其中背景减除法是目前最常用的方法。 2.1帧差法 帧差法主要是利用视频序列中连续两帧间的变化来检测静态场景下的运动目标，假设f k（x, y）和f（k i）（x, y）分别为图像序列中的第k帧和第k+1帧中象素点（x，y）的象素值,则这两帧图像的差值图像就如公式2-1所示： Diff ki f k（x, y） f（k 1）（x, y）（2-1）2-1式中差值不为0的图像区域代表了由运动目标的运动所经过的区域（背景象素值不变），又因为相邻视频帧间时间间隔很小，目标位置变化也很小，所以运动目标的运动所经过的区域也就代表了当前帧中运动目标所在的区域。利用此原理便可以提取出目标。下图给出了帧差法的基本流程：1、首先利用2-1式得到第k帧和第k+1帧的差值图像Diff k 1；2、对所得到的差值图像Diff k 1二值化（如 式子2-2示）得到Qk+1 ；3、为消除微小噪声的干扰，使得到的运动目标更准 确，对Q k 1进行必要的滤波和去噪处理，后处理结果为M k 1。 1
单目视觉定位方法研究综述
万方数据
万方数据
万方数据
万方数据
单目视觉定位方法研究综述 作者：李荣明， 芦利斌， 金国栋 作者单位：第二炮兵工程学院602教研室,西安,710025 刊名： 现代计算机：下半月版 英文刊名：Modem Computer 年，卷(期)：2011(11) 参考文献(29条) 1.R.Horaud;B.Conio;O.Leboullcux An Analytic Solution for the Perspective 4-Point Problem 1989(01) 2.任沁源基于视觉信息的微小型无人直升机地标识别与位姿估计研究 2008 3.徐筱龙;徐国华;陈俊水下机器人的单目视觉定位系统[期刊论文]-传感器与微系统 2010(07) 4.邹伟;喻俊志;徐德基于ARM处理器的单目视觉测距定位系统[期刊论文]-控制工程 2010(04) 5.胡占义;雷成;吴福朝关于P4P问题的一点讨论[期刊论文]-自动化学报 2001(06) 6.Abdel-Aziz Y;Karara H Direct Linear Transformation from Comparator to Object Space Coordinates in Close-Range Ph- togrammetry 1971 7.Fishier M A;Bolles R C Random Sample Consensus:A Paradigm for Model Fitting with Applications to Image Analy-s~s anu Automated tartograpny 1981(06) 8.祝世平;强锡富用于摄像机定位的单目视觉方法研究[期刊论文]-光学学报 2001(03) 9.沈慧杰基于单目视觉的摄像机定位方法的研究 2009 10.任沁源;李平;韩波基于视觉信息的微型无人直升机位姿估计[期刊论文]-浙江大学学报（工学版） 2009(01) 11.刘立基于多尺度特征的图像匹配与目标定位研究[学位论文] 2008 12.张治国基于单目视觉的定位系统研究[学位论文] 2009 13.张广军;周富强基于双圆特征的无人机着陆位置姿态视觉测量方法[期刊论文]-航空学报 2005(03) 14.Zen Chen;JenBin Huang A Vision-Based Method for theCircle Pose Determination with a Direct Geometric Interpre- tation[外文期刊] 1999(06) 15.Safaee-Rad;I.Tchoukanov;K.C.Smith Three-Dimension of Circular Features for Machine Vision 1992 16.S.D.Ma;S.H.Si;Z.Y.Chen Quadric Curve Based Stereo 1992 17.D.A.Forsyth;J.L.Munday;A.Zisserman Projective In- variant Representation Using Implicit Algebraic Curves 1991(02) 18.吴朝福;胡占义PNP问题的线性求解算法[期刊论文]-软件学报 2003(03) 19.降丽娟;胡玉兰;魏英姿一种基于平面四边形的视觉定位算法[期刊论文]-沈阳理工大学学报 2009(02) 20.Sun Fengmei;Wang Weining Pose Determination from a Single Image of a Single Parallelogram[期刊论文]-Acta Automatica Sinica 2006(05) 21.吴福朝;王光辉;胡占义由矩形确定摄像机内参数与位置的线性方法[期刊论文]-软件学报 2003(03) 22.王晓剑;潘顺良;邱力为基于双平行线特征的位姿估计解析算法[期刊论文]-仪器仪表学报 2008(03) 23.刘晓杰基于视觉的微小型四旋翼飞行器位姿估计研究与实现 2009 24.刘士清;胡春华;朱纪洪一种基于灭影线的无人直升机位姿估计方法[期刊论文]-计算机工程与应用 2004(9) 25.Mukundan R;Raghu Narayanan R V;Philip N K A Vision Based Attitude and Position Estimation Algorithm for Rendezvous and Docking 1994(02)
双目立体视觉
双目立体视觉 双目立体视觉的研究一直是机器视觉中的热点和难点。使用双目立体视觉系统可以确定任意物体的三维轮廓，并且可以得到轮廓上任意点的三维坐标。因此双目立体视觉系统可以应用在多个领域。现说明介绍如何基于HALCON实现双目立体视觉系统，以及立体视觉的基本理论、方法和相关技术，为搭建双目立体视觉系统和提高算法效率。 双目立体视觉是机器视觉的一种重要形式，它是基于视差原理并由多幅图像获取物体三维几何信息的方法。双目立体视觉系统一般由双摄像机从不同角度同时获得被测物的两幅数字图像，或由单摄像机在不同时刻从不同角度获得被测物的两幅数字图像，并基于视差原理恢复出物体的三维几何信息，重建物体三维轮廓及位置。双目立体视觉系统在机器视觉领域有着广泛的应用前景。 HALCON是在世界范围内广泛使用的机器视觉软件。它拥有满足您各类机器视觉应用需求的完善的开发库。HALCON也包含Blob分析、形态学、模式识别、测量、三维摄像机定标、双目立体视觉等杰出的高级算法。HALCON支持Linux和Windows，并且可以通过C、C++、C#、Visual Basic和Delphi 语言访问。另外HALCON与硬件无关，支持大多数图像采集卡及带有DirectShow和IEEE 1394驱动的采集设备，用户可以利用其开放式结构快速开发图像处理和机器视觉应用软件。 一．双目立体视觉相关基本理论说明 1．1 双目立体视觉原理 双目立体视觉三维测量是基于视差原理，图1所示为简单的平视双目立体成像原理图，两摄像机的投影中心的连线的距离，即基线距为b。摄像机坐标系的原点在摄像机镜头的光心处，坐标系如图1所示。事实上摄像机的成像平面在镜头的光心后，图1中将左右成像平面绘制在镜头的光心前f处，这个虚拟的图像平面坐标系O1uv的u轴和v轴与和摄像机坐标系的x轴和y轴方向一致，这样可以简化计算过程。左右图像坐标系的原点在摄像机光轴与平面的交点O1和O2。空间中某点P在左图像和右图像中相应的坐标分别为P1(u1,v1)和P2(u2,v2)。假定两摄像机的图像在同一个平面上，则点P图像坐标的Y坐标相同，即v1=v2。由三角几何关系得到: 上式中（xc，yc，zc）为点P在左摄像机坐标系中的坐标，b为基线距，f为两个摄像机的焦距，（u1，v1）和（u2，v2）分别为点P在左图像和右图像中的坐标。 视差定义为某一点在两幅图像中相应点的位置差: 图1 双目立体成像原理图图3 一般双目立体视觉系统原理图
基于HALCON的双目立体视觉系统实现
基于HALCON的双目立体视觉系统实现 段德山（大恒图像公司） 摘要双目立体视觉的研究一直是机器视觉中的热点和难点。使用双目立体视觉系统可以确定任意物体的三维轮廓，并且可以得到轮廓上任意点的三维坐标。因此双目立体视觉系统可以应用在多个领域。本文将主要介绍如何基于HALCON实现双目立体视觉系统，以及立体视觉的基本理论、方法和相关技术，为搭建双目立体视觉系统和提高算法效率提供了参考。 关键词双目视觉三维重建立体匹配摄像机标定视差 双目立体视觉是机器视觉的一种重要形式，它是基于视差原理并由多幅图像获取物体三维几何信息的方法。双目立体视觉系统一般由双摄像机从不同角度同时获得被测物的两幅数字图像，或由单摄像机在不同时刻从不同角度获得被测物的两幅数字图像，并基于视差原理恢复出物体的三维几何信息，重建物体三维轮廓及位置。双目立体视觉系统在机器视觉领域有着广泛的应用前景。 HALCON是在世界范围内广泛使用的机器视觉软件。它拥有满足您各类机器视觉应用需求的完善的开发库。HALCON也包含Blob分析、形态学、模式识别、测量、三维摄像机定标、双目立体视觉等杰出的高级算法。HALCON支持Linux和Windows，并且可以通过C、C++、C#、Visual Basic和Delphi语言访问。另外HALCON与硬件无关，支持大多数图像采集卡及带有DirectShow和IEEE 1394驱动的采集设备，用户可以利用其开放式结构快速开发图像处理和机器视觉应用软件。 一．双目立体视觉相关基本理论介绍
1．1 双目立体视觉原理 双目立体视觉三维测量是基于视差原理，图1所示为简单的平视双目立体成像原理图，两摄像机的投影中心的连线的距离，即基线距为b。摄像机坐标系的原点在摄像机镜头的光心处，坐标系如图1所示。事实上摄像机的成像平面在镜头的光心后，图1中将左右成像平面绘制在镜头的光心前f处，这个虚拟的图像平面坐标系O1uv的u轴和v轴与和摄像机坐标系的x轴和y轴方向一致，这样可以简化计算过程。左右图像坐标系的原点在摄像机光轴与平面的交点O1和O2。空间中某点P在左图像和右图像中相应的坐标分别为P1(u1,v1)和P2(u2,v2)。假定两摄像机的图像在同一个平面上，则点P图像坐标的Y坐标相同，即v1=v2。由三角几何关系得到： 上式中（xc，yc，zc）为点P在左摄像机坐标系中的坐标，b为基线距，f为两个摄像机的焦距，（u1，v1）和（u2，v2）分别为点P在左图像和右图像中的坐标。 视差定义为某一点在两幅图像中相应点的位置差：
目标跟踪算法综述
。 目标跟踪算法综述 大连理工大学卢湖川一、引言 目标跟踪是计算机视觉领域的一个重 要问题，在运动分析、视频压缩、行为识 别、视频监控、智能交通和机器人导航等 很多研究方向上都有着广泛的应用。目标 跟踪的主要任务是给定目标物体在第一帧 视频图像中的位置，通过外观模型和运动 模型估计目标在接下来的视频图像中的状 态。如图1所示。目标跟踪主要可以分为5 部分，分别是运动模型、特征提取、外观 模型、目标定位和模型更新。运动模型可 以依据上一帧目标的位置来预测在当前帧 目标可能出现的区域，现在大部分算法采用的是粒子滤波或相关滤波的方法来建模目标运动。随后，提取粒子图像块特征，利用外观模型来验证运动模型预测的区域是被跟踪目标的可能性，进行目标定位。由于跟踪物体先验信息的缺乏，需要在跟踪过程中实时进行模型更新，使得跟踪器能够适应目标外观和环境的变化。尽管在线目标跟踪的研究在过去几十年里有很大进展，但是由被跟踪目标外观及周围环境变化带来的困难使得设计一个鲁棒的在线跟踪算法仍然是一个富有挑战性的课题。本文将对最近几年本领域相关算法进行综述。 二、目标跟踪研究现状 1. 基于相关滤波的目标跟踪算法 在相关滤波目标跟踪算法出现之前，大部分目标跟踪算法采用粒子滤波框架来进行目标跟踪，粒子数量往往成为限制算法速度的一个重要原因。相关滤波提出了 一种新颖的循环采样方法，并利用循环样 本构建循环矩阵。利用循环矩阵时域频域 转换的特殊性质，将运算转换到频域内进 行计算，大大加快的分类器的训练。同时， 在目标检测阶段，分类器可以同时得到所 有循环样本得分组成的响应图像，根据最 大值位置进行目标定位。相关滤波用于目 标跟踪最早是在MOSSE算法[1]中提出 的。发展至今，很多基于相关滤波的改进 工作在目标跟踪领域已经取得很多可喜的 成果。 1.1. 特征部分改进 MOSSE[1] 算法及在此基础上引入循 环矩阵快速计算的CSK[2]算法均采用简单 灰度特征，这种特征很容易受到外界环境 的干扰，导致跟踪不准确。为了提升算法 性能，CN算法[3]对特征部分进行了优 化，提出CN（Color Name）空间，该空 间通道数为11（包括黑、蓝、棕、灰、绿、 橙、粉、紫、红、白和黄），颜色空间的引 入大大提升了算法的精度。 与此类似，KCF算法[4]采用方向梯度 直方图（HOG）特征与相关滤波算法结合， 同时提出一种将多通道特征融入相关滤波 的方法。这种特征对于可以提取物体的边 缘信息，对于光照和颜色变化等比较鲁棒。 方向梯度直方图（HOG）特征对于运 动模糊、光照变化及颜色变化等鲁棒性良 好，但对于形变的鲁棒性较差；颜色特征 对于形变鲁棒性较好，但对于光照变化不 够鲁棒。STAPLE算法[5]将两种特征进行 有效地结合，使用方向直方图特征得到相 关滤波的响应图，使用颜色直方图得到的 统计得分，两者融合得到最后的响应图像 并估计目标位置，提高了跟踪算法的准确 度，但也使得计算稍微复杂了一些。 图1 目标跟踪算法流程图
双目立体视觉技术简介
双目立体视觉技术简介 1. 什么是视觉 视觉是一个古老的研究课题，同时又是人类观察世界、认知世界的重要功能和手段。人类从外界获得的信息约有75%来自视觉系统，用机器模拟人类的视觉功能是人们多年的梦想。视觉神经生理学，视觉心里学，特别是计算机技术、数字图像处理、计算机图形学、人工智能等学科的发展，为利用计算机实现模拟人类的视觉成为可能。在现代工业自动化生产过程中，计算机视觉正成为一种提高生产效率和检验产品质量的关键技术之一，如机器零件的自动检测、智能机器人控制、生产线的自动监控等;在国防和航天等领域，计算机视觉也具有较重要的意义，如运动目标的自动跟踪与识别、自主车导航及空间机器人的视觉控制等。人类视觉过程可以看作是一个从感觉到知觉的复杂过程，从狭义上来说视觉的最终目的是要对场景作出对观察者有意义的解释和描述；从广义上说，是根据周围的环境和观察者的意愿，在解释和描述的基础上做出行为规划或行为决策。计算机视觉研究的目的使计算机具有通过二维图像信息来认知三维环境信息的能力，这种能力不仅使机器能感知三维环境中物体的几何信息(如形状、位置、姿态运动等)，而且能进一步对它们进行描述、存储、识别与理解，计算机视觉己经发展起一套独立的计算理论与算法。 2. 什么是计算机双目立体视觉 双目立体视觉(Binocular Stereo Vision)是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。融合两只眼睛获得的图像并观察它们之间的差别，使我们可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，这个差别，我们称作视差(Disparity)图像，如图一。 图一、视差（Disparity）图像 双目立体视觉测量方法具有效率高、精度合适、系统结构简单、成本低等优点，非常适合于制造现场的在线、非接触产品检测和质量控制。对运动物体（包括动物和人体形体）测量中，由于图像获取是在瞬间完成的，因此立体视觉方法是一种更有效的测量方法。 双目立体视觉系统是计算机视觉的关键技术之一，获取空间三维场景的距离信息也是计算机视觉研究中最基础的内容。 双目立体视觉的开创性工作始于上世纪的60年代中期。美国MIT的Roberts通过从数字图像中提取立方体、楔形体和棱柱体等简单规则多面体的三维结构，并对物体的形状和空间关系
多目标跟踪方法研究综述
经过近４０多年的深入研究和发展，多目标跟踪技术在许多方面都有着广泛应用和发展前景，如军事视觉制导、机器人视觉导航、交通管 制、 医疗诊断等［１－２］。目前，虽然基于视频的多运动目标跟踪技术已取得了很大的成就，但由于视频中图像的变化和物体运动的复杂性，使得对多运动目标的检测与跟踪变得异常困难，如多目标在运动过程中互遮挡、监控场景的复杂性等问题，解决上述难题一直是该领域所面临的一个巨大挑战，因此，对视频中多目标跟踪技术研究仍然是近年来一个热门的研究课题［３－５］。 １、多目标跟踪的一般步骤 基于视频的多目标跟踪技术融合了图像处理、模式识别、人工智能、 自动控制以及计算机视觉等众多领域中的先进技术和核心思想。不同的多目标跟踪方法其实现步骤有一定的差异，但多目标跟踪的主要 流程是相同的，如图１所示，其主要包括图像预处理、 运动目标检测、多目标标记与分离、多目标跟踪四个步骤。 图１多目标跟踪基本流程图 ２、多目标跟踪方法 多目标跟踪方法可以根据处理图像或视频获取视点的多少分为两大类，一类是单视点的多目标跟踪，另一类就是多视点的多目标跟踪。 ２．１单视点的方法 单视点方法是针对单一相机获取的图像进行多目标的检测和跟踪。该方法好处在于简单且易于开发，但由于有限的视觉信息的获取，很难处理几个目标被遮挡的情况。 块跟踪（Ｂｌｏｂ－ｔｒａｃｋｉｎｇ）是一种流行的低成本的跟踪方法［６－７］。这种方法需要首先在每一帧中提取块，然后逐帧寻找相关联的块，从而实现跟 踪。 例如ＢｒａＭＢＬｅ系统［８］就是一个基于已知的背景模型和被跟踪的人的外表模型计算出块的似然性的多块跟踪器。这种方法最大的不足之处在于：当由于相似性或者遮挡，多个目标合并在一起时，跟踪将导致失败。因此，可以取而代之的方法是通过位置、外观和形状保留清晰目标的状态。文献［９］利用组合椭圆模拟人的形状，用颜色直方图模拟不同人的外观，用一个增强高斯分布模拟背景以便分割目标，一旦场景中发现对应于运动头部的像素，一个ＭＣＭＣ方法就被用于获取多个人的轮廓的最大后验概率，在单相机的多人跟踪应用中取得了非常有意义的结果。Ｏｋｕｍａ等人提出了一种将Ａｄａｂｏｏｓｔ算法和粒子滤波相结合的方法［１０］。该方法由于充分利用了两种方法的优点，相比于单独使用这两种方法本身，大大降低了跟踪失败的情形，同时也解决了在同一框架下检测和一致跟踪的问题。Ｂｒｏｓｔｏｗ等人提出了一个用于在人群中检测单个行人的特征点轨迹聚类的概率框架［１１］。这个框架有一个基本假设是一起运动的点对可能是同一个个体的一部分，并且把它用于检测和最终的跟踪。对于完全和部分遮挡目标以及外观变化，这些方法和另外一些相似的方法都有很大的局限性。 为了解决遮挡问题，一系列单视点跟踪技术应运而生。典型的方法 是利用块合并来检测遮挡的发生［１２］。当被跟踪的点消失， 跟踪特征点的方法就简单的将其作为一个被遮挡特征点。近年来，基于目标轮廓和外观的跟踪技术利用隐含的目标到相机的深度变化来表示和估计目标间的遮挡关系。但大多数方法都只能解决部分遮挡，不能解决完全被遮挡 的情况。 另外，小的一致运动被假设为是可以从遮挡视点中可以预测运动模式的，这些给没有预测运动的较长时间的遮挡的处理带来问题。尽管这些单视点的方法有较长的研究历史，但这些方法由于不能明锐的 观察目标的隐藏部分，因此不能很好地解决有２或３个目标的遮挡问题。 ２．２多视点的方法 随着复杂环境中对检测和跟踪多个被遮挡的人和计算他们的精确 位置的需要，多视点的方法成为研究的热点。 多视点跟踪技术的目的就是利用不同视点的冗余信息，减少被遮挡的区域，并提供目标和场景的３Ｄ信息。尽管通过相机不能很好地解决目标跟踪问题，但却提出了一些很好的想法，如选择最佳视点，但这些方法都以实际环境模型和相机校正为特征。 ９０年代后半期，在很多文献中给出了多视点相关的多目标跟踪方法。 比如利用一个或多个相机与观察区域相连的状态变化映射，同时给出一系列的行为规则去整合不同相机间的信息。利用颜色在多个视点中进行多目标的跟踪的方法，该方法模拟了从基于颜色直方图技术的 背景提取中获得的连接块并应用其去匹配和跟踪目标。 除此之外，也有在原来的单视点跟踪系统进行扩展的多视点跟踪方法。该方法主要是通过一个预测，当预测当前的相机不在有一个好的视点时，跟踪就从原来凯斯的那个单相机视点的跟踪转换到另外一个相机，从而实现多视点的跟踪。基于点与它对应的极线的欧氏距离的空间匹配方法、贝叶斯网络和立体相对合并的方法都是多目标多视点跟踪的常见方法。尽管这些方法都试图去解决遮挡问题，但由于遮挡的存在，基于特征的方法都不能根本解决，其次，这些方法中的遮挡关系的推理一般都是根据运动模型，卡尔曼滤波或者更普遍的马尔科夫模型的时间一致性来进行的。因此，当这个过程开始发散，这些方法也不能恢复遮挡关系。 最近一种基于几何结构融合多个视点信息的Ｈｏｍｅｇｒａｐｈｉｃｏｃｃｕｐａｎｃｙｃｏｎｓｒｒａｉｎｔ（ＨＯＣ）［１２］方法，可以通过在多场景平台对人的定位来解决遮挡问题。仅采用随时间变化的外表信息用于从背景中检测前景，这使得在拥挤人流的场景中的外表遮挡的解决更健壮。利用多视点中的前景信息，主要是试图找到被人遮挡的场景点的图像位置，然后这些被遮挡的信息用于解决场景中多个人的的遮挡和跟踪问题。在这种思想指导下，Ｍｉｔｔａｌ，Ｌｅｉｂｅ，Ｆｒａｎｃｏ等的研究工作和机器人导航中基于遮挡网格的距离传感器的并行工作是相似的，这些方法在融合３Ｄ空间信息的时候需要进行校正相机。但ＨＯＣ方法是完全基于图像的，仅需要２Ｄ结构信息进行图像平面的融合。当然也有另外一些不需要进行相机校正的算法被提出，但需要学习一个与相机最小相关的信息。在目标跟踪过程中，由于这些方法依赖于单个相机的场景，对于拥挤场景中目标分布密度增加九无能为力了。在ＨＯＣ的多视点的目标跟踪中，对于任何单一相机的场景，或者相机对的场景，都不需要进行定位和跟踪目标，而是从所有相机的场景中收集证据，形成一个统一的框架，由于该方法能够从多个时间帧的场景中进行场景被遮挡概率的全局轨迹优化，因此可以同时进行检测和跟踪。 ３、总结 动态目标检测与跟踪是智能监控系统的重要组成部分，它融合了图像处理、模式识别、自动控制及计算机应用等相关领域的先进技术和研究成果，是计算机视觉和图像编码研究领域的一个重要课题，在军事武器、工业监控、交通管理等领域都有广泛的应用。尤其是对于多目标检测与跟踪中的遮挡与被遮挡的处理，对提高智能监控中目标的行为分析有着重要的意义。随着监控设备的发展和设施的铺设，多视点的场景图像是很容易得到的，因此借助信息融合的思想，充分利用不同角度对目标的描述信息，可以很大地改进目前基于单视点的多目标检测和跟踪的精度，能够很好地解决单视点方法中不能很好解决的遮挡问题。参考文献 ［１］胡斌，何克忠．计算机视觉在室外移动机器人中的应用．自动化学报，２００６，３２（５）：７７４－７８４． ［２］Ａ．Ｏｔｔｌｉｋ，Ｈ．－Ｈ．Ｎａｇｅｌ．ＩｎｉｔｉａｌｉｚａｔｉｏｎｏｆＭｏｄｅｌ－ＢａｓｅｄＶｅｈｉｃｌｅＴｒａｃｋｉｎｇｉｎＶｉｄｅｏＳｅｑｕｅｎｃｅｓｏｆＩｎｎｅｒ－ＣｉｔｙＩｎｔｅｒｓｅｃｔｉｏｎｓ．ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒＶｉｓｉｏｎ，２００８，８０（２）：２１１－２２５．多目标跟踪方法研究综述 苏州联讯图创软件有限责任公司 陈宁强 ［摘要］文章对目前现有的多目标跟踪方法从信息获取的不同角度进行了综述。主要分析比较了目前单视点和多视点目标跟踪方 法对于目标遮挡问题的处理性能，并指出多视点的基于多源信息融合的思想，可以较好地解决场景中目标的遮挡问题。［关键词］单视点多视点目标跟踪信息融合基金项目：本文系江苏省自然科学基金（ＢＫ２００９５９３）。 作者简介：陈宁强（１９７３－），男，江苏苏州人，工程师，主要研究方向：ＧＩＳ、模式识别和图像处理与分析。 目标跟踪多目标标记与分离 匹配 目标模型 运动检测当前帧图像 背景提取 去噪 ＲＯＩ 预处理 视频序列 （下转第２６页）
双目立体视觉
计算机双目立体视觉 双目立体视觉技术是仿照人类利用双目线索感知深度信息的方法，实现对三维信息的感知。为解决智能机器人抓取物体、视觉导航、目标跟踪等奠定基础。 双目立体视觉（Binocular Stereo Vision ）是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点之间的位置偏差，来获取物体三维几何信息的方法。融合两只眼睛获取的图像并观察它们之间的差别，使我们可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，这个差别，我们称作为视差（Disparity ）图像。 双目立体视觉系统 立体视觉系统由左右两部摄像机组成，如图，世界空间中的一点A(X,Y ,Z)在左右摄像机的成 像面1C 和r C 上的像点分别为）（111,v u a 和） （r r r v u a ,。这两个像点是世界空间中同一个对象点A 的像，称为“共轭点”。知道了这两个共轭像点，分别作它们与各自相机的光心1O 和r O 的连线，即投影线11O a 和r r O a ，它们的交点即为世界空间中的对象点A 。这就是立体视觉的基本原理。 双目立体视觉智能视频分析技术 恢复场景的3D 信息是立体视觉研究中最基本的目标，为实现这一目标，一个完整的立体视觉系统通常包含六个模块：图像获取、摄像机标定、特征提取、立体匹配、三维恢复和视频
分析（运动检测、运动跟踪、规则判断、报警处理）。 图像获取（Image Acquisition ） 数字图像的获取是立体视觉的信息来源。常用的立体视觉图像一般为双目图像，有的采用夺目图像。图像的获取方式有很多种，主要有具体运用的场合和目的决定。立体图像的获取不仅要满足应用要求，而且考虑视点差异、光照条件、摄像机的性能和场景特点等方面的影像。 摄像机标定（Camera Calibration ） 图像上每一点的亮度反映了空间物体表面某点反射光的强度，而该点在图像上的位置则与空 间物体表面相应点的几何位置有关。这些位置的相互关系由摄像机成像几何模型来决定。该几何模型的参数称为摄像机参数，这些参数必须由实验与计算来确定，实验与计算的过程称为摄像机定标。 立体视觉系统摄像机标定是指对三维场景中对象点在左右摄像机图像平面上的坐标位置）（111,v u a 和） （r r r v u a ,与其世界空间坐标A （X, Y , Z ）之间的映射关系的确立，是实现立体视觉三维模型重构中基本且关键的一步。 特征提取（Feature Acquisition ） 特征提取的目的是获取匹配得以进行的图像特征，图像特征的性质与图像匹配的方法选择有着密切的联系。目前，还没有建立起一种普遍适用的获取图像特征的理论，因此导致了立体视觉研究领域中匹配特征的多样化。像素相位匹配是近二十年才发展起来的一类匹配算法。相位作为匹配基元，本身反映着信号的结构信息，对图像的高频噪声有很好的一直作用，适于并行处理，能获得亚像素级精度的致密视差。但存在相位奇点和相位卷绕的问题，需加入自适应滤波器解决。或者是像素的集合，也可以是它们的抽象表达，如图像的结构、图像的目标和关系结构等。常用的匹配特征主要有点状特征、线装特征和区特征等几种情形。 一般而言，尺度较大的图像特征蕴含较多的图片信息，且特征本身的数目较少，匹配效率高；但特征提取和描述过程存在较大的困难，定位精度也较差。而对于尺度较小的图像特征来说，对其进行表达和描述相对简单，定位的精度高；但由于特征本身数码较多，所包含的图像信息少，在匹配时需要采用较为严格的约束条件和匹配策略，一尽可能的减少匹配歧义和提高匹配效率。总的来说，好的匹配特征应该具有要可区分性、不变性、唯一性以及有效解决匹配歧义的能力。 图像匹配（Image Matching ） 在立体视觉中，图像匹配是指将三维空间中一点A （X, Y , Z ）在左右摄像机的成像面1C 和r C 上的像点）（111,v u a 和） （r r r v u a ,对应起来。图像匹配是立体视觉中最重要也是最困难的问题，一直是立体视觉研究的焦点。当空间三维场景经过透视投影（Perspective Projection ）变换为二维图像时，同一场景在不同视点的摄像机图像平面上成像会发生不同程度的扭曲和变形，而且场景中的光照条件、被测对象的几何形状和表面特性、噪声干扰和畸变、摄像机特性等诸多因素的影响都被集中体现在单一的图像灰度值中。显然，要包含了如此之多不利因素的图像进行精准的匹配是很不容易的。