基于Lab色彩空间和模板匹配的实时交通灯识别算法
万方数据
１２５２计算机应用第３０卷
和黄色的描述如表Ｉ所示，其中ｒｌ一，６表示阈值。
表１三种空间对红、绿和黄色彩描述的对比
可以看出，ＲＧＢ空间中每种色彩取决于三个分量之间的相互关系，每种颜色需要两个参数；ＨＳＶ空间只需要考虑两个分量之间的关系，但也需要两个参数；而Ｌａｂ空间对红黄绿三种颜色分别只需要考虑口和ｂ，只需要一个参数。因此本文使用Ｌａｂ空间进行描述。
由于ＲＧＢ空间到Ｌａｂ空间的转换需要很大的计算量¨ｏ，因此在色彩空间转换前进行预处理以降低计算量。
因为交通灯在图像中不会以大块区域的形式出现，所以可以首先对图像进行形态学顶帽（ＷｈｉｔｅＴｏｐ—Ｈａｔ）ｌ驯操作，去掉色彩变化很小的大块区域。图２（ｂ）中显示了进行形态学顶帽操作及一个二值化操作后的图像。从图中可出看出，图像中色彩变化很小的大块区域都被去掉了（图２（ｂ）中黑色区域），如天空、大部分绿色树叶和地面等。
（ａ）原图像（视频１中第６３９帧）（ｂ）预处理后的图像
图２预处理前后对比
以预处理后图像的白色部分为感兴趣区域（ＲｅｇｉｏｎｏｆＩｎｔｅｒｅｓｔ，ＲＯＩ），记为，一；本阶段查找｝乜的候选区域记为Ｉｃ。ｈ；像素Ｐ在Ｌａｂ空间的ａ通道值和ｂ通道值分别记为％和ｂ，。则候选区域由所有。值和ｂ值符合特定要求的像素组成。即：ｔ。Ｉｏｒ＝｛ｐＩ口ｐ＞ａ０ｏｐ＜ｐ｜｜ｂｐ＞Ｙ，Ｐ∈，。。Ｔｐ｝
本文采集了１２张在不同光照情况下的交通灯图像（晴天和阴天各６张，从上午８时到下午６时，每隔两小时采集一张）。阈值ａ是采样图像中的所有红灯像素平均口值的１／３；阈值口是采样图像中所有绿灯像素平均口值的１／３；阈值ｙ是采样图像中所有黄灯像素平均ｂ值的１／３。查找阶段生成的图像显示于图３（ａ）。
从图３（ａ）中可以看出，树叶、交通灯的支持杆以及斑马线都在查找阶段被去掉了，但是仍然有很多的干扰点存在。
查找阶段的处理时间和图像的大小以及背景的复杂程度成正比，而和阈值设置的严格程度成反比。
１．２过滤候选区域
以８－连通的方式连接候选区域中的像素点形成图像块。每个图像块都有很多属性，如面积、色彩均值、长宽比、饱和程度和凹凸性等。图像块的属性可以帮助过滤掉一部分图像块，例如长宽比过大的图像块可以确定不是交通灯。但是由于环境光照的变化、车辆与交通灯的距离及抖动等因素的影响，使得图像中交通灯的形状不断发生变化。因此，过滤操作使用的属性的多少以及阈值设置的严格程度应由具体的行车环境决定。例如，在颠簸不平的道路上应该使用很少的属性和宽松的阈值；在平坦的道路上可以使用更多的属性和更严格的阈值。在本文的实验中，使用了长宽比属性和面积属性，两者都设置为比较宽松的阈值，长宽比阈值设置为ｌＯ，面积阈值设置为１０个像素。这里面积阈值设置为一个很小的值，
目的是过滤掉一些孤立的点和一些很小的图像块。图３（ｂ）显示了经过过滤处理以后的图像。
（ａ）查找出的候选区域（ｂ）过滤处理后的图像
（阈值ａｆｆｉ８，口＝一８，Ｙ＝１５）
图３过滤处理前后对比
如图３（ｂ）所示，图３（ａ）中孤立的点和长宽比过大的图像块都被过滤掉了。过滤处理以后图像中只剩下７个图像块。
过滤阶段的时间复杂度为Ｏ（ｋ?凡），ｋ为查找阶段所查找出的图像块个数，凡为使用的属性的个数。
１．３模板匹配初步确认结果
由实际观察可以注意到交通灯在形状上的一个特点：交通灯被一个黑色矩形框所包围。利用这个特点，可以设计三个模板，分别代表三种色彩不同的交通灯。
交通灯模板如图４所示。模板的高和发光区的直径相等，宽是发光区直径的三倍。背景为全黑色，发光区分别为红色、黄色和绿色。
（ａ）红灯模板（ｂ）黄灯模板（ｃ）绿灯模板
图４红灯、黄灯和绿灯的模板，图像大小都是６６ｘ２２本文使用模板匹配一１对候选区进行确认。由于交通灯在图像中的大小和位置会随汽车和交通灯的距离变化而发生变化，因此在匹配之前需要选择适当的模板，确定模板的大小和待匹配图像中的匹配区域。
１．３．１选择模板
每个图像块对应的模板取决于它的色彩属性。具体选择规则如下：
１）平均Ⅱ值小于０，选择绿色模板；
２）平均ｂ值大于０，并且Ⅱ值大于ｂ值，选择红色模板；
３）平均口值大于０，并且ｂ值大于口值，选择黄色模板。
制定上述规则是考虑到在Ｌａｂ色彩空间中，绿色的Ⅱ值小于０，红色、黄色的口值和ｂ值都要大于０，如果口值大于ｂ值说明图像块是红色，反之说明图像块是黄色。
１．３．２确定模板大小
设计的模板图像的大小是固定的，而图像中的交通灯的大小和距离、视角等因素有关，因此不能直接拿模板图像和原图像进行匹配。对于每个图像块，都需要重新计算它所对应的模板的大小。由于图像块对应的是交通灯的发光区，因此图像块的面积（记为ＳＤ）和模板中发光区（记为乩）的面积的比值，就是模板图像（记为ＳＴ）需要缩小或放大的倍数。经过缩小或放大以后的模板图像就是该图像块所对应的模板图像。即模板图像的大小为：ＳＴ?ＳＤ／ＳＬ。
１．３．３计算匹配区域和模板匹配
在确定模板及其大小以后，还需要确定待检测图像中的匹配区域。匹配区域由图像块所选择的模板决定。假设图像块的半径是ｒ，中心坐标是（ｘ，ｙ），图像的原点在左下角。如图５所示，可以计算出待匹配区域的坐标。
对于选择红色模板的图像块，匹配区域的左下角和右上
角坐标分别为：（ｘ—ｒ，ｙ—ｒ），（Ｘ＋５ｒ，ｙ＋ｒ）。万方数据
第５期徐成等：基于Ｌａｂ色彩空间和模板匹配的实时交通灯识别算法１２５３
对于选择黄色模板的图像块，匹配区域的左下角和右上角坐标分别为：（Ｘ一３ｒ，ｙ—ｒ），（ｘ＋３ｒ，ｙ＋ｒ）。
对于选择绿色模板的图像块，匹配区域的左下角和右上角坐标分别为：（ｘ一５ｒ，ｌ，一ｒ），（ｘ＋ｒ，Ｙ＋ｒ）。
（ａ）红灯模板（ｂ）黄灯模板（ｃ）绿灯模板
图５各个模板所对应的图像块的匹配区域坐标计算待匹配区域和模板图像的匹配程度ｆ９】，匹配值大于某个阈值的图像块确认为交通灯。图２使用上述算法进行模板匹配的结果显示于图６（为了显示清楚，只截取了原图像中的部分）。
模板匹配阶段的时间复杂度为０（ｋ?ｎ２），其中ｋ为图像块的个数，ｎ为图像块的大小。
图６模板匹配的结果，匹配阈值为０．２５
１．４验证检测结果
由于交通灯在交通管理和安全行车中至关重要，出现检测错误带来的后果非常严重。验证阶段的目标就是在出现检测错误的情况下，使用某种方法恢复交通灯的实际状态。
每帧的输出或者为红灯、黄灯、绿灯或者没有交通灯。以检测到红灯、绿灯和黄灯分别记为Ｒ、Ｇ和ｌ，，以没有检测到交通灯记为Ⅳ，建立两个序列：原始输出序列，包含未经处理的每帧输出，记为ＲＤ；有效输出序列，包含经过验证处理以后的每帧输出，记为ＶＤ。第ｉ帧的原始输出记为ＲＤ（ｉ），有效输出记为ＶＤ（ｉ）。定义操作ＮｅｘｔＳｔａｔｅ表示交通灯的下一状态，满足ＮｅｘｔＳｔａｔｅ（Ｒ）＝Ｇ，ＮｅｘｔＳｔａｔｅ（Ｇ）＝Ｙ，ＮｅｘｔＳｔａｔｅ（ｙ）＝Ｒ。
验证处理过程针对以下两类可能出现的情况。
漏检在没有检测到交通灯或交通灯闪烁时，在原始输出序列中会出现ＹＹＹＮ…ＮＹＹＹ形式的输出。
检测错误例如在红灯被检测成黄灯或绿灯时，会出现ＲＲ…ＲＹＹＲ…ＲＲ或ＲＲ…ＲＧＣＲ…艘形式的原始输出。
对于某些特殊情况，如跨越状态的转换，验证处理能立即纠正。因为未检测到和检测错误不会持续许多帧，所以历史帧的输出可以用来纠正这些错误。由于加入了验证处理，正常的状态转换需要多帧累积确认。形式化描述如下：
１）女口果ＲＤ（ｉ）＝ＶＤ（ｉ一１），那么ＶＤ（ｉ）＝ＶＤ（ｉ一１）。即如果原始输出和前一帧的有效输出相同，则有效输出保持不变。如果ＲＤ（ｉ）！＝ＶＤ（ｉ—１），则跳转到第２）步。
２）第ｉ帧的原始输出和前一帧的有效输出不同时，按以下规则处理：
ＶＤ（ｉ）＝ＶＤ（ｉ一１）；
ＲＤ（ｉ）＝Ｎ＆＆ＲＤ（ｉ—ｋ）！＝Ⅳ，１≤ｋ≤Ｔ（１）ｖｏ（ｉ）＝ＶＤ（ｉ一１）；
ＲＤ（ｉ）ｌ＿Ｎ＆＆ＲＤ（ｉ）ｆ＿ＮｅｘｔＳｔａｔｅ（ＶＤ（ｉ一１）＋１）％３
（２）
ＶＤ（ｉ）＝ＲＤ（ｉ）；
＞。．（ＲＤ（ｉ一＿｜｝）＝ＲＤ（ｉ））＞１／３×Ｔ＆＆肋（ｉ）＝
７
ＮｅｘｔＳｔａｔｅ（ＶＤ（ｉ—１）＋１）％３，１≤ｋ≤Ｔ（３）式（１）表示某帧原始输出为Ⅳ时，原始输出序列最近ｒ帧中有输出不为Ⅳ的帧．则认为出现了漏检，有效输出不变。
式（２）表示某帧原始输出不为Ⅳ，并且不是正常的状态转换时，有效输出不变。
式（３）表示某帧原始输出是前一帧的下一个状态时，如果原始输出序列最近ｒ帧中有１／３帧也发生了相同的状态转化，则认为发生了正常的状态转化，有效输出等于原始输出。
可以用一个状态机来表示验证过程，如图９所示。其中Ⅳ表示起始状态和终止状态。每个状态可以维持当前状态或进入下一状态或进入Ⅳ状态。状态的维持不需要累积确认，而所有的状态转换都需要累积确认，包括Ｒ到ｃ，ｃ到ｙ和ｙ到Ｒ，以及转变为Ｊ『＼，状态。
图７状态转换图，其中（１）、（２）、（３）表示“累积Ｔ／３个Ｎ”
这种机制使得在偶尔未检测到和检测错误时，算法能输出交通灯的正确状态。由于最多扫描队列一次，因此验证阶段的时间复杂度为０（ｒ）。参数ｒ值的选择应该使算法在鲁棒性和反应时问之间取得平衡。由于算法的处理速度是１６ｆｐｓ，选择ｒ为１６，使得累积确认带来的延时不会超过（１６—５）／１６—０．６８７５ｓ，最好情况下延时为５／１６—０．３１２５ｓ。
２实验结果与分析
２．１实验环境与平台
作者所在车队参加了首届中国“智能车未来挑战”赛，在比赛中，本文算法准确地识别出了交通灯。
为了进一步测试算法的准确率和速度，本文采集了３段湖南省长沙市岳麓区交通灯的视频，每段视频的长度在表２中给出。无人驾驶汽车在车顶装配有维视ＤＬＣＷ一１３０摄像机。我们驾驶汽车采集视频，然后在一台Ｐ４３．０ＧＨｚ，５１２ＭＢ内存的Ｐｃ机上使用采集的视频测试算法的性能。视频的分辨率为６４０×４８０。
２．２实验结果
图８（ａ）～（ｃ）分别显示了红、绿、黄灯的识别结果。每种色彩的交通灯都被相应颜色的矩形框（即缩放以后的模板）所包围。图（ａ）显示了来自视频１中红灯识别的结果；图（ｂ）显示了来自视频２中绿灯识别的结果；图（Ｃ）显示了来自视频３中黄灯识别的结果。
２．３识别准确率
分别测试了算法在没有使用验证处理时和使用验证处理时的正确率，并比较了文献［１，５］所提算法的识别准确率。准确率的定义如下：
准确率＝（总帧数一误检帧数一漏检帧数）／总帧数
由于在算法使用验证处理时，状态转换有一定的延时，本
文采取与文献［１］相同的处理方式：如果原始检测输出正确，万方数据
１２５４计算机应用第３０卷
认为验证处理也是正确的；在原始检测错误时，测试验证处理能否输出交通灯的正确状态。表２给出了本文算法和文献［１，５］算法的识别准确率，表中数据为ｌＯ次独立实验得出的平均准确率和均方差，均方差基于带验证处理的检测错误。
（ａ）视频１第１５８帧（ｂ）视频２第２８８帧（ｃ）视频３第７２２帧
图８交通灯识别的结果
表２三种算法的检测准确率对比
注：检测错误１表示原始检测错误的数量；检测错误２表示在原始检测结果基础上使用验证处理以后的检测错误的数量
从表２中可以看出本文算法识别准确率高于文献［５］算法的识别准确率，略低于文献［Ｉ］算法的识别准确率。
２．４时间消耗
表３给出了本文算法和文献［１，５］的算法在各个处理阶段时间消耗的对比以及总处理时间消耗的对比。文献［１］算法中提取候选区域相当于本文的查找和过滤，后处理相当于本文的模板匹配。
袤３三种算法时间消耗的对比ｍｓ
从表３中可以看出，查找阶段的时间消耗最多，而因为对每个图像块只进行一次匹配计算，所以模板匹配时间消耗很少。此外，从表中还可以看出，本文算法时间消耗略大于文献［５］算法，但远低于文献［Ｉ］算法的时间消耗。
表４显７示了三种算法在识别准确率和时间消耗方面的对比，为了更好地显示算法的差异，表中数据的最高准确率和最
少时间消耗均用单位ｌ表示。
从表中可以看出，本文算法在识别准确率和时间消耗方面能取得更好的平衡。
理想情况下，如果从视频文件读取数据足够快，那么算法能达到１０００／４８．Ｉ＝２０．８ｆｐｓ。由于读取速度限度，实验中算法处理速度为平均１６．３ｆ１）８。
表４三种算法的准确率和时间消耗的比较
３结语
本文提出一种基于色彩特征和形状特征的交通灯识别算法。算法首先使用形态学变换过滤掉颜色变化很小的区域，然后在Ｌａｂ色彩空间查找候选区域。在对候选区域进行一些简单的过滤以后，利用交通灯在形状上的典型特征：被一个黑色矩形框所包围的特点，设计出三个交通灯模板。通过模板和原图像之间的模板匹配来确认交通灯。最后使用统计的方法验证每帧输出的结果。实验结果表明算法能实时准确地识别出交通灯。本文提出的算法也有不足之处，例如需要事先知道交通灯是竖直放置还是水平放置，对于竖直放置的交通灯需要重新生成模板。另外，由于模板是人为生成的，匹配程度不是很高，需要多次测试才能找到合适的阈值。如何更好地利用形状特征，提高匹配程度是今后研究的重点。
参考文献：
【ＩＩＹＥＨＵＳ，ＵＭＩＴ０，ＫＥＩＴＨＲ．Ａｒｏｂｕｓｔｖｉｄｅｏｂａｓｅｄｔｌ＇ａ佑Ｃｌｉｇｈｔｄｅ－ｔｅｃｔｉｏｎａｌｇｏｒｉｔｈｍｆｏｒｉｎｔｅｌｌｉｇｅｎｔｖｅｈｉｃｌｅｓ【Ｃ】／／ＩＥＥＥＩｎｔｅｌｌｉｇｅｎｔＶｅｈｉ—ｃｌｅｓＳｙｍｐｏｓｉｕｍ．Ｗａｓｈｉｎｇｔｏｎ，Ｄｅ：ＩＥＥＥＰｒｅｓｓ。２００９：５２１—５２６．【２】ＫＩＭＹＫ，ＫＩＭＫＷ，ＹＡＮＧＸＩＡＯＬＩ．Ｒｅａｌｔｉｍｅｔｒａｆｆｉｃｌｉｇｈｔｒｅｅｏｇ－ｎｉｔｉｏｎｓｙｓｔｅｍｆｏｒｃｏｌｏｒｖｉｓｉｏｎｄｅｆｉｃｉｅｎｃｉｅｓ【Ｃ】∥ＩＣＭＡ２００７：ＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＭｅｃｈａｔｒｏｎｉｃｓａｎｄＡｕｔｏｍａｔｉｏｎ．Ｗａｓｈｉｎｇ－ｔｏｎ，ＤＣ：ＩＥＥＥＰｒｅｓｓ，２００７：７６—８１．
［３】ＨＷＡＮＧＴ一１４，ＪＯＯＩ－Ｈ，ＣｌＩＯＳ－Ｉ．Ｄｅｔｅｃｔｉｏｎｏｆｔｒａｆｆｉｃｌｉｇｈｔｓｆｏｒｖｉ?ｓｉｏｎ．ｂａｓｅｄｅａｒ
ｎａｖｉｇａｔｉｏｎｓｙｓｔｅｍ【ｃ］／／ＰＳＩＶＴ
２００６：ｐａｃｍｃＲｉｍＳｙｍｐｏｓｉｕｍＯｎＡｄｖａｎｃｅｏｉｎＩｍｓｅａｎｄＶｉｄｅｏＴｅｃｈｎｏｌｏｇｙ，ＬＮＣＳ４３１９．Ｂｅｒｌｉｎ：Ｓｐｒｉｎｇｃｒ－Ｖｅｒｌａｇ，２００６＂６８２－６９１．
［４１ＣＨＵＮＧＹ—Ｃ，ＷＡＮＧＪ－Ｍ，ＣＨＥＮＳ－Ｗ．Ａｖｉｓｉｏｎ—ｂａｓｅｄｔｒａ伍ｅｌｉｇｈｔｓｙｓｔｅｍａｔｉｎｔｅｒｓｅｃｔｉｏｎｓ【Ｊ】．ＪｏｕｒｎａｌｏｆＴａｉｗａｎＮｏｒｍａｌＵｎｉｖｅｒｓｉｔｙ：
Ｍａｔｈｅｍａｔｉｃｓ，ＳｃｉｅｎｃｅａｎｄＴｅｅｈｎｐｌｏｇｙ，２００２，４７（１）：６７—８６．【５】ｄｅＣＨＡＲＥＴｒＥＲ，ＮＡＳＨＡＳＨＩＢＩＦ．Ｒｅａｌｔｉｍｅｖｉｓｕａｌｔｒａ伍ｃｌｉｇｈｔｓｒｅｃｏｇｎｉｔｉｏｎ
ｂａｓｅｄｏｎ
ｓｐｏｔｌｉｇｈｔｄｅｔｅｃｔｉｏｎａｎｄａｄａｐｔｉｖｅｔｔｌｌ伍Ｃｌｉｇｈｔｓｔｅｍｐｌａｔｅｓ【Ｃ】／／ＩＥＥＥＩｎｔｅｌｌｉｇｅｎｔＶｅｈｉｃｌｅｓＳｙｍｐｏｓｉｕｍ．Ｗａｓｈｉｎｇ－ｔｏｎ，ＤＣ：ＩＥＥＥＰｒｅｓｓ，２００９：３５８—３６３．
【６】史婷婷，李岩．基于空问特征的图像检索【Ｊ】，计算机应用，２００８，２８（９）：２２９２—２２９６．
【７１杨怿菲．基于空间信息的彩色逆半调图像评价方法¨１．计算机应用，２００９，２９（６）：１６９９—１７０１．
【８】ＨＮＤＮＥＲＦ，ＫＲＥＳＳＥＬＵ，ＫＡＥＬＢＥＲＥＲＳ．Ｒｏｂｕｓｔｒｅｃｏｇｎｉｔｉｏｎｏｆｔｒａｆｆｉｃｓｉｇｎａｌｓ【Ｃ］／／ＩＥＥＥＩｎｔｅｌｌｉｇｅｎｔＶｅｈｉｃｌｅｓＳｙｍｐｏｓｉｕｍ．Ｗａｓｈ－ｉｎｇｔｏｎ，ＤＣ：ＩＥＥＥＰｒｅｓｓ．２００４：４９—５３．
【９】ＴＳＡＩＤ?Ｍ，ＬＩＮＣ－Ｔ．Ｆａｓｔｎｏｒｍａｌｉｚｅｄｃｒ０８８ｃｏｒｒｅｌａｔｉｏｎｆｏｒｄｅｆｅｃｔｄｅ—ｔｅｅｔｉｏｎ【Ｊ】．ＰａｔｔｅｒｎＲｅｘ：ｏｇｏｉｔｉｏｎＬｅｔｔｅｒｓ，２００３，２４（１５）：２６２５—２６３１．
［１０】（美）ＧＯＮＺＡＬＥＺＲＣ，ＷＯＯＤＳＲＥ，ＥＤＤＩＮＳＳＬ．数字图像处理：Ｍａｄａｂ版【Ｍ】．阮秋琦，译．北京：电子工业出版社，２００７，２７８
—２８２．万方数据
基于Lab色彩空间和模板匹配的实时交通灯识别算法
作者：徐成， 谭乃强， 刘彦， XU Cheng， TAN Nai-qiang， LIU Yan
作者单位：徐成,XU Cheng(湖南大学,计算机与通信学院,长沙,410082;江苏省计算机信息处理技术图像处理与图像通信重点实验室,江苏,苏州,215006)， 谭乃强,刘彦,TAN Nai-qiang,LIU
Yan(湖南大学,计算机与通信学院,长沙,410082)
刊名：
计算机应用
英文刊名：JOURNAL OF COMPUTER APPLICATIONS
年，卷(期)：2010，30(5)
被引用次数：0次
参考文献(10条)
1.YEHU S.UMIT O.KEITH R A robust video based traffic light detection algorithm for intelligent vehicles 2009
2.KIM Y K.KIM K W.YANG XIAOLI Real time traffic light recognition system for color vision deficiencies 2007
3.HWANG T-H.JOO I-H.CHO S-I Detection of traffic lights for vision-based car navigation system 2006
4.CHUNG Y-C.WANG J-M.CHEN S-W A vision-basedt rafficlight system at intarsections 2002(1)
5.de CHARETTE R.NASHASHIBI F Real time visual traffic lights recognition based on spot light detection and adaptive traffic lights templates 2009
6.史婷婷.李岩基于空间特征的图像检索 2008(9)
7.杨怿菲基于空间信息的彩色逆半调图像评价方法 2009(6)
8.LINDNER F.KRESSEL U.KAELBERER S Robust recognition of traffic signals 2004
9.TSAI D-M.LIN C-T Fast normalized cross correlation for defect detection 2003(15)
10.GONZALEZ R C.WOODS R E.EDDINS S L.阮秋琦数字图像处理:Madab版 2007
本文链接：https://www.wendangku.net/doc/fc2432774.html,/Periodical_jsjyy201005031.aspx
授权使用：广东工业大学图书馆(gdgydxtsg)，授权号：2fa33783-c112-4a0a-b7a8-9e9600a6da13
下载时间：2011年2月26日