光场图片中基于 PIenoptic 的尺度不变特征描述符
收稿日期：２０１５-０２-２８；修回日期：２０１５-０４-０８ 基金项目：国家自然科学基金资助项目（６１４００６００３５）
作者简介：王剑（１９７９-），男，江苏常熟人，讲师，硕士，主要研究方向为数据挖掘与图像处理（ｗａｎｇｊｉａｎ５１１１１＠１６３．ｃｏｍ）；刘永俊（１９８１-），男，山东人，讲师，博士研究生，主要研究方向为人工智能与智能系统、模式识别理论与应用．
光场图片中基于ＰＩｅｎｏｐｔｉｃ的尺度不变特征描述符*
王 剑１，刘永俊１，
２
（１．常熟理工学院计算机科学与工程学院，江苏常熟２１５５００；２．东北大学信息科学与工程学院，沈阳１１０８１９）摘 要：为了使光场图片在旋转和缩放等操作下保持不变，基于Ｐｌｅｎｏｐｔｉｃ函数的图片表达方法提出一种尺度不变特征描述符。首先，对Ｐｌｅｎｏｐｔｉｃ函数与光场进行了描述，并用七维数据来表示时序图片序列；其次，对Ｐｌｅｎｏｐｔｉｃ函数的规范化进行了分析，并给出了三维场景点向二维和三维Ｐｌｅｎｏｐｔｉｃ空间的映射方法；接下来，分析了光场中图片在旋转和缩放操作下的尺度不变特性，并给出了相应的变换算法；最后，在提取尺度不变的特征向量时通过融合函数降低了参数调整所需的计算量。实验表明，提出的尺度不变特征描述符可以更好地描述图片，从而在基于描述符的操作中具有更优的性能。
关键词：计算机视觉；图像处理；特征描述符；尺度不变
中图分类号：ＴＰ３９１．４１ 文献标志码：Ａ 文章编号：１００１-３６９５（２０１６）０６-１９１３-０３ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００１-３６９５．２０１６．０６．０６９
Ｐｌｅｎｏｐｔｉｃｂａｓｅｄｓｃａｌｅ-ｉｎｖａｒｉａｎｔｆｅａｔｕｒｅｄｅｓｃｒｉｐｔｏｒｉｎｌｉｇｈｔｆｉｅｌｄｉｍａｇｅｓ
ＷａｎｇＪｉａｎ１，ＬｉｕＹｏｎｇｊｕｎ１，
２
（１．ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ＆Ｅｎｇｉｎｅｅｒｉｎｇ，ＣｈａｎｇｓｈｕＩｎｓｔｉｔｕｔｅｏｆＴｅｃｈｎｏｌｏｇｙ，ＣｈａｎｇｓｈｕＪｉａｎｇｓｕ２１５５００，Ｃｈｉｎａ；２．ＳｃｈｏｏｌｏｆＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅ＆Ｅｎｇｉｎｅｅｒｉｎｇ，ＮｏｒｔｈｅａｓｔｅｒｎＵｎｉｖｅｒｓｉｔｙ，Ｓｈｅｎｙａｎｇ１１０８１９，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：Ｉｎｏｒｄｅｒｔｏｋｅｅｐｓｃａｌｅ-ｉｎｖａｒｉａｎｔｏｆａｎｉｍａｇｅｉｎｌｉｇｈｔｆｉｅｌｄｕｎｄｅｒｒｏｔａｔｉｏｎａｎｄｓｃａｌｉｎｇ，ｔｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｄａｓｃａｌｅ-ｉｎｖａ-ｒｉａｎｔｆｅａｔｕｒｅｄｅｓｃｒｉｐｔｏｒｆｏｒｉｍａｇｅｓｂａｓｅｄｏｎＰｌｅｎｏｐｔｉｃｆｕｎｃｔｉｏｎ．Ｆｉｒｓｔｌｙ，ｉｔａｎａｌｙｚｅｄＰｌｅｎｏｐｔｉｃｆｕｎｃｔｉｏｎａｎｄｌｉｇｈｔｆｉｅｌｄ，ａｎｄｕｓｅｄａｓｅｖｅｎ-ｄｉｍｅｎｓｉｏｎａｌｄａｔａｔｏｒｅｐｒｅｓｅｎｔｔｉｍｅ-ｏｒｄｅｒｅｄｓｅｑｕｅｎｃｅｏｆｉｍａｇｅｓ．Ｓｅｃｏｎｄｌｙ，ｉｔａｎａｌｙｚｅｄｔｈｅｒｅｇｕｌａｒｉｔｙｏｆｔｈｅＰｌｅｎｏｐｔｉｃｆｕｎｃ-ｔｉｏｎ，ａｎｄｇａｖｅｔｈａｔｈｏｗｔｏｍａｐａ３-ｄｉｍｅｎｓｉｏｎａｌｐｏｉｎｔｉｎａｓｃｅｎｅｔｏａ２-ｄｉｍｅｎｓｉｏｎａｌｏｒ３-ｄｉｍｅｎｓｉｏｎａｌｐｌａｎｅｉｎＰｌｅｎｏｐｔｉｃｓｐａｃｅ．
Ｔｈｉｒｄｌｙ，ｉｔａｎａｌｙｚｅｄｔｈｅｓｃａｌｅ-ｉｎｖａｒｉａｎｔｆｅａｔｕｒｅｓｏｆｉｍａｇｅｓｕｎｄｅｒｒｏｔａｔｉｏｎａｎｄｓｃａｌｉｎｇｉｎｌｉｇｈｔｆｉｅｌｄ，ａｎｄｐｒｏｐｏｓｅｄｃｏｒｒｅｓｐｏｎｄｉｎｇｔｒａｎｓｆｏｒｍａｌｇｏｒｉｔｈｍｓ．Ｆｉｎａｌｌｙ，ｗｈｉｌｅｅｘｔｒａｃｔｉｎｇｓｃａｌｅ-ｉｎｖａｒｉａｎｔｖｅｃｔｏｒ，ｉｔｄｅｃｒｅａｓｅｄｔｈｅｃｏｍｐｕｔａｔｉｏｎｗｉｔｈｐｒｏｐｏｓｅｄｉｎｔｅｇｒａｔｉｏｎ
ｆｕｎｃｔｉｏｎ．Ｔｈｅｅｘｐｅｒｉｍｅｎｔｓｓｈｏｗｔｈａｔ，
ｔｈｅｐｒｏｐｏｓｅｄｓｃａｌｅ-ｉｎｖａｒｉａｎｔｆｅａｔｕｒｅｄｅｓｃｒｉｐｔｏｒｃａｎｂｅｔｔｅｒｒｅｐｒｅｓｅｎｔａｎｉｍａｇｅ，ａｎｄｈａｓｂｅｔｔｅｒｐｅｒｆｏｒｍａｎｃｅｔｈａｎｒｅｌａｔｅｄｗｏｒｋｓ．
Ｋｅｙｗｏｒｄｓ：ｃｏｍｐｕｔｅｒｖｉｓｉｏｎ；ｉｍａｇｅｐｒｏｃｅｓｓｉｎｇ；ｆｅａｔｕｒｅｄｅｓｃｒｉｐｔｏｒ；ｓｃａｌｅ-ｉｎｖａｒｉａｎｔ
图像中特征集合的描述和提取是许多计算机视觉应用的重要组成部分，这些应用包括图像匹配
［１］
、对象识别
［２］
及人脸
检测［３］等。图像的特征描述符应当对图像的缩放和旋转等变
换保持不变，现有的图像特征检测及描述方法有Ｈａｒｒｉｓ角检
测［４］、ＢＲＩＥＦ算法［５］和ＳＩＦＴ算法［６］等。为了确保图像在变换
过程中保持不变，需要场景中的某些特定信息，然而这些信息往往在应用相机形成图片的过程中丢失。在应用相机生成图片的过程中，图片是将现实的三维世界映射成为二维平面图片的过程。该过程是不可逆的，因此深度和遮挡等信息丢失在图
片的形成过程中。由于消费者导向的光场相机［７］
得到了广泛
的关注，所以光场分析覆盖了计算机视觉的众多研究领域，如人脸识别和深度估计等。在经过大量的努力后，光场成像能力已被嵌入到移动设备中。通过移动电话中集成的光场相机，人们可以得到拍摄场景的额外信息，进而为基于计算机视觉的应
用提供基础［８］。为了实现图像在变换过程中保持尺度不变，
本文对光场图片的特征描述符进行了研究。本文首先研究了尺度对光场图片内部结构的影响，将光场信号的水平和垂直切片视为Ｅｐｉｐｏｌａｒ平面，并且认为场景中的每一点都是Ｅｐｉｐｏｌａｒ平面中的一条线。接下来，通过分析发现核线的梯度与相应的
场景点的深度成正比，因而通过对Ｅｐｉｐｏｌａｒ平面的裁剪进行场景的缩放。
1 基于PIenoptic 的尺度不变特征描述符
1．1 PIenoptic 函数与光场
当谈论图片的时候，往往认为图片是由二维坐标ｘ和ｙ的函数构成的，本文对图片的这一描述进行扩展。给定一组由时间序列构成的图片，该组图片序列的整体数据可以看做ｘ-ｙ-ｔ在三维空间的函数。为了对图片的函数作进一步泛化，假设有一个传感器相机记录图片在时刻ｔ０在位置（ｘ０，ｙ０）的波长为λ０，
当设定波长和时间为常数的情况下，图片序列数据在ｘ-ｙ平面上的切片为在特定时间特定波长下的二维图片。
除了包含（ｘ，ｙ，ｔ，λ
）外，Ｐｌｅｎｏｐｔｉｃ函数是在传感器相机的基础上考虑了相机的位置〈
Ｖｘ，Ｖｙ，Ｖｚ〉［９］
，那么时序图片序列数据可由如下的七维数据构成：
Ｐ＝Ｐ７（ｘ，ｙ，Ｖｘ，Ｖｙ，Ｖｚ，ｔ，λ
）（１）
在Ｐｌｅｎｏｐｔｉｃ函数表示中，七维数据不容易获得并且很难进行处理。实际中往往根据具体的应用得到相关信息的维度
第３３卷第６期２０１６年６月 计算机应用研究
ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓＶｏｌ．３３Ｎｏ．６Ｊｕｎ．２０１６