人脸识别技术综述_张翠平

第5卷(A 版)　第11期2000年11月

中国图象图形学报

J o urnal of Imag e and Gra phics V ol.5(A),N o.11

N ov.2000

基金项目:清华大学科技发展基金;公安部资助项目收稿日期:1999-11-12;改回日期:2000-04-18

人脸识别技术综述

张翠平

苏光大

(清华大学电子工程系“智能技术与系统”国家重点实验室图形图象分室,北京　100084)

摘　要　首先对计算机人脸自动识别技术的研究背景及发展历程做了简单回顾,然后对人脸正面像的识别方法,按照识别特征的不同进行了分类综述,主要介绍了特征脸(Eigenface)方法、基于小波特征的弹性匹配(Elastic M a tching )的方法、形状和灰度模型分离的可变形模型(Flexible M o del )以及传统的部件建模等分析方法.通过对各种识别方法的分析与比较,总结了影响人脸识别技术实用化的几个因素,并提出了研究和开发成功的人脸识别技术所需要考虑的几个重要方面,进而展望了人脸识别技术今后的发展方向.关键词　人脸识别　特征脸　小波特征　形状无关模型中图法分类号:T P 391.41 文献标识码:

A

文章编号:1006-8961(2000)11-0885-10Human Face Recognition :A Survey

ZHANG Cui -ping ,SU Guang -da

(Electronic En gineering Dep artmen t ,The State Key Laboratory of Intelligen t Technology and System ,

Tsingh ua Univer s ity ,Beijing 100084)

Abstract In this paper ,Resea rch backg ro und o f auto ma tic face r eco gnitio n a nd its rela tio n to human visio n system ar e briefly rev iewed.T hen cur rent face r eco gnitio n technologies ar e ro ug hly intr oduced and classified acco rding to differe nt recog nition fea tures.Fo ur main alg o rith ms ar e analy zed a nd co mpa red.Th e first is eig enface,w hich is ex trac tion o f glo bal fea tures using the PCA.In this a ppro ach,a set o f faces is r epresented using a small numbe r of g lo bal eig en v ecto rs,w hich enco de the ma jo r v a ria tio ns in the input set.Th e seco nd is flexible mo del,which sepa rate shape and g ra y para meter.The third is wav ele t-based elastic g ra ph ma tching ,in which memorized faces ar e r epr esented by r egular g raphs ,who se ve rtices are la beled by a multi resolutio n descriptio n in term s of localized spa tial frequencies.Spatial relationships within the object a re labeled by g eo metrical dista nce v ecto rs.Th e last method is traditio nal analytical techniques .Ba sed o n the analysis and comparison ,key facto rs in face r eco gnition techno logies are co ncluded and distilled as sug g estion to future r esea rch.

Keywords

　Face recog nition ,Eig enface ,W av elet -based feature ,Sha peless mo del 0　引　言

计算机人脸识别技术也就是利用计算机分析人脸图象,进而从中提取出有效的识别信息,用来“辨认”身份的一门技术.人脸识别技术应用背景广泛,可用于公安系统的罪犯身份识别、驾驶执照及护照等与实际持证人的核对、银行及海关的监控系统及自动门卫系统等.虽然人类的人脸识别能力很强,能够记住并辨别上千个不同人脸,可是计算机则困难

多了.其表现在:人脸表情丰富;人脸随年龄增长而

变化;人脸所成图象受光照、成象角度及成象距离等

影响;而且从二维图象重建三维人脸是病态(ill -po sed )过程,目前尚没有很好的描述人脸的三维模型.另外,人脸识别还涉及到图象处理、计算机视觉、模式识别以及神经网络等学科,也和人脑的认识程度紧密相关.这诸多因素使得人脸识别成为一项极富挑战性的课题.

计算机人脸识别技术是近20a 才逐渐发展起来的,90年代更成为科研热点.仅1990年到1998年

之间,EI可检索到的相关文献就多达数千篇.由于人脸识别实验所采用的人脸库通常不大,最常见的人脸库仅包括100幅左右的人脸图象,如M IT库、Yale库、CM U库等人脸库均为小型库,且由于不同人脸库之间的输入条件各异,因此不同的识别程序之间很难进行比较.为促进人脸识别算法的深入研究和实用化,美国国防部发起了人脸识别技术(Face Recog nition Technolog y简称FERET)工程[1],它包括一个通用人脸库和一套通用测试标准.该FERET库可用于各种人脸识别算法的测试比较. 1997年,FERET人脸库存储了取自1199个人的14126幅图象,其中同一人的图象差异,包括不同表情、不同光照、不同头部姿态以及不同时期(相隔18个月以上)拍摄差异等.如今FERET人脸库仍在扩充,并定期对各种人脸识别程序进行性能测试,其分析测试结果对未来的工作起到了一定的指导作用.由于FERE T库中包括军人的图片,不能在美国以外获得,因此其他国家的研究只能采用本地的人脸库,如英国的Manchester人脸库[2].

通常,人类进行人脸识别依靠的感觉器官包括视觉,听觉,嗅觉,触觉等,一般人脸的识别可以用单个感官完成,也可以是多感官相配合来存储和检索人脸,而计算机的人脸识别所利用的则主要是视觉数据.另外,计算机人脸识别的进展还受限于对人类本身识别系统的认识程度.研究表明[2],人类视觉数据的处理是一个分等级的过程,其中最底层的视觉过程(视网膜功能)起信息转储的作用,即将人眼接收的大量图象数据变换为一个比较规则的紧凑表达形式.生理学的研究表明,人眼视网膜上存在着低层次和高层次的细胞.其中,低层次的细胞对空间的响应和小波变换的结果相似[2];而高层次的细胞则依据一群低层次细胞的响应,而作出具体的线、面乃至物体模式的响应.以此为依据,在计算机人脸识别中,可以将那些通过大量图象数据简单处理后获得的特征定义为低层次特征,而将线、面、模式等描述特征定义为高层次特征.由此,图象KL变换后的系数特征、小波变换特征及一些统计特征均属低层次特征的范畴,而人脸部件形状分析的结果则为高层次特征.由于视觉数据经传输后的重建,需依赖于人脑中早期形成的先验知识,因此在人的识别系统中,人脸的检测是一个整体识别和特征识别共同作用的结果[3];具体说来,远处辨认人,主要是整体识别,而在近距离的人脸识别中,特征部件的识别则更重要.另外,人脸的各部件对识别的贡献也不相同,如眼睛和嘴巴的重要程度大于人的鼻子,人脸上半部分重要性大于人脸下半部分,其中特别的人脸更容易被识别记住[3],比如说歪嘴,或是独眼龙等人脸就更容易为人记起,没有个性的人脸相对就需要更长的时间来辨认.根据对人脑的研究表明[3],人脸的表情识别和人脸识别虽然存在联系,但总体说是分开的、并行的处理过程.这些结论对于设计有效的识别方法起到了一定启发作用.在现有的识别算法中,特征脸方法[4]和神经网络方法[5]是基于整体人脸的识别,而基于提取眼睛等部件特征而形成特征向量[6]的方法就是基于人脸特征的识别.

人脸识别的研究始于60年代末,最早的研究见于文献[7],Bledso e以人脸特征点的间距、比率等参数为特征,建成了一个半自动的人脸识别系统.而且早期人脸识别研究主要有两大方向:一是提取人脸几何特征的方法[7],包括人脸部件规一化的点间距离和比率以及人脸的一些特征点,如眼角、嘴角、鼻尖等部位所构成的二维拓扑结构;二是模板匹配的方法,主要是利用计算模板和图象灰度的自相关性来实现识别功能.Berto在1993年对这两类方法作了较全面的介绍和比较后认为,模板匹配的方法优于几何特征的方法[8].目前的研究也主要有两个方向:其一是基于整体的研究方法,它考虑了模式的整体属性,包括特征脸(E ig enface)方法、SV D分解的方法[9]、人脸等密度线分析匹配方法[10]、弹性图匹配(elastic g ra ph matching)方法[11]、隐马尔可夫模型(H idden M arkov Model)方法[12]以及神经网络的方法等;其二是基于特征分析的方法,也就是将人脸基准点的相对比率和其它描述人脸脸部特征的形状参数或类别参数等一起构成识别特征向量.这种基于整体脸的识别不仅保留了人脸部件之间的拓扑关系,而且也保留了各部件本身的信息,而基于部件的识别则是通过提取出局部轮廓信息及灰度信息来设计具体识别算法.文献[8]认为基于整个人脸的分析要优于基于部件的分析,理由是前者保留了更多信息,但是这种说法值得商榷,因为基于人脸部件的识别要比基于整体的方法来得直观,它提取并利用了最有用的特征,如关键点的位置以及部件的形状分析等,而对基于整个人脸的识别而言,由于把整个人脸图象作为模式,那么光照、视角以及人脸尺寸会对人脸识别有很大的影响,因此如何能够有效地去掉这些干扰很关键.虽然如此,但对基于部件分析的人

886中国图象图形学报第5卷(A版)

脸识别方法而言也有困难,其难点在于如何建立好的模型来表达识别部件.近年来的一个趋势是将人脸的整体识别和特征分析的方法结合起来,如Kin-Man Lam提出的基于分析和整体的方法[13], Andreas Lanitis提出的利用可变形模型(Flexible Models)来对人脸进行解释和编码的方法[14].

在介绍重要的人脸识别方法之前,先扼要说明一下应用于人脸识别的其它方法.其中SV D方法和特征脸识别方法同属统计分析的范畴,都是将表达人脸的大量图象数据降维后进行模式分类,其区别仅是变换基的给出不同;而等密度线的分析方法则试图通过从二维的人脸图上抽取等密度线(即等灰度线)来反映人脸的三维信息,其根据是地图上的等高线能反映地形特征,那么通过不同人脸的等密度线也可比较人脸的相似度;HM M是语音处理中成功的一种统计方法;而神经网络方法通常需要将人脸作为一个一维向量输入,因此输入节点庞大,其识别重要的一个目标就是降维处理.根据文献[15]对于自组织神经网络方法的分析,该文认为可采用自组织神经网络的P个节点来表达原始的N个输入(P

1　常用的人脸识别方法简介

1.1　基于KL变换的特征脸识别方法

1.1.1　基本原理

KL变换是图象压缩中的一种最优正交变换.人们将它用于统计特征提取,从而形成了子空间法模式识别的基础.若将KL变换用于人脸识别,则需假设人脸处于低维线性空间,且不同人脸具有可分性.由于高维图象空间KL变换后可得到一组新的正交基,因此可通过保留部分正交基,以生成低维人脸空间.而低维空间的基则是通过分析人脸训练样本集的统计特性来获得.KL变换的生成矩阵可以是训练样本集的总体散布矩阵,也可以是训练样本集的类间散布矩阵,即可采用同一人的数张图象的平均来进行训练,这样可在一定程度上消除光线等的干扰,且计算量也得到减少,而识别率不会下降.

也就是说,根据总体散布矩阵或类间散布矩阵可求出一组正交的特征向量u1,u2,…,u n,其对应的全部特征值分别为λ1,λ2,…,λn,这样,在新的正交空间中,人脸样本X就可以表示为

X=∑

n

i=1

X i u i(1) 若通过选用m(m

X=∑

m

i=1

X i u i(2) 如将子空间的正交基按照图象阵列排列,则可以看出这些正交基呈现人脸的形状,因此这些正交基也被称作特征脸,这种人脸识别方法也叫特征脸方法.关于正交基的选择有不同的考虑,即与较大特征值对应的正交基(也称主分量)可用来表达人脸的大体形状,而具体细节还需要用与小特征值对应的特征向量(也称次分量)来加以描述,因此也可理解为低频成分用主分量表示,而高频成分用次分量表示.其中,采用主分量作正交基的方法称为主分量方法(PCA).同时,也有人采用m个次分量作为正交基,原因是所有人脸的大体形状和结构相似,真正用来区别不同人脸的信息是那些用次分量表达的高频成分.由训练得到特征脸后,将待识别人脸投影到新的m维人脸空间,即用一系列特征脸的线性加权和来表示它,这样即得到一投影系数向量来代表待识别人脸,这时候,人脸识别问题已转化为m低维空间的坐标系数矢量分类问题,而分类最简单的做法是最小距离分类.

K L变换在90年代初受到了很大的重视,实际用于人脸识别也取得了很好的效果,其识别率从70～100%不等,这取决于人脸库图象的质量.从压缩能量的角度来看,KL变换是最优的,它不仅使得从n 维空间降到m维空间前后的均方误差最小,而且变换后的低维空间有很好的人脸表达能力,然而这不是说已经具有很好的人脸辨别能力.选择训练样本的散布矩阵作为KL变换的生成矩阵,是由于其最大特征向量抓住了该样本集合的主要分布,但这是图象统计,而不是人脸统计方法.它虽然考虑了图象之间所有的差异,但由于它不管这样的差异是由照明、发型

887

第11期张翠平等:人脸识别技术综述

变更或背景导致,还是属于人脸的内在差异,因此特征脸识别的方法用于人脸识别存在理论的缺陷.研究表明,特征脸的方法随着光线、角度及人脸的尺寸等因素的引入,识别率急剧下降.虽然可通过采用同一人的训练样本的平均来计算类间散布矩阵,但也只能在一定程度上纠正这个缺点.研究结果表明,主分量的方法使得变换后表达能力最佳,次分量的方法则考虑了高频的人脸区分能力.由于对KL变换而言,外在因素带来的图象差异和人脸本身带来的差异是不加任何区分的,因此,不管如何选择正交基,也不能根本解决问题.其改善的一个思路是针对干扰所在,对输入图象作规范化处理,其中包括将输入图的均值方差归一化、人脸尺寸归一化等;另一种改进是考虑到局部人脸图象受外在干扰相对较小,在进行人脸识别时,除计算特征脸之外,还可利用KL变换计算出特征眼睛、特征嘴巴等.然后将局部特征向量加权进行匹配,就能够得到一些好的效果.

1.1.2　对特征脸方法的改进

一种较好的特征脸改进方法是fisher脸方法(fisherface)[17],众所周知,fisher线性判别准则是模式识别里的经典方法,一般应用fisher准则是假设不同类别在模式空间是线性可分的,而引起它们可分的主要原因是不同人脸之间的差异.fisher的判别准则是:不同类样本尽可能远,同类样本尽可能近.文献[17]对用K L变换和fisher准则分别求出来的一些特征脸进行比较后得出如下结论,即认为特征脸很大程度上反映了光照等的差异,而fisher脸则能压制图象之间的与识别信息无关的差异.Belhumeur的试验[17],是通过对160幅人脸图象(一共16个人,每个人10幅不同条件下的图象)进行识别,若采用KL 变换进行识别,其识别率为81%;若采用fisher方法则识别率为99.4%,显然fisher方法有了很大的改进.Cheng jun Liu在KL变换基础上提出了PRM (Probalistic Reaso ning Models)模型[18],并在PRM 中采用了贝叶斯分类器,它是利用最大后验概率进行分类,其类条件概率密度的方差参数用类内散布矩阵来估计,而且,PRM是采用马氏距离,而不是采用最小欧氏距离的判别准则,并且特征脸和fisher 脸均可以看成是PRM的特殊情况.

文献[19]的改进方法是将人脸图象进行差异分类,即分为脸间差异和脸内差异,其中脸内差异属于同一个人脸的各种可能变形,而脸间差异则表示不同人的本质差异,而实际人脸图的差异为两者之和.通过分析人脸差异图,如果脸内差异比脸间差异大,则认为两人脸属于同一人的可能性大,反之属不同人的可能性大.假设该两类差异都是高斯分布,则先估计出所需的条件概率密度[19],最后也归为求差图在脸内差异特征空间和脸间差异特征空间的投影问题.如果说fisher脸的方法是试图减少光照等的外在干扰,那么文献[19]则是解决表情干扰的一点有效尝试,虽然这样的尝试还很初步.文献[19]中提到,ARPA在1996年进行的FERET人脸识别测试中,该算法取得了最好的识别效果,其综合识别能力优于其它任何参加测试的算法.

1.1.3　特征脸方法小结

如今特征脸方法用于人脸识别仍存在如下一些弊病:首先,由于作为一种图象的统计方法,图象中的所有象素被赋予了同等的地位,可是角度、光照、尺寸及表情等干扰会导致识别率急剧下降,因此较好的识别算法[19]都对人脸进行了矫正处理,且只考虑裸脸;其次,根据文献[2],人脸在人脸空间的分布近似高斯分布,且普通人脸位于均值附近,而特殊人脸则位于分布边缘.由此可见,越普通的人脸越难识别,虽然特征脸的方法本质上是抓住了人群的统计特性,但好的表达能力不等于好的区分能力;特征脸虽反映了特定库的统计特性,但不具有普遍代表性,而广泛的应用,则需要训练出的特征脸具有普遍意义;采用此方法的重要假设是人脸处于低维线性空间,即人脸相加和相减后还是人脸[2],显然这是不可能的,因为即使在定位和尺寸相同的情况下,由于部件的相对位置不同,相加、相减后的人脸也一样存在模糊,因此文献[14]提出形状无关人脸(shapeless face)的概念,即依据脸部基准点将人脸变形到标准脸,再进行特征脸处理.总之,有效的特征脸识别方法需要做大量预处理,以减少干扰.而如何表达,并去除表情因素则是识别的另一关键.

1.2　形状和灰度分离的可变形模型

文献[14]提出了一个形状和灰度分离的模型,即从形状、总体灰度、局部灰度分布3个方面来描述一个人脸(如图1、图2、图3所示).其中,点分布模型(图1)用来描述人脸的形状特征,该点分布模型中是用每点的局部灰度信息(图3是采用耳朵上一点附近的方向投影)来描述人脸的局部灰度特征;然后用点分布模型将图象进行变形,以生成形状无关人脸(图2),再做特征脸分析,从而得到人脸的总体灰度模式分布特征.这种三者相结合的识别方法,识

888中国图象图形学报第5卷(A版)

图1　提取点分布模型

图2　用于特征脸分析的形状无关脸

图3　局部灰度投影提取

别率为92%(300个人脸),虽然该方法作了一些改进,但构成该方法的基础仍是KL变换.一般在特征脸的方法中,是由行或列扫描后的人脸图象数据来生成特征脸子空间,这里则对应于3种由不同类型参数生成的3种特征子空间.该方法首先是循序取

每点坐标位置信息,并将其排列成待训练数据以生成形状特征子空间;然后对点分布模型的每一点(如图3中耳朵附近一点)取局部投影信息来代表该点附近的局部灰度特征,再通过训练后生成与该点相对应的局部灰度分布特征子空间.若将所有人脸的关键点都变形到规定位置,则生成形状无关人脸,然后对所有的形状无关人脸进行特征脸分析,以生成特征脸子空间.虽然每一个特征子空间都可以单独用来识别人脸,但若要完整地描述一个人脸,则需要3个特征子空间的人脸参数.文献[14]还试图通过形状特征子空间来分离和表情相关的参数,而设计形状和灰度分离的模型是希望能够有一个好的人脸模型.试验中,将这样的模型用于三维姿态复原、身份识别、性别识别、表情识别以及人脸的重建,均取得了一定的效果.

1.3　基于小波特征的弹性匹配方法

1.3.1　基本原理

在KL变换中,待识别人脸X和库中人脸C之间采用了通常的欧氏距离来进行匹配.虽然欧氏距离计算简单,但是当X和C只有位移、膨胀(如affine变换)或是表情不同时,则欧氏距离不会等于零,甚至很大,此外,若C作为人脸库中的已知人脸模板,应该是描述人脸的关键特征,它的维数并不需要和待识别人脸一样,因而此时欧氏距离就不合适;而弹性图匹配法是在二维的空间中定义了这样一个距离,它对通常的人脸变形具有一定的不变性,也不要求C、X维数一定相同.可采用属性拓扑图来表达人脸(图4采用的是规则的二维网格图),其拓扑图的任一顶点均包含一特征矢量,它记录了人脸在该顶点位置的分布信息(如图5),如文献[11]中介绍

的二维拓扑图的顶点矢量就是人脸经小波变换后的特征矢量.在图象的敏感位置(如轮廓线、突出点等),小波变换后生成的特征矢量的模较大.用拓扑图分别代表已知和待识别人脸,还可根据匹配拓扑图算出它们的“距离”,作为人脸的相似度准则.由于篇幅所限,详细的拓扑图生成过程文献[11]、[15].

图4　定义在人脸上的二维拓扑图

图5　表达人脸特征的二维矢量

人脸的相似度可用拓扑图的“距离”来表示,而最佳的匹配应同时考虑顶点特征矢量的匹配和相对几何位置的匹配.由图6(和图5一样,它们的每一顶点均为一特征矢量)可见,特征匹配即:S1上的顶点i,与S中相对应的顶点j(j=M(i),M为匹配函数),其特征的匹配度则表示i和j顶点的特征矢量相似度,而几何位置的匹配则为S中相近的两顶点,匹配

图6　定义在已知脸和待识别脸上的二维网格S和S1后,S1中对应的两顶点也应该相近,因此文献[11]用了以下能量函数E(M)来评价待识别人脸图象矢量场和库中已知人脸的矢量场之间的匹配程度

889

第11期张翠平等:人脸识别技术综述

E (M )=

∑

i -

〈C i ,X j 〉

〈C i X j 〉

+

λ∑i 1

,i

2

[(i 1-i 2)-(j 1-j 2)]

2

(5)

式中的第一项是计算两个矢量场中对应的局部特征X j 和C i 的相似程度,第二项则是计算局部位

置关系和匹配次序.由此可见,最佳匹配也就是最小能量函数时的匹配.

在求能量函数实现匹配的时候,可以有如下两种匹配的方法:其中一种是严格的匹配方法;另一种匹配即所谓弹性图匹配方法(见图7).由图7可见,网格S 经过了变形,即由原来网格S 中的一点对S 1

中一点的严格匹配,变成了S 中一点和S 1中一点领域范围内的匹配,其目的是为了进一步减小能量函数,通过最终收敛到一个最小值,来实现弹性匹配,正是这样的匹配容忍了表情的细微变化.

图7　弹性匹配

根据Jun Zhang [15]对综合M I T 、Oliv etti 、W wizm ann 、和Bem 等人脸库所形成的包括272幅照片的综合人脸库,分别用K L 方法和弹性匹配方法进行识别试验比较

[15]

,所得的识别率分别为66%

和93%.其中KL 变换的识别率很低,其原因主要

是由于综合库里来自4个人脸库的人脸图象在光照上有很大的差异所造成的,文献[15]之所以作出了弹性图形匹配优于KL 变换的结论,其原因之一是由于拓扑图的顶点采用了小波变换特征,因为它对于光线、变换、尺寸和角度具有一定的不变性.大家知道,小波特征分析是一种时频分析,即空间-频率分析,若空间一点周围区域的不同的频率响应构成该点的特征串,则其高频部分就对应了小范围内的细节,而低频部分则对应了该点周围较大范围内的概貌.根据该原理,文献[20]提出了用数学形态学上的腐蚀扩张方法形成的多尺度(多分辨率)特征矢量来取代小波特征,并证明了它具有和小波特征相似的效果,它能够反映空间一点周围的高低频信息.现已证明,弹性图形匹配能保留二维图象的空间相关性信息,而特征脸方法在将图象排成一维向量后,则

丢失了很多空间相关性信息.这些都是弹性匹配方

法优于特征脸方法的原因,如向人脸库中加入新的人脸时,由于不能保证已有特征脸的通用性,因而有可能需要重新计算特征脸;而对于弹性匹配的方法,则不需要改变已有的数据,通过直接加入新的模板

数据即可,但计算较复杂是弹性匹配的一大缺点.根据引言中提出的低层次特征和高层次特征的定义,这里的小波特征类似于外界景物在人眼视网膜上的响应,属低层次特征,没有线、面、模式的概念.由于低层次特征中信息的冗余不仅使得计算复杂,而且由于大量与识别无关的信息没有过滤掉,因而识别率会大打折扣,另外特征脸也存在这样的问题,其中典型的无用信息就是头发.

针对弹性匹配方法的缺陷,可从以下两方面进行改进:一是降低计算复杂度,即对表达人脸的二维矢量场进行特征压缩和提取;二是减少冗余信息,即将所提取出来的低层次特征和高层次特征(如眼角、鼻端的位置等)结合起来,以突出关键点的识别地位.1.3.2　对弹性匹配方法的改进及分析

文献[20]提出了一种弹性匹配的改进方法,即

将KL 变换应用于小波变换,来生成二维网格中顶点的矢量串,以减少其维数,从而大大减少了表达一幅人脸所需要的特征数量,而识别率不会明显下降.

文献[21]是采用人脸基准点,而不是采用二维网格作为拓扑图的节点,同时节点特征也是小波变换特征,即它忽略了除重要人脸部件以外的特征数据,把研究的重点直接定位到感兴趣的区域(参照图8).

图8　基于部件的拓扑图

文献[21]还采用了和文献[11]不同的结构来存储人脸特征(如图9所示).

图9　人脸特征库存储结构

890

中国图象图形学报第5卷(A 版)

由于文献[11]中特征库的存储是面向人脸的,即对每一张人脸都需要存储描述该人脸的整个拓扑图,因而导致了人脸的特征库很庞大,文献[21]中特征库的存储是面向人脸基准点的(如图9),且对应每个基准点有一串的特征矢量,当由某一人脸的对应基准点提取出来的矢量不同于库中已有的任意矢量时,就添入到该结构中存储起来,并编号.这样识别每个人脸只需知道人脸对应基准点在该存储结构中的特征矢量序号即可.该存储结构一个主要优点是,由于不同人脸在同一个基准点所对应的特征矢量可能相同,因此和面向人脸的存储形式相比,数据量会大大减少;另一优点是该存储结构有很强的表达潜力,设有10个基准点,如库中每一基准点都存储了50个特征矢量,那么该存储结构能表达5010

个不同的人脸.由此可见,文献[21]对文献[11]方法的一大改进是结合了人脸的高层次特征.

另外,弹性匹配方法在实现时,需要考虑具体的参数选择,如二维网格的大小、小波变换参数的选择等,这些参数都会影响识别的效果.毫无疑问,有效的识别效果依赖于关键识别信息的提取,如采取多大的人脸分辨率?能否对提取出来的特征(具体的或抽象的)进行筛选?经验知识使我们关注人脸部件及其附近的特征,而能否再次对这些特征进行筛选?并有何依据?文献[2]正是希望能够回答这些问题.文献[2]的方法称为紧凑多层图形方法,它是采用三维的拓扑图来表达人脸(如图

10).

图10　表达人脸的三维拓扑图

该图构成了一个金字塔的人脸模型,而且每一层中节点的特征矢量也是小波变换的结果.通过这样的金字塔模型就实现了同一个人脸的多分辨率表达.另外,文献[2]有如下两点创新:(1)将高低层特征联系起来,并通过手工选择一些关键点(如眼角、嘴角等)来定位三维拓扑图,同时去除了背景、头发等所在节点;(2)对三维拓扑图的特征进行了特征选择,选出了活跃的特征(包括节点内的特征分量和不同节点之间两种活跃性能比较),还去除了相当多的贡献不大的特征,从而形成了人脸的稀疏表达.由于

特征选择后,不同人脸的拓扑图保留的节点不完全一样,因此用于比较的两个人脸的三维拓扑图在数值上和结构上都不相同,为此,文献[2]定义了一种距离来计算它们的相似度.为提取活跃特征,我们曾尝试利用那些手工提取的关键点,来生成训练库的形状无关模型(不是形状无关人脸),即通过插值小波变换后生成的二维拓扑图来形成人脸的连续表达模型,并假设所有人的脸内差异相同(即表情等),然后根据训练库的统计形状无关模型,在一人一张照片的情况下,估计出个人表达模型中的活跃特征.打个比方,人的眼睛都是相似的,假设眼睛的分布为高斯分布,那么一个眼睛离平均眼睛越远,这个眼睛的特征就越显著,即,若有一定的与众(平均眼)不同性,就可以认为是该人的活跃特征,详细内容参考文献[2],该文有很多创新,它是以人脑对人脸的识别为依据,因此有很好的参考价值.

通过上述的介绍分析,可看出弹性匹配方法比特征脸识别方法前进了一大步.它是采用小波变换特征来描述人脸的局部信息,并和人眼视网膜对图象的响应相似[2],而且一定程度上容忍光线等干扰,对细微表情也不敏感.而且弹性匹配中的人脸模型还考虑了局部人脸细节,并保留了人脸的空间分布信息,且它的可变形匹配方式一定程度上能够容忍人脸从三维到二维投影引起的变形.目前还没有见到国内有利用弹性匹配进行识别的相关报道,但是从国外众多的关于弹性匹配的研究结果来看,它在人脸识别众方法中具有重要地位.1.4　传统的部件建模的方法

文献[8]认为在人脸识别中,模型匹配方法要优于基于相对距离的特征分析方法.尽管如此,传统的部件分析方法还是被一些研究室用于人脸识别,究其原因,一方面是由于其它方法还处于摸索阶段,另一方面是利用曲线去拟合部件、分析部件的形状比较直观,也容易取得一定的成果[6].

在各种人脸识别方法中,定位眼睛往往是人脸识别的第一步,由于两眼睛的对称性以及眼珠呈现为低灰度值的圆形,因此在人脸图象清晰端正的时候,眼睛的提取是比较容易的,如从400幅人像库上可取得96%的眼睛定位率

[6]

,但是如果人脸图象模

糊,或者噪声很多,则往往需要利用更多的信息(如眼睛和眉毛、鼻子的相对位置等),而且这将使得眼睛的定位变得很复杂.由于通常眼睛的形状模型为椭圆

[22]

,嘴巴的形状模型为抛物线

[22]

,因此椭圆和

891

第11期张翠平等:人脸识别技术综述

抛物线的参数和位置能够用作表达当前人脸的特征,文献[6]考虑到眼睛用椭圆表达过于简单,故又采用了二值化,并通过跟踪以得到眼睛形状的方法,由于眉毛和脸形的形状具有任意性,因此在一些研究中曾采用snake动态能量曲线来逼近形状[13,22],如脸颊的形状采用了折线,下巴采用抛物线的模型.这些都是传统的提取和分析形状的方法.虽然人脸是刚体,可实际图象中,部件未必轮廓分明,有时人用眼看也只是个大概,计算机提取就更成问题.另外,由于用抛物线、椭圆或者直线作为模型也不能很好的表达反映变化多端的人脸部件,且由于人脸识别还受到表情的影响,且不能在模型中表达表情,因而导致描述同一个人的不同人脸时,其模型参数可能相差很大,而失去识别意义,这也是部件建模识别方法近年受冷落的原因.尽管如此,在正确提取部件以及表情变化微小的前提下,该方法依然奏效,因此在许多方面仍可应用,如对标准身份证照的应用.

2　人脸识别方法的分析和总结

2.1　特征来源以及特征的后处理

众所周知,人脸的结构大体相同,所不同的是一些细节上的差异,原始的人脸图象不仅数据庞大,而且还会随着拍摄条件及表情神态变化而变化,这就使得人脸的识别成为模式分析中的一个难题.一般从人脸图象上进行有效的识别需要提取稳定的人脸特征,目前所利用的特征可以概括为形状、灰度分布、频域特征3种.其中,形状特征包括人脸各部件的形状以及人脸各部件之间的相对位置,这是最初研究所采用的特征;灰度分布特征,即将人脸图象看成一维或二维灰度模式,所计算出的不同灰度模式之间的距离就是整体的灰度分布特征,例如特征脸的方法,此外还有描述局部关键点领域的灰度分布特征的分析方法;频域特征,即将人脸图象变换到频域后所做的特征脸分析方法就是频域特征脸方法,此时的特征即为频域特征,如小波特征就是频域特征.虽然形状特征是3个特征中最具体形象的特征,但是它也和灰度特征一样受到光照、角度和表情的影响,而频域特征虽然相对较稳定,但作为低层次特征,不易直接用于匹配和识别,因此对它进行进一步的解释是目前需要解决的问题.

在弹性匹配中,若对每个节点运用KL变换,则能够减少特征数,而不降低识别率.其特征后处理的一个重要方面是特征的选择,也就是需选出最活跃的识别特征,去除对识别不重要的信息.在人脸识别的特征选择中,生物心理学家首先研究了人脸各部件对识别的重要性,接着文献[2]从模式识别的角度出发,结合人脸各部件信息,并运用最大后验概率,对表达人脸的低层次特征进行了筛选,从而减少了人脸信息的存储量,并改善了识别的效果.

2.2　人脸的定位问题

虽然人脸定位问题是人脸识别的第一步,但在前面介绍各种人脸识别方法的时候,并没有介绍具体的定位问题.事实上,对大多数方法而言,人脸的定位过程也就是人脸识别特征的生成过程,而且定位算法也是和识别算法密切相关的.为了说明这一点,下面给出一些人脸识别所采用的定位方法:方法1　特征脸的方法也可用于定位人脸,这是因为人脸模式在特征脸子空间的投影系数基本相似,若先将子图在特征脸空间投影后重建,然后比较原图和重建图,就能够说明原图是否是人脸,这是因为特征脸空间能反映人脸的分布,而对于非人脸则没有很好的表达力,因此重建图和原图的差异会较大.

方法2　最初的模板匹配方法是直接计算人脸图象和模板人脸图象之间的相似度,匹配最好时,即是人脸在原图中的位置,如弹性图形匹配中,采用的也是一种模板匹配,但是其参与匹配的是用小波特征表达的二维(或三维)拓扑图,若将模板拓扑图在全图生成的拓扑图上移动匹配(严格的或弹性的),则其最佳匹配就给出了人脸的位置,如文献[2]就采用了多分辨率的三维模型,其定位的时候是从最低分辨率开始定位,然后依次增加分辨率,直到位置不变为止,这是由于文献[2]考虑的是定位的分辨率可以远小于识别所需要的分辨率.

方法3　在灰度和形状分离的可变形模型中,很关键的一步是将形状模型自动定位到未知图中,因此匹配采用了ASM(active shape model)的方法[14],其在训练阶段,所有的形状模型都是手工定位的(见图1),由此生成形状特征子空间,且任何形状都可表达为X i=X-+P b.其中,X-是平均形状;P 是由训练生成的形状特征子空间的基所排列成的矩阵;也可将(X i-X-)用形状特征子空间表达;b为坐标系数矢量,一般通过对训练库进行统计分析,就能够给出b的统计特性,如均值、方差等,当b在合理的范围内变化的时候,可以认为其能够表达所有人

892中国图象图形学报第5卷(A版)

的形状特征.具体的定位是采用形状模型和模型上点的局部灰度分布相结合的方法来实现的,而匹配度的计算则是通过用模型上点的当前局部灰度分布和经验灰度分布匹配的加权和来表示.在达到最佳匹配时,待识别人脸的形状模型参数和模型上每点的局部灰度分布参数也同时确定了,所以说,定位的过程也就是识别的过程.

方法3在定位人脸的同时也就定位出了具体的部件位置,虽然方法1和方法3的基本原理不需要定位人脸的部件,而依赖于部件分析来进行人脸识别的方法[6]通常是应用一些先验知识(如眼睛的投影直方图形状、人脸的部件分布比例等)来初步给出人脸的大致位置,然后再精确定位人脸的各个部件.这里部件的定位通常使用投影方法、houg h变换的方法以及构造模型能量函数的匹配方法.

2.3　识别效果的比较

由于采用的人脸库不同,因此不同识别算法之间的优劣没有可比性,前面的论述也是尽量从理论上进行比较.根据M oghaddam等在1996年进行的FFEIT人脸库测试[19],结果说明区别脸内差异和脸间差异的Bay esian特征脸方法的表现最佳,即从5000幅待识别人像中,第一候选的识别率为89.5%,而灰度和形状分离的可变形模型在300幅人像中的识别率达到92%.另根据文献[15]的测试,在2000幅人脸图象的综合库中,利用小波特征弹性图形匹配的方法获得了93%的识别率,而PCA 识别率只达66%.

3　结　论

人脸识别是一个跨学科富挑战性的前沿课题,但目前人脸识别还只是研究课题,尚不是实用化领域的活跃课题.人脸识别难度较大,主要难在人脸都是有各种变化的相似刚体,由于人脸部件不仅存在各种变形,而且和皮肤之间是平缓过渡,因此人脸是不能用经典的几何模型来进行识别分类的典型例子.如今人脸识别研究人员已经慢慢地将研究重点从传统的点和曲线的分析方法,过渡到用新的人脸模型来表达和识别人脸,其中弹性图匹配就是较成功的尝试.虽然人脸识别算法的开发需要工程人员的努力,但也和解剖学、生理学等的研究密切相关.从目前的研究成果来看,就二维图象而言,成功的人脸识别至少需要考虑以下几个方面:(1)由于外部干扰不可避免,预处理的效果将会影响到识别结果,好的人脸模型应能够在识别的同时,抑制分离外在干扰的影响;(2)细节是区分不同人脸的关键,因此很多识别方法都十分注重细节,如弹性图匹配中的局部细节,就是通过节点的小波变换特征加以表达,而在灰度形状分离的可变形模型中,局部灰度投影分布也描述了人脸细节,另外,传统的点和曲线的方法更是直接从局部细节入手,可是特征脸方法则缺少对细节的考虑,故需和别的方法相结合,才能取得好的识别效果;(3)在匹配的时候,不仅要考虑各种因素所导致的人脸微小变形,而且在容忍变形的同时,还不能损害到人脸识别的有效性,如弹性图匹配的方法不论从特征的选择上,还是从匹配的方法上都力图遵循这一原则.由此可见,人脸变形在人脸识别中具有重要意义,因为人脸丰富的变形就是导致传统的点线分析方法失败的原因;(4)对于表达人脸的各种特征需要进行比较和选择,以找出人脸最活跃的特征.这可以通过如下两种途径:一是比较同一个人的多张图片,以得到稳定的特征;另一种方法就是比较不同人的图片,以得出该人最“与众不同”之处[2].

此外,实用的识别系统还必须考虑计算复杂度,现有的识别方法中,通过从人脸图中提取出特征串,来对数据库进行检索的方法速度快,而利用拓扑属性图匹配来确定匹配度的方法则相对慢,而且随数据库增加,前者的识别率要比后者下降得快,因此改进的思路是将两者相结合,首先用快速的特征串匹配,来缩小检索范围,再进行拓扑图慢匹配,此外,用减小拓扑图存储量的方法也能够加快匹配速度,但这需要提取有效特征和去掉冗余信息.

本文介绍和分析的各种人脸识别方法同样可用于摄像机输入人脸的识别,而对于摄像机图象而言,人脸的定位和表情的分析还可以利用序列图象之间的相关性信息,如从摄像机输入动态图可以进行二维及三维的运动估计,从而建立三维的人脸模型.由于从摄像机动态输入图中得到的信息很多,故还有可能进行有效的表情分析,以作为身份辨认的辅助手段.本文只是对目前应用于人脸识别的技术作了选择性的介绍,也是对文献[3]、[15]的一点补充.由于人脸识别的理论还不完善,具体算法的实现也有很多的因素待研究,因此计算机人脸识别的实用化还需要众多研究人员的不懈努力.

893

第11期张翠平等:人脸识别技术综述

参考文献

1　Phillips P J,M oon H,Raus s P et al.Th e FERET ev aluation meth od ology fo r face-recog nition algorith ms.In:IE EE Compu ter Society Conference on CV PR,J u ne17-191997:137～143.

2　Grudin M https://www.wendangku.net/doc/e118575928.html,pact m ulti-lev el rep res entation of human faces for recog nition.Ph.D diss er tation,Liv erpool Joh n M oo res University,Nov.1997.

3　Chellappa R,W ils on C L,Siroh ey S.Human and machine recog nition of faces:A Surv ey.Proceedings of the IEEE,1995, 83(5):705～740.

4　Turk M,Pentland A.Face recog nition using eig enfaces.In: Proc.of IEE E Conf.on CV PR,1991:586～591.

5　Valen tin D,Abdi H,O'Toole A J et al.Con nectionis t models of face p roces sing:A Survey.Pattern Recog nition,1994,27(9): 1209～1230.

6　严超,苏光大.人脸特征的定位与提取.中国图象图形学报, 1998,3(5):375～379.

7　W Bled soe.M an-machin e facial recognition.Panoramic Research Inc,Palo Alto,CA,1966,Rep PRI:22.

8　Berto R,Poggio T.Face recog nition:Feature vers us templates.

IEE E Trans.on PAM I,1993,15(10):1042～1052.

9　Ziquan Hong.Algeb raic featu re ex traction of image for recog nition.Pattern Recognition,1991,24(3):211～219.

10Nakamu ra O,M athur S,M inami T.Iden tification of human faces based on isodensity maps.Pattern Recog nition,1991, 24(3):263～272.

11Lades M,Vorbugg en J,Buhmann J et al.Distortion invarian t object recognition in the dynamic link architecture.IEE E Trans.

on Com puters,1991,42(3):300～311.

12Samaria F,Young S.HM M-bas ed architecture for face iden tification.Image and Vision Compu ting,1994,12(8).

13Lam K M,Yan H.An analytic-to-holis tic approach for face recog nition based on a s ingle fron tal view.IEEE Trans.on PAM I,1998,20(7).

14Lanitis A,Taylo r C J,Cootes T F.Au tomatic interp retation and coding of face images u sing flexible models.IEE E trans.on PAM I,1997,19(7).

15J un Zhang,Yong Yan,M ar tin Lad es.Face recognition: Eigen face,Elas tic M atching,and Neural Nets.Proceedings of th e IEEE,1998,85(9):1422～1435.16Lu ebbers P G,Uw echue O A,Pandya A S.A n eural n etw ork based acial recog nition s ys tem.Proc.S PIE,1994,2243:595～606.

17Belhum eur P N,Hespanha J P,Kriegman D J.Eigenfaces vs fish erfaces:Recognition using cals s specific linear projection.In: IE EE Tran.on PAM I,1997,19(7).

18Ch enju n Liu,W echs ler H.Probalilis tic reas oning mod els for face recognition.Proceedings of th e1998,IEEE Compu ter Society Conference on CV PR,Jun23-25,1998:827～832.

19M ogh addam B,Pentland A.Beyond linear eigens paces: Bayesian matching for face recognition.In:Face Recognition-from Th eory to Applications,NATO AS I series:Series F, 1997:230～243.

20Kotropoulos C,Pitas I.Face auth en tication based on morph ological g rid matching.IEEE In ter.Conf.on Image Processing,1997,1:105～108.

21Wisko tt L,Fellous J M,Kruger N.Face recognition by elas tic bu nch graph match ing.IEEE Trans.on PAM I,1997,19(7).

22Ch unglin Huang,Chingw en Ch en.Hu man facial featu re ex traction for face interpretation and recognition.Pattern Recog nition,1992,25(12):1435～

1444.

张翠平　1974年生.1997年获得清

华大学电子工程系学士学位.现为清华

大学电子工程系硕士生.主要研究方向

为图象处理.目前正在从事人脸识别的

研究

.

苏光大　清华大学电子系副教授.

长期从事图象处理系统的科学研究,目

前主要研究方向为人像识别和高速图象

处理.先后5次获部委级科技成果奖,发

表论文30余篇.

894中国图象图形学报第5卷(A版)

人脸识别技术综述

人脸识别研究综述 摘要：论文首先介绍了人脸识别技术概念与发展历史，解释人脸识别技术的过程与优缺点；随后对近几年人脸识别技术的研究情况与一些经典的方法进行详细的阐述，最后提出人脸识别技术在生活中的应用与展望。 关键词：人脸识别研究现状应用与展望 一、概念 人脸识别技术是基于人的脸部特征，对输入的人脸图像或者视频流。首先判断其是否存在人脸，如果存在人脸，则进一步的给出每个脸的位置、大小和各个主要面部器官的位置信息。并依据这些信息，进一步提取每个人脸中所蕴涵的身份特征，并将其与已知的人脸进行对比，从而识别每个人脸的身份。 广义的人脸识别实际包括构建人脸识别系统的一系列相关技术，包括人脸图像采集、人脸定位、人脸识别预处理、身份确认以及身份查找等；而狭义的人脸识别特指通过人脸进行身份确认或者身份查找的技术或系统。 二、发展历史 人脸识别的研究历史比较悠久。高尔顿(Galton)早在1888 年和1910 年就分别在《Nature》杂志发表了两篇关于利用人脸进行身份识别的文章，对人类自身的人脸识别能力进行了分析。但当时还不可能涉及到人脸的自动识别问题。最早的AFR1的研究论文见于1965 年陈（Chan）和布莱索（Bledsoe）在Panoramic Research Inc.发表的技术报告，至今已有四十年的历史。近年来，人脸识别研究得到了诸多研究人员的青睐，涌现出了诸多技术方法。 三、过程与优缺点 人脸的识别过程： (1)首先建立人脸的面像档案。即用摄像机采集单位人员的人脸的面像文件或取他们的照片形成面像文件，并将这些面像文件生成面纹(Faceprint)编码贮存起来。 (2)获取当前的人体面像。即用摄像机捕捉的当前出入人员的面像，或取照片输入，并将当前的面像文件生成面纹编码。 (3)用当前的面纹编码与档案库存的比对。即将当前的面像的面纹编码与档案库

NMF综述报告

人脸识别的非负矩阵分解(NMF)方法文献综述 摘要：人类对整体的感知是基于对部分的感知，NMF（非负矩阵分解，Non-negative matrix factorization）的思想正是源于此。通过对矩阵分解因子加入了非负性约束，使得对高维非负原始数据矩阵的分解结果不存在负值，且具有一定的稀疏性，因而得到了相对低维、纯加性、拥有一定稀疏特性的分解结果。与PCA（主成分分析，principal components analysis）等传统人脸识别方法相比，NMF的基图像就是人脸的各个局部特征，并且通过对经典算法的一系列优化，改进的NMF算法的识别率和鲁棒性较传统方法有着显著优势。此外，NMF在机器学习、语义理解等领域也有着重要应用。 关键词：非负矩阵分解（NMF）稀疏性改进的NMF 语义理解 一、引言 在实际中的许多数据都具有非负性，而现实中对数据的处理又要求数据的低秩性经典的数据处理方法一般不能够确保非负性的要求，如何找到一个非负的低秩矩阵来近似原数据矩阵成为一个关键问题。在这样的背景下，NMF方法应运而生。 NMF方法思想最早可以追溯到由Paatero和Tapper在1994年提出的正矩阵分解（Positive Matrix Factorization,PMF）[1]；此后1999年，Lee和Seung提出了一个以广义KL散度为优化目标函数的基本NMF模型算法，并将其应用于人脸图像表示[2]；2001年，Lee和Seung通过对基本NMF算法进行深入研究，又提出了两个经典的NMF算法，即基于欧氏距离测度的乘性迭代算法和基于广义KL散度的乘性迭代算法，并给出了收敛性证明[3]，这两种算法称为NMF方法的基准算法，广泛应用于各个领域。 但是在实际应用中，由于经典的基准NMF算法存在收敛速度较慢，未利用统计特征，对光线、遮挡等敏感，以及无法进行增量学习等问题，各种改进的NMF算法被提出。其中包括Lin提出的基于投影梯度（Projected Gradient，PG）的NMF方法[3]，该方法有着很高的分解精度；Berry提出的基于投影非负最小二乘（Projected Non-negative Least Square，PNLS）的NMF方法[5]，通过这种方法得到的基矩阵的稀疏性、正交性叫基准NMF方法都更好；此外还有牛顿类方法[6]和基于有效集[7]的NMF方法等。 二、NMF的基准算法 1.NMF模型 给定一个非负矩阵(即)，和一个正整数，求未知非负矩阵和，使得 用表示逼近误差矩阵。可以用下图表示该过程：

人脸识别技术概述

计算机光盘软件与应用 2012年第5期 Computer CD Software and Applications 工程技术 — 49 — 人脸识别技术概述 杨万振 （东北大学，沈阳 110819） 摘要：作为多学科领域的具有挑战性的难题，人脸识别技术覆盖了模式识别、神经网络、生理学、计算机视觉、 心理学、数字图像处理、数学等诸多学科的内容。 关键词：人脸识别；算法 中图分类号：TP391.41 文献标识码：A 文章编号：1007-9599(2012)05-0049-01 一、引言 人脸识别特指利用分析比较人脸视觉特征信息进行身份鉴别的计算机技术。人脸识别是一项热门的计算机技术研究领域，它属于生物特征识别技术，是对生物体（一般特指人）本身的生物特征来区分生物体个体。国内外的人脸识别的方法多种多样，并且不断有新的研究成果出现。但是，由于人脸识别问题巨大的复杂性，要建立一个能够完全自动完成人脸识别任务的计算机系统难度是相当大的，这不仅涉及到数字图像处理，而且还涉及到计算机视觉，人工智能和计算机网络及通讯等的多个学科领域的广泛知识。目前生物识别技术已广泛用于政府、军队、银行、社会福利保障、电子商务、安全防务等领域等[1,2]。随着技术的进一步成熟和社会认同度的提高，人脸识别技术将应用在更多的领域：1.公安、司法和刑侦。2.自助服务。3、.企业、住宅安全和管理。4.电子护照及身份证。5.信息安全。综上所述，人脸识别技术对于打击各类犯罪活动、维护国家安全和社会稳定等具有十分重大的意义。随着各种技术手段的综合应用和科学技术的发展， 相信人脸识别技术会不断向前发展，应用更加广泛。 二、人脸识别系统的基本框架 人脸识别过程包括两个主要环节：一是人脸的检测和定位，即从输入图像中找到人脸及其位置，并将人脸从中分割出来；二是对标准化的人脸图像进行特征提取与识别。 人脸识别系统基本框架图 如图所示，人脸识别系统各部分的功能和作用： （一）图像获取：用图像获取设备（数码相机、扫描仪、摄像机）获取图像，也可以在人脸图像库中获取图像，然后使用相应程序将图像转换成可处理的格式。 （二）检测定位：人脸检测是指在输入图像中确定所有人脸的大小、姿态和位置的过程。近年来，由于生物特征识别的发展和人际交互方式的发展，人脸检测定位的发展很迅速，但是其难点是容易受到亮度变化、人的头部姿势及图像背景等因素的影响。 （三）人脸图像预处理：对获取的图像进行适当的处理，使其具有的特征能在图像中表现的明显。该模块主要由灰度变化、光线补偿、对比度增强、高斯平滑处理、直方图均衡和图像二值化处理等子模块构成。 （四）特征提取部分：将预处理后得到的正规人脸图像按照相应的算法提取出用来识别的特征向量，将原始的人脸空间中的数据映射到特征空间中去。通常把原始人脸空间叫测量空间，把用以进行分类识别的空间叫特征空间，较高维数的测量空间的模 式表示可以经过变换变为在较低维数的特征空间中模式的表示。 （五）分类器设计：部分分类器的设计是在后台完成的，就是所谓训练过程，该过程结束后可生成分类器用于分类识别。模式识别问题事实上可以看做是一个分类问题，即把待识别的对象归于某一类之中。在人脸识别问题上就是把不同输入的人脸图像归于某个人这一类。其基本的做法就是在样本训练集的基础上确定某种判决规则，然后使按这种判决规则对待识别的对象进行分 类所引起的损失最小或造成的错误识别率最小。 （六）分类决策：就是运用已经设计好的分类器进行分类识别，得出最后的识别结果，并给出相应的判断。 三、人脸识别的常用方法 1.主分量分析法 2.线性判别分析法 3.独立分量分析法 4.隐马尔可夫模型法 5.弹性束图匹配法 四、人脸识别的技术优势 虽然目前人脸识别系统不是很成熟，但与虹膜识别、指纹 识别等其它生物特征识别技术相比，人脸识别的技术优势主要有以下几点： （一）非接触式操作，适用于隐蔽监控。由于人脸识别系统不需要接触，可以秘密开展，因此特别适用于网上抓逃、隐蔽监控等应用。这是虹膜、指纹等其他生物特征识别技术所不具备。 （二）无侵犯性，容易被接受。人脸识别系统一般为远距离 采集数据，减小了对用户造成生理上伤害几率，用户容易接受。 （三）图像采集设备成本低。目前，USBCCD/CMOS 摄像头非常低廉的价格，已成为计算机的标准配置，极大地扩展了人脸识别实用范围；此外，数码摄像机、数码相机和照片扫描仪等图像 采集设备在普通家庭的日益普及进一步增加了其可用性。 （四）更符合人类的识别习惯，可交互性强。人脸识别更 符合人识别人的习惯，故若与用户交互配合可以大大提高系统 的可靠性和可用性；但是指纹、虹膜识别却不具备如此优点。 （五）识别精确度较高、速度快。与其它生物识别技术相比，人脸识别的精度处于较高的水平，拒识率、误识率较低。 五、人脸识别研究的难点 人脸识别通常是通过对采集得到的人脸图像的分析计算来确定其身份的。人脸是具有复杂结构的三位可变形生物体，影响人脸识别效果的因素主要有以下几个： 姿态：人脸图像的变化，例如在三维人脸到二维人脸的成像过程中，由于相关的照相机-脸姿（正面的、45度、侧面、颠倒的）导致的不同，而一些脸部特征如眼睛或鼻子可能部分地或全部被遮挡。 组件的影响：面部的特征如胡须和眼镜等可能存在也可能不存在，这些组件包括形状、颜色和大小。 面部表情：人脸为可变形物体，人脸表情的变化直接影响人脸图像的模式。 图像的方向：照相机光轴的旋转不同可直接引起人脸图像的变化。 图像的条件：当图像产生时，一些因素如光(光谱、光源分布和强度)和照相机的特性(传感器的响应、透镜)影响人脸的外观。 参考文献： [1]Yin L.Basu A.Generating realistic facial expressions with wrinkles for model-based coding [J]．Computer Vision and Image Understanding,2001,84(2):201-240 [2]李云峰,杨益,田俊香.人脸识别的研究进展与发展方向[J].科技资讯,2008(5):23-32

人脸表情识别

图像处理与模式识别 ------人脸表情识别介绍摘要：人脸表情是我们进行交往和表达情绪的一种重要手段，不经过特殊训练，人类对其面部表情往往很难掩饰，所以，通过对人脸表情进行分析，可以获得重要的信息。人脸表情识别是人机交互的智能化实现的一个重要组成部分，也是模式识别、图像处理领域的一个重要研究课题，近几年来，受到了越来越多的科研人员的关注。 本文综述了国内外近年来人脸表情识别技术的最新发展状况，对人脸表情识别系统所涉及到的关键技术: 人脸表情特征提取，做了详细分析和归纳。 关键词：人脸定位；积分投影；人脸表情识别；流形学习；局部切空间排列Abstract:Facial expression is a kind of important means that we communicate and express the special training, People often difficult to conceal their facial , by the analyzing facial expression, we can obtain important information. Facial expression recognition is an important component that the implementation of human-computer interaction, and an important research topic in the field of pattern recognition, image processing, in recent years, more and more researchers focus on this topic. In this paper,we present the latest development of this area,and give a detailed analysisand summary for facial

人脸识别技术综述解读

人脸识别研究 代上 （河南大学环境与规划学院河南开封 475004） 摘要：现今世界经济发展迅速，而面对繁杂的社会安全问题却显得有些捉襟见肘，人脸识别技术能够因通过面部特征信息识别身份而受到广泛关注。人脸识别通常使用采集含有人脸图像或视频流的设备，将收集到的人脸信息进行脸部检测,进而与数据库中已有信息进行对比确定被识别对象的身份,已经广泛的应用于公共安全、教育等多个方面，且在以后的社会发展中具有很大的应用前景。本文主要对人脸识别的发展历程、主要识别方法予以总结概括，并对其应用范围与发展趋势进行分析。 关键词：人脸识别；方法；应用；发展 1引言 人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术。该项技术目前应用到社会的各个领域，例如个人家庭自动门的安全系统、犯罪人的身份识别系统、银行自动取款的服务系统等。 人脸识别系统给人带了很多方便，应用能力很强，但是人脸识别仍然有很多阻碍其发展的困难之处。主要表现在：在收集图像中目标自身的影响；在系统收集图像的过程中容易受到各种外界因素以及系统收集图像之后由于其它因素造成的面部损伤所带来的影响；随着时间的变迁，人的面部逐步发生变化的影响。这些都对人脸识别技术的发展造成了一定的困难，也使得该项技术面临着多种挑战性。 2 人脸识别研究的发展历史与研究现状 2.1发展历史 很早在19世纪80年代就有关于通过人脸对人类的身份进行辨别的论文发表，但是由于技术水平与设备的限制，人脸识别技术并没有受到重视。直到20世纪60年代末，Blcdsoc[1]提出了人脸识别研究的雏形，人脸识别技术才被人们接受。 在人脸识别研究的早期阶段，人们主要研究的是人脸识别的各种方法，但是在实际应用方面却没有得到实质性的进展。 进入20世纪90年代末的时候，人脸识别技术进入了一个快速发展阶段，在这个时期各种新的人脸识别方法相继出现，并创建了人脸图像数据库，对人脸识别的发展起到了巨大的促进作用。在实际应用方面也取得了很大的进展，运用人脸识别技术的产品逐渐进入了社会市场。 进入21世纪以后，人脸识别技术已经逐步发展成熟，但是由于非理想条件如（光照、天气、姿态）的影响，对人脸识别技术的要求也更高。为了解决这些不利因素所造成的影响，研究者们一直努力寻找更加趋于完美的方法，从而减少这些因素所带来的不利影响。 2.2研究现状 近几年来，人脸识别技术已经从以前的认知阶段发展到了实际应用阶段。但是由于每个人的面部都会因为各种不同的原因发生改变，这给人脸识别带来了不小的影响。如光照不同

基于matlab人脸识别技术 开题报告

毕业设计（论文）开题报告 毕业设计（论文）课题情况，根据所查阅的文献资料，每人撰写2500字以上的文献综述，文后应列出所查阅的文献资料。 基于matlab人脸识别技术的实现 文献综述 一、MATLAB概述 MATLAB是矩阵实验室（Matrix Laboratory）的简称，是美国MathWorks公司出品的商业数学软件，用于算法开发、数据可视化、数据分析以及数值计算的高级技术计算语言和交互式环境，主要包括MATLAB和Simulink两大部分。MATLAB主要面对科学计算、可视化以及交互式程序设计的高科技计算环境。它将数值分析、矩阵计算、科学数据可视化以及非线性动态系统的建模和仿真等诸多强大功能集成在一个易于使用的视窗环境中，为科学研究、工程设计以及必须进行有效数值计算的众多科学领域提供了一种全面的解决方案，并在很大程度上摆脱了传统非交互式程序设计语言（如C、Fortran）的编辑模式，代表了当今国际科学计算软件的先进水平。应用于工程计算、控制设计、信号处理与通讯、图像处理、信号检测、金融建模设计与分析等领域。而在本文中主要用到的功能是图像处理功能。 二、BP神经网络概述 人工神经网络（Artificial Neural Net works，简写为ANNs）也简称为神经网络（NNs）或称作连接模型（Connectionist Model），它是一种模范动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。 人工神经网络发展的主要历程有:20世纪50年代末,Rosenblatt提出的感知器模型和Widrow提出的自适应线性元件,出现了简单的线性分类器;1986年,Rumelhart和Mcllelland 提出了层网络“误差反向传播算法(BP)”,使有导师学习多层感知器网络(ML PN)模式分类器走向实用化,在此基础上又派生出若干前向网络,如径向基函数网络( RBFN)和函数链网络等;1982年,美国加州工学院的物理学家Hopfield提出的一种用于联想记忆和优化计算的反馈网络模型,由于引进了“能量函数” 的概念,使网络走向具体电路有了保证;20世纪70年代,Watanabe 提出了使用模式子空间的概念来设计不同类别对应的子空间,由不同类别聚类的子空间实现模式识别; Kohonen提出的自组织特征映射网络模型等都为神经网络模式识别理论提供了进一步的根据。 构成人工神经网络的三个基本要素是:神经元、络拓扑结构和网络的训练(学习)方法。神经元(节点)的作用是把若干输入加权求和,并对这种加权和进行非线性处理后输出。神经元的选择一般有以下特点:每个神经元都具有多个输入、个输出,具有闭值,采用非线性函数。 1、神经元

单样本人脸识别综述

单样本人脸识别综述 南京杭空航天大学 ELSEVIER 摘要 当前人脸识别技术主要挑战之一在于样本收集的困难性。很少的样本意味着在收集样本时付出更少的劳动，在存储和处理它们是付出更少的代价。不幸的是，许多现有的人脸识别技术很大程度上依赖于训练样本集的规模和代表性，如果系统中仅有一个训练样本，则将会导致严重的性能下降甚至无法工作。这种情况称之为“单样本”问题，即给出每人一幅人脸的存储数据库，目标是仅根据单幅人脸图像在不同的姿态、光照等条件下从数据库中识别人脸图像的身份。由于训练集非常有限，这样的任务队当前大多数算法而言都是非常具有挑战性的。现有许多技术正试图解决该问题，本文的目的是对这些算法进行分类和评估，对较为突出的算法进行了描述和批判的分析。并讨论了诸如数据采集、小样本规模的影响、系统评估等一些相关问题，同时提出了一些未来研究中具有前景的方向。 关键词：人脸识别；单训练样本 1 引言 作为少数几个同时具有高精度和低干涉的生物特征方法，人脸识别技术在信息安全、法律事实和监控、智能车、访问控制等方面具有大量的潜在应用。因此，在过去20年中人脸识别技术已经受到了来自学术和工业方面的极大关注。近来，一些作者已经从不同方面调查和评估了现有的人脸识别技术。例如，Samal et al. [4] and Valentin et al. [5]分别对基于特征和基于神经网络的技术进行了调研。Yang等[6]评述了人脸识别技术，Pantic and Rothkrantz[7]对自动面部表达分析进行了调研，Daugman [3]指出了涉及人脸识别系统有效性的几个关键问题，而最近的综述应该是Zhao et al. [1],他对许多最新的技术进行了评论。 人脸识别的目的是从人脸图像的数据库中的静态图像或视频图像中识别或验证一个或多个人。许多研究工作集中在怎样提高识别系统的精度，然而，大部分研究工作似乎忽视了一个可能来源于人脸数据库的潜在问题，即可能由于样本采集的困难或由于系统存储空间的限制，数据库中可能对每一个人只存储了一副样本图像。在这种条件下，诸如特征脸（Eigenface）和Fisher人脸识别技术等传统方法将导致严重的性能下降甚至无法工作（详见第2节）。这个问题称之为单样本问题，即即给出每人一幅人脸的存储数据库，目标是仅根据单幅人脸图像在不同的姿态、光照等条件下从数据库中识别人脸图像的身份。由于其挑战性和现实应用的重要性，这个问题很快成为了人脸识别技术近年来的一个研究热点，许多专用技术被开发来解决该问题，例如合成虚拟样本，局部化单一训练图像，概率匹配和神经网络方法。 本文最主要的贡献是给出这些从单一人脸图像进行人脸识别的特定方法一个综合的、评论性的综述。我们相信这些工作是对参考文献[1–7]的一个有用的补充，这些文献中所考察的大多数技术没有考虑单样本问题。实际上，通过对这个问题更多的关注和技术的详细研究，我们希望这篇综述能够对这些技术的基本原则、相互联系、优缺点以及设计优化提供更多深刻的理解。对一些相关问题，如数据收集、小样本空间的影响以及系统评估等也进行了讨论。 接下来我们首先试图建立有关什么是单样本问题以及为什么、何时应道考虑这个问题的一个公共背景。特别的，我们也讨论了该问题所不需要考虑的方面。在第三节我们继续回顾有关该问题的前沿技术。借此，我们希望能够借鉴一些有用的经验来帮助我们更有效地解决这个问题。在第四节中，我们讨论了有关性能评估的几个问题。最后，在第五节中我们通过讨论几个具有前景的研究方向对单样本问题进行了总结。

人脸识别技术综述 论文

本科生毕业论文（设计） 题目人脸识别技术综述 学院计算机学院 专业计算机科学与技术 学生姓名陶健 学号 0643041077 年级 2006 指导教师周欣 教务处制表 二Ο年月日

人脸识别技术综述 计算机科学与技术 学生陶健老师周欣 [摘要]随着社会信息化，网络化得不断发展，个人身份趋于数字化，隐性化，如何准确的鉴定，确保信息安全得到越来越多的重视。人脸识别，一种应用比较广泛的生物识别方法，在基于人脸固有的生物特征信息，利用模式识别和图行图像处理技术来对个人身份进行鉴定，在国家安全，计算机交互，家庭娱乐等其他很多领域发挥着举足轻重的作用，能提高办事效率，防止社会犯罪等，有着重大的经济和社会意义。 本文主要研究了人脸识别在图像检测识别方面的一些常用的方法。由于图像处理的好坏直接影响着定位和识别的准确率，因此本文对图像的一些识别算法做了着重的介绍，例如基于二维Gabor小波矩阵表征人脸的识别算法，基于模型匹配人脸识别算法等。此外，本文还提及了一般人脸识别系统的设计，并着重介绍了图像预处理环节的光线补偿，图像灰度化等技术，使图像预处理模块在图像处理过程中能取到良好的作用，提高图像识别和定位的准确率。 [主题词]：人脸识别；特征提取；图像预处理；光线补偿

Face Recognition Overview Computer Science Student：TAO Jian Adviser: ZHOU Xin [Abstract] With the information society, network was growing, personal identity tends to digital, hidden, how to accurately identify, to ensure that information security is more and more attention. Face recognition, an application of biometric identification methods more widely, based on biometric facial information inherent in the use of pattern recognition and image processing techniques to map line of personal identity ,play a great role in the national security, computer interaction, family entertainment and many other areas. Face recognition can improve efficiency, prevent social crime, of course it has significant economic and social significance. This paper studies aspects of face recognition in image detection and some common methods of identification. As the image processing directly impact on the accuracy of location and identification, so some of image recognition algorithm will be focused presentation, such as Gabor wavelet-based two-dimensional matrix representation of face recognition algorithms, model-based matching face recognition algorithm. In addition, the article also mentioned a general recognition system design, and highlights the image preprocessing part of the light compensation, gray image techniques, the image preprocessing module in the image processing to get to the good , and improve image recognition and positioning accuracy. [Key Words] Face recognition; feature extraction; image preprocessing; light compensation

自发表情识别方法综述

收稿日期：２０１５-０４-０３；修回日期：２０１５-０５-２６ 基金项目：国家自然科学基金资助项目（６１４６３０３４） 作者简介：何俊（１９６９-），男，江西东乡人，副教授，硕导，博士，主要研究方向为人机交互技术、模式识别等（ｂｏｘｈｅｊｕｎ＠ｔｏｍ．ｃｏｍ）；何忠文（１９８６-），男，江西九江人，硕士研究生，主要研究方向为人机交互技术、模式识别等；蔡建峰（１９９０-），男，河北人，硕士研究生，主要研究方向为人机交互；房灵芝（１９８８-），女，山东人，硕士研究生，主要研究方向为人机交互． 自发表情识别方法综述* 何 俊，何忠文，蔡建峰，房灵芝 （南昌大学信息工程学院，南昌３３００３１） 摘 要：介绍了目前自发表情识别研究的现状与发展水平，详细阐述了自发表情识别研究的内容和方法，以及自发表情识别研究的关键技术，旨在引起研究者对此新兴研究方向的关注与兴趣，从而积极参与对自发表情识别问题的研究，并推动与此相关问题的进展。关键词：表情识别；自发表情；特征提取 中图分类号：ＴＰ３９１．４１ 文献标志码：Ａ 文章编号：１００１-３６９５（２０１６）０１-００１２-０５ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００１-３６９５．２０１６．０１．００３ Ｓｕｒｖｅｙｏｆｓｐｏｎｔａｎｅｏｕｓｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎｒｅｃｏｇｎｉｔｉｏｎ ＨｅＪｕｎ，ＨｅＺｈｏｎｇｗｅｎ，ＣａｉＪｉａｎｆｅｎｇ，ＦａｎｇＬｉｎｇｚｈｉ （Ｉｎｆｏｒｍａｔｉｏｎ＆ＥｎｇｉｎｅｅｒｉｎｇＣｏｌｌｅｇｅ，ＮａｎｃｈａｎｇＵｎｉｖｅｒｓｉｔｙ，Ｎａｎｃｈａｎｇ３３００３１，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｈｉｓｐａｐｅｒｉｎｔｒｏｄｕｃｅｄｔｈｅａｃｔｕａｌｉｔｙａｎｄｔｈｅｄｅｖｅｌｏｐｉｎｇｌｅｖｅｌｏｆｓｐｏｎｔａｎｅｏｕｓｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎｒｅｃｏｇｎｉｔｉｏｎａｔｔｈｅ ｐｒｅｓｅｎｔｔｉｍｅ，ａｎｄｐａｉｄｐａｒｔｉｃｕｌａｒａｔｔｅｎｔｉｏｎｔｏｔｈｅｋｅｙｔｅｃｈｎｏｌｏｇｙｏｎｔｈｅｒｅｓｅａｒｃｈｏｆｓｐｏｎｔａｎｅｏｕｓｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎｒｅｃｏｇｎｉｔｉｏｎ．Ｔｈｉｓｐａｐｅｒａｉｍｅｄｔｏａｒｏｕｓｅｒｅｓｅａｒｃｈｅｒｓ’ａｔｔｅｎｔｉｏｎａｎｄｉｎｔｅｒｅｓｔｓｉｎｔｏｔｈｉｓｎｅｗｆｉｅｌｄ，ｔｏｐａｒｔｉｃｉｐａｔｅｉｎｔｈｅｓｔｕｄｙｏｆｔｈｅｓｐｏｎｔａｎｅ-ｏｕｓｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎｒｅｃｏｇｎｉｔｉｏｎｐｒｏｂｌｅｍｓａｃｔｉｖｅｌｙ，ａｎｄｔｏａｃｈｉｅｖｅｍｏｒｅｓｕｃｃｅｓｓｅｓｃｏｒｒｅｌａｔｅｄｔｏｔｈｉｓｐｒｏｂｌｅｍ．Ｋｅｙｗｏｒｄｓ：ｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎｒｅｃｏｇｎｉｔｉｏｎ；ｓｐｏｎｔａｎｅｏｕｓｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎ；ｆｅａｔｕｒｅｅｘｔｒａｃｔｉｏｎ 表情识别被视为未来情感人机交互的重要技术［１］ ，吸引了国内众多高校和科研机构的参与和研究［２～６］。但目前国内 外研究中比较常用的表情数据库中的人脸表情大都固定为正面，任务仅限于识别Ｅｋｍａ提出的六种基本表情（愤怒、高兴、悲伤、惊讶、厌恶和恐惧）。这不仅与实际表情不相符，而且忽视了真实表情中特有的脸部肌肉形变与头部运动之间的时空相关性。谷歌申请的新一代表情识别专利，挤眉弄眼方可解锁手机；荷兰开发的诺达斯（Ｎｏｌｄｕｓ）面部表情分析系统是世界上第一个商业化开发的面部表情自动分析工具，用户使用该系统能够客观地评估个人的情绪变化，可以跟踪人的表情变化。但二者均要求测试者的头姿基本保持不动，实时连续头姿估计阻碍了其在手机等智能终端领域的应用。因此，面向实际应用的 非正面表情识别研究在国内外日益受到重视［７，８］ 。 近十几年来，开展自发表情识别研究的机构主要有美国的加利福尼亚大学、卡耐基梅隆大学机器人研究所、匹兹堡大学心理学系，伊利诺伊大学、沃森研究中心、贝克曼研究所、伦斯勒理工学院、麻省理工大学媒体实验室、丹佛大学、德克萨斯大学计算机视觉研究中心、新泽西技术学院、芬兰的奥卢大学计算机科学与工程系机器视觉组、荷兰的阿姆斯特丹大学信息学院、澳大利亚的昆士兰科技大学科学与工程学院、加拿大的麦吉尔大学、日本的庆应义塾大学、爱尔兰的爱尔兰国立大学计算机视觉和成像实验室，中国的清华大学和中国科学技术大学等已经有人做了大量工作。目前该领域比较重要的国际会议包括计算机视觉与模式识别会议（ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ，ＣＶＰＲ）、模式识别会议 （ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ，ＩＣＰＲ）、人脸与姿态自动识别会议（ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＡｕｔｏｍａｔｉｃＦａｃｅＧｅｓｔｕｒｅＲｅｃｏｇｎｉｔｉｏｎ，ＦＧＲ）。关于非正面表情识别的研究文章 逐年增多，但国内还只是刚开始涉足该领域的研究［９］ ，一些非 正面表情识别中的关键技术尚有待突破。但总的来说，对目前自发表情识别的研究和探索还处于初级阶段，对自发表情识别的研究还需要研究人员共同的努力。本文介绍了常用的自发表情数据库以及自发表情识别关键技术研究进展。 １ 自发表情数据库 １）ＵＳＴＣ-ＮＶＩＥ数据库 ＵＳＴＣ-ＮＶＩＥ（ｎａｔｕｒａｌｖｉｓｉｂｌｅａｎｄｉｎｆｒａｒｅｄｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎｓ） 数据库［１０］ 是由中国科学技术大学安徽省计算与通讯软件重点 实验室建立的一个大规模的视频诱发的集自发表情和人为表情的可见光和红外自发表情数据库。其中自发表情库由自发的表情序列和夸张帧组成，人为表情库仅由中性帧和夸张帧组成。该表情数据库包含年龄在１７～３１周岁的２１５名被试者的自发和人为的六种表情。 ２）ＶＡＭ数据库 ＶＡＭ数据库［１１］ 采用的是以参加电视访谈节目（ＴＶｔａｌｋ ｓｈｏｗ）的方式诱发的自发表情数据库，记录了节目中年龄在１６～６９周岁的６位男嘉宾和１４位女嘉宾总共２０位嘉宾的面部表情和语音信息。该数据集由８３４名评估者使用两种方式进行评估：ａ）采用Ｅｋｍａｎ的六种基本表情类别进行标注；ｂ） 第３３卷第１期２０１６年１月 计算机应用研究 ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓＶｏｌ．３３Ｎｏ．１Ｊａｎ．２０１６

表情识别技术综述

表情识别技术综述 摘要：表情识别作为一种人机交互的方式，成为研究的热点。基于对表情识别的基本分析，文章重点介绍了面部表情识别的国内外研究情况和面部表情特征的提取方法。 关键词：表情识别；特征提取；表情分类。 前言：进入21世纪，随着计算机技术和人工智能技术及其相关学科的迅猛发展，整个社会的自动化程度不断提高，人们对类似于人和人交流方式的人机交互的需求日益强烈。计算机和机器人如果能够像人类那样具有理解和表达情感的能力，将从根本上改变人与计算机之间的关系，使计算机能够更好地为人类服务。表情识别是情感理解的基础，是计算机理解人们情感的前提，也是人们探索和理解智能的有效途径。如果实现计算机对人脸表情的理解与识别将从根本上改变人与计算机的关系，这将对未来人机交互领域产生重大的意义。 正文：一、面部表情识别的国内外研究情况 面部表情识别技术是近几十年来才逐渐发展起来的，由于面部表情的多样性和复杂性，并且涉及生理学及心理学，表情识别具有较大的难度，因此，与其它生物识别技术如指纹识别、虹膜识别、人脸识别等相比，发展相对较慢，应用还不广泛。但是表情识别对于人机交互却有重要的价值，因此国内外很多研究机构及学者致力于这方面的研究，并己经取得了一定的成果。 进入90年代，对面部表情识别的研究变得非常活跃，吸引了大量的研究人员和基金支持。美国、日本、英国、德国、荷兰、法国等经济发达国家和印度、新加坡都有专门的研究组进行这方面的研究。其中MIT的多媒体实验室的感知计算组、CMu、Ma州大学的计算机视觉实验室、Standford大学、日本城蹊大学、大阪大学、ArR研究所的贡献尤为突出。 国内的清华大学、哈尔滨工业大学、中科院、中国科技大学、南京理工大学、北方交通大学等都有专业人员从事人脸表情识别的研究，并取得了一定的成绩。在1999年的国家自然科学基金中的“和谐人机环境中情感计算理论研究”被列为了重点项目。同时中国科学院自动化所、心理所以及国内众多高校也在这方面取得了一定的进展。2003年，在北京举行了第一届中国情感计算与智能交互学术会议，会议期间集中展示了国内各研究机构近几年来从认知、心理、模式识别、系统集成等多种角度在情感计算领域取得的研究成果，一定程度上弥补了我国这方面的空白。国家“863”计划、“973”项目、国家自然科学基金等也都对人脸表情识别技术的研究提供了项目资助。 二、面部表情特征的提取方法 表情特征提取是表情识别系统中最重要的部分，有效的表情特征提取工作将使识别的性能大大提高，当前的研究工作也大部分是针对表情特征的提取。 目前为止的人脸面部表情特征提取方法大都是从人脸识别的特征提取方法别演变而来，所用到的识别特征主要有:灰度特征、运动特征和频率特征三种阎。灰度特征是从表情图像的灰度值上来处理，利用不同表情有不同灰度值来得到识别的依据。运动特征利用了不同表情情况下人脸的主要表情点的运动信息来进行识别。频域特征主要是利用了表情图像在不同的频率分解下的差别，速度快是其显著特点。在具体的表情识别方法上，分类方向主要有三个:整体识别法和局部识别法、形变提取法和运动提取法、几何特征法和容貌特征法。 整体识别法中，无论是从脸部的变形出发还是从脸部的运动出发，都是将表情人脸作为一个整体来分析，找出各种表情下的图像差别。其中典型的方法有:基于特征脸的主成分分析(prineipalComponentAnalysis，pCA)法、独立分量分析法(Indendent ComPonent Analysis，ICA)、Fisher线性判别法(Fisher’s Linear Discriminants，FLD)、局部特征分析(LoealFeatureAnalysis，LFA)、Fishe诞动法(Fisher^ctions)、隐马尔科夫模型法(HideMarkovModel，HMM)和聚类分析法。

人脸识别文献综述

文献综述 1 引言 在计算机视觉和模式识别领域，人脸识别技术（Face Recognition Technology，简称FRT）是极具挑战性的课题之一。近年来，随着相关技术的飞速发展和实际需求的日益增长，它已逐渐引起越来越多研究人员的关注。人脸识别在许多领域有实际的和潜在的应用，在诸如证件检验、银行系统、军队安全、安全检查等方面都有相当广阔的应用前景。人脸识别技术用于司法领域，作为辅助手段，进行身份验证，罪犯识别等;用于商业领域，如银行信用卡的身份识别、安全识别系统等等。正是由于人脸识别有着广阔的应用前景，它才越来越成为当前模式识别和人工智能领域的一个研究热点。 虽然人类能够毫不费力的识别出人脸及其表情，但是人脸的机器自动识别仍然是一个高难度的课题。它牵涉到模式识别、图像处理及生理、心理等方面的诸多知识。与指纹、视网膜、虹膜、基因、声音等其他人体生物特征识别系统相比，人脸识别系统更加友好、直接，使用者也没有心理障碍。并且通过人脸的表情/姿态分析，还能获得其他识别系统难以获得的一些信息。 自动人脸识别可以表述为：对给定场景的静态或视频序列图像，利用人脸数据库验证、比对或指认校验场景中存在的人像，同时可以利用其他的间接信息，比如人种、年龄、性别、面部表情、语音等，以减小搜索范围提高识别效率。自上世纪90年代以来，人脸识别研究得到了长足发展，国内外许多知名的理工大学及TT公司都成立了专门的人脸识别研究组，相关的研究综述见文献[1-3]。 本文对近年来自动人脸识别研究进行了综述，分别从人脸识别涉及的理论，人脸检测与定位相关算法及人脸识别核心算法等方面进行了分类整理，并对具有典型意义的方法进行了较为详尽的分析对比。此外，本文还分析介绍了当前人脸识别的优势与困难。 2 人脸识别相关理论 图像是人们出生以来体验最丰富最重要的部分，图像可以以各种各样的形式出现，我们只有意识到不同种类图像的区别，才能更好的理解图像。要建立一套完整的人脸识别系统(Face Recognetion System，简称FRS)，必然要综合运用以下几大学科领域的知识： 2.1 数字图像处理技术 数字图像处理又称为计算机图像处理，它是指将图像信号转换成数字信号并利用计算机

人脸自动识别方法综述_周杰

人脸自动识别方法综述 周 杰,卢春雨,张长水,李衍达 (清华大学自动化系,北京100084) 摘 要: 人脸自动识别是模式识别、图像处理等学科的一大研究热点,近几年来关于人脸识别的研究取得了很大进展.本文重点对近三、四年来人脸识别的研究进行综述并对各种方法加以评论. 关键词: 人脸自动识别;人脸检测;人脸定位 中图分类号: TP39114 文献标识码: A 文章编号: 0372-2112(2000)04-0102-05 A Su rvey of Automa tic Human Face Recognition ZHOU Jie,LU Chun -yu,ZHANG Chang -shui,LI Yan -da (De partment o f Automation ,Tsinghua Unive rsit y ,Be ijing 100084,China) Abstract: Automatic human face recogni tion is attractive in pattern recogniti on and i mage processing.In this paper we gave a survey of automatic human face recogni tion,mainly ai ming at the latest progress. Key words: automatic hu man face recognition;face detection;face localization 1 引言 随着社会的发展,各个方面对快速有效的自动身份验证的要求日益迫切.由于生物特征是人的内在属性,具有很强的自身稳定性和个体差异性,因此是身份验证的最理想依据.这其中,利用人脸特征进行身份验证又是最自然直接的手段,相比其它人体生物特征它具有直接、友好、方便的特点,易于为用户所接受[1]. 人脸识别是人类视觉最杰出的能力之一,它的研究涉及模式识别、图像处理、生理学、心理学、认知科学,与基于其它生物特征的身份鉴别方法以及计算机人机感知交互领域都有密切联系,因此早在六七十年代即引起了研究者的强烈兴趣.进入九十年代,由于各方面对人脸识别系统的迫切需求,人脸识别的研究重新变得非常热门.目前美国等国有许多研究组在从事人脸识别的研究,这些研究受到军方、警方及大公司的高度重视和资助,美国军方每年还专门组织人脸识别比赛以促进这一领域的发展.在国内,也开始有一些学校从事人脸识别相关的研究.近几年来关于人脸识别的研究取得了很大进步,国际上发表有关论文的数量大幅增长,IEEE 的PAM I 汇刊还于1997年7月出版了人脸识别专辑,每年的国际会议上关于人脸识别的专题也屡屡可见.而目前人脸识别综述的文章还是截止到1994年,因此我们认为非常有必要对近几年的研究工作进行一下总结.在本文中我们将对人脸识别方法进行综述,其中主要介绍近三、四年的研究工作,之前的研究工作请参看文[2,3]. 2 人脸自动识别系统 人脸自动识别系统包括两个主要技术环节(如图1所 示):首先是人脸检测和定位,即从输入图像中找到人脸及人脸存在的位置,并将人脸从背景中分割出来,然后才是对归一化的人脸图像进行特征提取与识别 . 图1 人脸自动识别系统构成 这两个环节的研究独立性很强.由于在很多特定情况下人脸检测与定位的工作比较简单,因此/特征提取与识别0环节得到了更为广泛和深入的研究;而近几年来随着人们越来越关心各种复杂情形下的人脸自动识别系统,人脸检测与定位才得到了较多的重视. 评价一个人脸自动识别系统的标准,一个是误识率即将某人错识别为其他人,另一个是虚警率即将其他人识别为这个人.这二者之间是存在矛盾的,所以在实际问题中往往需要进行某种折衷.如,在安全性要求较高的计算机登录系统中,必须要求虚警率要尽可能低,而误识率则可以高一些,这样只是增加合法用户的等录时间,并不会降低计算机系统的安全性.这一点同样适用于特征提取与识别环节,但是对于人脸检测与定位,我们一般则要求误识率要尽可能低,因为这样才可以保证所要识别的人不会在这一步就丢失. 收稿日期:1999-03-15;修订日期:1999-07-06基金项目:自然科学基金(No.69775009)资助课题 第4期2000年4月电 子 学 报ACTA ELECTRONICA SINICA Vol.28 No.4 April 2000