基于特征学习的人脸识别算法研究--毕业论文.docx

硕士学位论文

基于特征学习的人脸识别算法研究

学科专业电路与系统
学位类型科学学位□专业学位
研究生姓名 李茅
指导教师姓名、职称王 玲教授
论文编号

湖南师范大学学位评定委员会办公室
二〇一六年六月

分 类 号TP391 密级
学校代码10542 学号201302110919

基于特征学习的人脸识别算法研究
Sudy on Feature Learning For Face Recognition

研 究 生 姓 名 刘海媚
指导教师姓名、职称王玲教授
学 科 专 业 电路与系统
研 究 方 向 模式识别

湖南师范大学学位评定委员会办公室
二〇一六年六月
I

基于特征学习人脸算法研究

中文摘要

人脸识别算法因其在实际应用中广阔的前景而收到关注，它是人工智能、模式识别、计算机视觉等相关学科交叉领域的研究热点。人脸识别的核心问题是根据提供的人脸图像用机器提取出具有判别能力的特征来鉴别个人的身份。目前人脸识别算法受制于光照变化、姿态多样、饰物遮挡、表情变化和多模态图像影响，在实际应用中算法识别率不理想。
本文以局部特征提取的框架为基础，对人脸识别中的遇到的难点提出相应的解决方法。主要的研究成果有：
（1）研究了局部二值模式（LBP）的原理以及基于LBP的扩展算法。综合分析LBP模式的优点和缺点，提出了类LBP识别框架，同时给类LBP模式指出了相应的改进方向。
（2）局部序数模式(LIOP)提出使用邻域之间的序数关系对于纹理的描述有重要的作用。但是它只能应用在很小的邻域点上，得到的特征向量的判别能力较弱。于是我们研究了LIOP和LQP的相关原理，提出了基于局部序数描述的增强量化模式人脸特征提取算法。实验验证了该算法具有良好的识别能力，能够对表情、背景和遮挡有一定的鲁棒性。并进一步使用白化主成份分析使特征向量的分布更为紧凑，降低了特征向量的维度，提高了总体的识别性能。
（3）针对异质图像的识别问题，提出了基于成对判别滤波核学习的局部特征异质图像识别方法。与传统的使用图像灰度特征直接进行异质图像的共同特征的提取不同的是，我们先将图像进行判别滤波减去不同模态带来的图像差异，接着使用增强量化模式为图像编码并提取直方图特征用于最终的人脸匹配。不像CCA方法这种没有用到样本的标签信息的无监督学习方法，成对判别分析方法充分考虑了不同模态之间图像的标签信息。最终通过实验验证了该算法取得了比现有算法更好的效果。
关键词：局部二值模式；人脸识别；线性判别分析；滤波学习；异质图像识别

ABSTRACT

Face recognition is a important issue in real world application which involving pattern recognition ,artificial intelligence and computer vision area. The key point of face recognition is how to extract discriminative feature from face images to identify the specific person. Due to various adverse effects such as lighting, pose, accessory, expression and heterogeneous modality variations, the performance of most existing face recognition algorithms is not satisfactory in real world.
in this thesis, we study on the local feature extract framework and present some strategies to improve the performance of face recognition algorithms. The main contributions of this thesis are:
1.Study on local binary pattern and its varieties, and summarize a like local binary pattern feature extract framework. Besides, we list the pros and cons of ours framework, give the research direction of future works.
2.Local Intensity Order Pattern(LIOP) is a highly discriminative descriptor which encodes the local ordinal information of each pixel. However, the discriminative power of LIOP is limited since it just describes the relationship among the four neighbors around the center point. Local Quantized Patterns(LQP) could enrich the discriminative power of local pattern. We incorporate LIOP and LQP , and propose enhanced Local Quantized Patterns(ELQP).the experiment result indicate the proposed algorithm has better performance than compared algorithms. with WPCA, our algorithm's performance get improved.
3.To deal with the heterogeneous face recognition(HFR) problem, we propose the common discriminative subspace framework which utilizes two learning filter kernels to reduce the heterogeneous data's difference of the same person and then use ELQP to extract discriminative histgram features to classify each image. unlike the traditional heterogeneous face recognition algorithm using CCA to extract features, our method can use Linear Discriminate Analysis(LDA) to utilize local the label information to enhance the algorithm's performance. Experiment in HFB show our algorithm get good performance.

key words: local binary pattern; face recognition; Linear Discriminate Analysis; image filter; HFR
III

目录
中文摘要 I
ABSTRACT III
第1章 绪论 VIII
1.1人脸识别的研究背景和意义 VIII
1.2人脸识别技术的研究历程和现状 XI
1.3人脸识别技术的研究内容 XIII
1.4人脸识别技术研究的难点 XX
1.5人脸识别的评判标准 XXII
1.6 本文的主要工作和结构安排 XXIII
第2章 类局部二值模式理论综述 XXV
2.1 LBP概述 XXV
2.2LBP编码的特点 XXVI
2.3针对LBP算法的改进 XXVII
2.3.1图像滤波上的改进 XXVII
2.3.2针对模式采样的改进 XXVII
2.3.3针对模式编码上的改进 XXVIII
2.4类局部二值模式的直方图特征提取框架 XXVIII
2.4.1直方图特征度量 XXIX
2.4.2直方图权重度量方法 XXX
2.4.3直方图特征的降维方法 XXXI
2.4.4WPCA的计算过程 XXXII
第3章 增强局部量化模式人脸识别算法 XXXIV
3.1引言 XXXIV
3.2 增强局部量化模式 XXXV
3.2.1 局部序数模式 XXXV
3.2.2 局部量化模式 XXXVII
3.2.3 增强局部量化模式 XXXVIII
3.3 相似度量与降维方法 XXXIX
3.3.1 相似度量 XXXIX
3.3.2 WPCA降维 XL
3.4 融合PP和Retina的图像预处理方法 XLI
3.4.1 Retina模型 XLI
3.4.2 PP(a pipeline of image preprocessing)预处理 XLIII
3.4.3 本章PP-retina预处理算法 XLV
3.4 实验结果与分析 XLVI
3.4.1 实验参数与结果 XLVII
3.4.2 WPCA降维结果 XLVIII
3.5本章总结 XLIX
第4章 基于局部共同特征的异质人脸识别方法 L
4.1异质人脸识别概述 L
4.2异质人脸识别研究回顾 LI
4.3成对判别滤波核和增强量化模式融合算法 LII
4.3.1判别滤波核学习 LII
4.3.2 成对判别判别滤波核学习 LV
4.3.3整体算法框架 LVIII
4.4实验与结果分析 LIX
4.5本章总结 LX
第5章 总结与展望 LXI

61

第1章 绪论

1.1人脸识别的研究背景和意义
一直以来身份鉴别相关技术都是广大研究者的热门研究对象[1-5]。在实际应用中正确的识别每一个对象，并赋予相应的权限，实现该对象的功能。正确的识别用户身份，防止错误的识别也就显得尤为重要。例如身份证的编号，大门的钥匙，网络帐号的密码这些就是识别身份的重要信息。目前来看身份的识别分为两种，一种是传统的身份验证方法，包括利用各种物理的实体或者虚拟的信息进行身份的授权，比如钥匙，口令，磁卡等。另一种是新型的基于生物特征的识别方法，生物特征的方法一般是指用人的某些具有明显区分能力的特征来鉴别人的身份，常用的有人脸，指纹，手指静脉血管，虹膜，语音等。与传统的识别方法相比，生物特征具有5个优势：
（1）能够根据人的特征识别身份。
（2）能够防止被非法用户入侵和篡改
（3）不易丢失，不可转让
（4）用户体验好，不需要携带特定的工具，也不易损坏。
（5）不可伪造，也不可盗用，安全性能好。
理想的生物识别技术具有四个特性：普遍性、唯一性、持久性和可收集性。生物特征识别技术具体来说可以分为两类，一类是利用身体特征，比如人脸、指纹、虹膜等；另一类是利用行为特征，比如手写笔迹、步态、语音语调。生物特征识别技术的研究就是我们常说的模式识别的研究。不同之处在于生物特征识别侧重于从不同的模式中鉴别对象的身份。进入21世纪以后，随着相应技术的成熟，以生物特征为代表的身份识别技术逐渐进入了普通人的日常生活，例如以人脸和指纹识别为代表的生物特征识别技术已经开始应用在金融、教育、医疗和社保等领域。我们可以展望，在各国政府的重视和推动下，在不久的将来，生物特征识别技术将越来越深入到人们的日常生活之中，给人们的生活带来便利。
人脸识别技术作为生物特征的一种，相对于其他生物特征，比如指纹、虹膜、掌纹等，其具有四大优势。第一，具有非接触性。不需要用户与设备直接接触，可以远距离进行识别和认证；第二，隐蔽性强。不需要用户刻意配合，只要使用摄像头采集到人脸就可以，该优点决定了该技术适用于安防监控乃至于公安刑侦领域；第三，可交互性强，使用人脸对身份进行鉴别符合人的直觉易于接收；第四，数据采集成本低，已有的图像数据量十分巨大便于研究。人脸识别技术利用摄像头采集人脸图像信息，而指纹识别需要利用电子压力传感器采集指纹，因而在采集设备方面，人脸识别技术的采集设备简单易得且成本低廉。近几年随着模式识别、机器学习和人工智能等相关技术的发展使得人脸识别技术在实际应用中实现变得可能，同时由于人脸识别技术的上述诸多优点使得它在人们生活中的许多领域得到了推广，例如2008年的北京奥运会上中科院的人脸识别系统为奥运会期间的安保工作保驾护航。我国的已经广泛应用的第二代数字身份证的芯片保存有每个人的人脸数据，可以轻松的收集到大量的数据用于人脸识别。
目前的人脸识别系统主要包含两个子类[6]，一类是人脸鉴别(Face Verification)，另一类是人脸认证(Face Identification)。前者是一对一的识别，需要判断待识别人是否是系统中登记的用户是否为同一个人；后者是一对多的识别，判断待识别用户是否是系统的授权用户。人脸识别技术在实际生活中的应用主要包括以下几个领域：
1.考勤系统：越来越多的企业开始使用人脸考勤机对员工进行考勤。相对于之前广泛使用的指纹考勤机，人脸不容易伪造不涉及私密信息，系统部署更加方便。
2.门禁和安检系统：利用人脸识别身份认证控制门的开启和关闭，可以安装在小区住宅大门、保密室、看守所等需要安全保密的场所。
3.社保和金融应用：通过使用人脸识别技术防止信用卡被非法者使用以及社保支付被冒领等。使用人脸识别进行活体检验和身份识别。
4.公共安全系统：利用人脸识别技术隐蔽性强的优势，在银行、机场、商场等人员聚集的公共场所对人群进行监控，用于犯罪调查和安全检查。
5.相机和手机等休闲娱乐设备：在新型数码相机上搭载人脸识别功能进行自动拍照对焦，利用人脸识别对手机屏幕进行解锁。
从应用的范围来看，人脸鉴别系统可以应用在身份证件的真伪鉴别。而人脸认证系统可以应用在公安刑侦等涉及到巩固安全的场合。
人脸识别技术的研究最早开始于上个世纪六十年代，到了上个世纪九十年代已经成为了科研热点，至今已有大量的产品和设备具有人脸识别功能。人脸识别技术主要包含模式识别、计算机视觉和人工智能这三个主要的研究方向。人脸识别技术的身份认证主要任务是研究如何使机器能够更迅速、更准确地根据用户的人脸图像信息来判别用户的身份。人脸识别技术包含的研究内容极其广泛，属于多学科交叉领域。它与图像处理、模式识别、计算机视觉、心理学以及神经网络等十多门学科联系紧密，同时其原理与人脑工作机制和认知科学息息相关。因此，在研究人脸识别技术的同时可以促进与其相关学科技术的发展，其他学科的突破可以大大促进人脸识别技术的进步。不同于机器，人们可以快速高效的通过人脸面部图像来鉴别人的身份并理解人的情绪，但是对于机器来说却十分困难。由于在成像过程中存在着各种因素的影响从而导致同一个人的人脸面部图像随着环境的变化而发生较大的变化，因此如何建立一个稳定的自动人脸识别系统具有重要的研究意义。尽管目前商用的一些人脸识别系统其性能都宣称达到了良好的识别效果，但是在用户不主动配合以及成像条件受限的情况下，比如户外光照条件恶劣时，其识别性能会急剧下降，目前关于人脸识别研究并没有达到完美的境地，还存在许多尚未解决的难题，仍然有非常大的研究空间。
1.2人脸识别技术的研究历程和现状
回顾人脸识别技术的发展历程，按照时间顺序可以将其划分为4个发展阶段[7-8]。第一阶段是20世纪60年代生物特征识别技术处于萌芽时期[9-10]，研究人员在1965年设计了人脸识别系统，从而开启了以人脸识别为代表的生物特征识别技术的新时代。第二阶段是在1991年美国麻省理工大学的研究人员提出了特征脸人脸识别的理论和方法[11]，这标志着人脸识别技术作为一个新兴学科正式起步。第三阶段是在2001年美国“911”事件发生后，世界各国意识到人脸识别的重要意义，各国开始投入大量的资金和人员进行研发，这带动了人脸识别技术的进一步发展。第四阶段是自2008年的北京奥运会后，人脸识别技术开始应用于大型场馆的安全监控，这标志着人脸识别技术开始进入了大规模的应用实践阶段。我国在“十一五”和"十二五"的科技发展规划中将人脸识别技术的研究和发展列入其中。与此同时，国内一些科研机构和院校开始在人脸识别技术方面做了大量具有创新性的工作，如中国科学院自动化所、清华大学、中国科学院计算机所、香港中文大学多媒体实验室自主研发的人脸识别技术已经进入了世界先进水平行列。
在第一阶段主要研究的是人脸识别所需要的面部特征。研究人员采用人脸的几何特征结构来表示人脸，比如人的眼睛、嘴巴、鼻子等等。利用这些面部五官特征，从它们之中选出稳定的配置特征点，这些稳定的特征点以距离、角度或者形状来反映。这一特征表示方法由于特征数量较少并且特征鲁棒性差的缘故，从而导致整个人脸识别系统的性能不够理想。
在第二阶段主要采用代数特征的方法来表达人脸。其中最具代表性的是基于子空间的人脸表示方法，包括PCA（pricipal component analysis）算法、LDA(Linear discriminant analysis)算法[12]和ICA(Independent component analysis)算法[13]。该方法的优点是在用户配合的情况下，识别性能较为理想。
在第三阶段主要是采用局部特征来表示人脸。根据人脸不同区域对识别的重要性不同，从而相对于第三阶段的全局方法，局部特征能够提供更加精细的特征表示。该阶段所用的算法在用户不配合情况下也能达到较为理想的识别效果，其中最具代表性和革命性的是芬兰的Ahonen等人提出的LBP(local binary pattern)算法[14-16]。
人脸识别技术在第四阶段的贡献在于结合了机器学习的相关理论知识。就目前为止，人脸识别技术在商用系统中已经能较为满意地为用户提供服务，可是在视频流监控和用户所处的光照环境极其恶劣的情况下，前几个阶段的技术并不能较好地满足用户需求。这一阶段的研究重点是将机器学习结合到人脸特征分类中，人工神经网络、支持向量机SVM、Adaboost和现在最为火热的深度学习（deep learning），都给人脸识别带来了一个革命性的创举。尤其是近期出现被广大研究人员所重视的深度学习，由于其在公共人脸测试库（LFW）上达到了前所未有的识别性能，从而被各大科研机构、院校和企业作为下一步人脸识别技术的研究重点。深度学习试图模仿人脑如何利用神经网络来感知世界，它的成果很大程度上受益于近年来出现的人工神经网络和基于GPU的并行计算的发展。
国内专门研究人脸技术的机构有中国科学院的生物识别与安全技术中心、清华大学的图像识别联合研究中心和中科院的智能信息处理重点实验室等，其中还有国内一些例如汉王、创合和海鑫等一些专门从事人脸识别技术产品的企业。在国际上涉及人脸识别技术研究的知名研究机构有耶鲁大学的计算机视觉中心、麻省理工大学的人工智能实验室、卡耐基梅隆大学的机器人研究所和微软研究所等。国际上每年都有相关的组织专门举办探讨有关人脸识别技术的会议，例如CVPR、ICCV、ECCV和CCPR等。此外还有一些生物特征识别的技术会议也有关于人脸识别的技术讨论，如AFGR、AVBPA、ICBA。
1.3人脸识别技术的研究内容
人脸识别系统主要包括人脸采集与人脸检测、人脸预处理、人脸特征提取和人脸匹配三个过程，人脸识别系统处理流程如下图1-1所示。
图1-1 人脸识别整体流程图
在本文中我们将人脸图片分成注册集，测试集和训练集三个集合，其中注册集表示所有已知身份的图像的集合；测试集表示待识别的图像集合；训练集表示一个身份已知的图像集合，在这个集合上进行算法参数的调整。从图1-1的人脸识别整体流程图可知，整个系统的处理过程为：首先分别对注册集图像通过人脸检测算法检测出人脸，然后通过人脸预处理算法对检测到的人脸进行处理，该步骤包括图像对齐与图像增强，并裁剪到规定尺寸，接着采用人脸特征提取算法提取每一幅人脸的特征，最后得到的特征就是整幅人脸的特征描述，所有的注册集图像都按照这个流程处理后得到的特征描述合并为一个人脸特征库。当一幅测试人脸需要比对或者识别时，采取与注册集人脸相同的步骤进行处理，得到相应的人脸特征数据与注册集人脸特征进行匹配。人脸匹配实际上就是采用恰当的距离判别方法进行测试人脸和注册人脸的相似度的计算，最后输出识别结果。依照人脸识别框图，人脸识别技术的研究内容可以分为四个方面：
(a)人脸检测技术的研究
人脸检测的研究[8]分为静态人脸检测和动态人脸检测。静态人脸检测的目的是从一幅静止的图片中检测出人脸是否，如果存在就定位人脸所在的区域位置，该项技术类似于图像兴趣区域提取；动态人脸检测的目的是从视频流中的一帧一帧图片中检测人脸，该项技术可用于人脸视频监控系统和人脸追踪。人脸检测在近几年也是研究的重点，特别是视频中的人脸检测问题。在某些情况下动态人脸检测技术可以视为静态人脸识别技术的扩展。按照研究的时间顺序，人脸检测算法可分为模板匹配算法，肤色算法，SVM算法，Adaboost算法。其中模板匹配算法不需要经过训练，但是其精度比较差，检测速度慢；肤色算法是通过统计学习的方法，估计出人脸肤色在颜色空间中的概率模型，然后将通过训练出的概率模型来估计判断某个点是否是人脸区域；SVM方法是基于机器学习的方法，它将人脸像素输入分类器，利用训练好的分类器来判断人脸区域，但是该方法需要对多个尺度的图像进行检测，因此检测速度比较慢。目前最为经典的人脸检测算法是viola在2001年提出的融合Adaboost算法和角点特征的算法[17]，该算法在静态人脸检测系统测试库中能达到百分之九十以上的检测率，该算法的特点是训练较慢，但是检测速度较快。Adaboost通过级联若干个弱分类器组成一个强分类器，然后利用训练好的最终强分类器来检测人脸位置，从而大大地降低了误检率。
(b)人脸预处理的研究
人脸预处理主要是人脸对齐和尺度归一化的研究[18-20]。人脸对齐在整个人脸识别中同样起着关键性作用，因为如果检测到的人脸区域没有经过人脸对齐，那么这种旋转、平移和尺寸大小不一的变化必然会影响到后续的人脸特征提取，因此近几年也有大量的相关文献研究人脸对齐算法。人脸对齐的方法主要分为两大类：一种是基于知识特征的对齐，另外一种是基于统计学习特征的对齐。基于知识特征的对齐方法使用人脸若干个面部特征点的位置变换使得人脸对齐，该方法对于姿态和表情的变化比较敏感，不具有鲁棒性，会影响到后续的人脸特征提取和识别。基于统计特征的对齐方法使用统计学习算法构建人脸模型后再对齐人脸，常用的该类算法是主动形状模型ASM和主动表观模式AAM算法[21]，该类算法分为模版训练阶段和模版匹配阶段。模版训练阶段通过事先标定好的训练数据进行分析，最终得到人脸的轮廓形状模型，算法的关键是模型参数的定义值，通常可以用回归或者最优目标函数训练得到模型参数值。模版匹配阶段是将图像用前面的模型参数来表示。一般说来利用人脸检测后得到的人脸关键点的位置来实现人脸预处理对齐算法，具体说来是通过人脸的眼睛坐标，然后通过双眼之间的距离大小使得人脸根据双眼位置而对齐，最终将对齐的人脸裁剪到规定尺寸大小。该方法在正面静态人脸识别中具有有着良好的性能。
(c)人脸特征表示的研究
人脸特征表示的目的是将人脸原始的高维特征数据用低维数据进行描述，也成为人脸描述，提取出的低维特征能够有效地区分不同人脸。这个步骤是整个人脸识别的关键，因为无论之前的检测和预处理算法多么完美，如果没有较好的算法来描述人脸的高维特征信息，那么整个人脸识别系统的目的就无法达到。因此在这个环节上，研究人员和研究成果相对较多，近几年也一直在进行相关算法研究的突破。通常人脸特征表示算法大致可以分为两大类，一类是基于全局特征表示算法，另一类是基于局部特征表示算法。全局特征表示是指其特征向量是从一整幅人脸图像上提取得到的，通常反映了整体面部信息。与之相对的局部特征表示是指其特征向量是基于一副人脸图像中部分像素或部分区域提取得到的，通常局部特征更加注重各个局部细节。当局部特征的选取范围扩大到整幅图像，局部特征方法就和全局特征方法就可以视为全局表示了。从早期的基于几何特征方法，到近代的基于子空间分析方法、流型表示[22]、稀疏表示[23]等都属于基于全局特征表示算法。其中应用最广的是基于子空间分析方法，该方法通过线性或者非线性变换将人脸高维数据转换到一个维数较低的子空间中，使得高维空间中分布散乱的人脸图像可以使用低维子空间中的基向量来近似表示，同时低维特征在子空间分布得更加紧凑，该类方法对人脸进行了分类识别的同时也降低了人脸图像的维数也被称为特征降维方法[24]，主要包括以下几种算法：
（1）主成分分析算法（principal component analysis,PCA）
PCA算法又叫特征脸（eigenface）算法，由Turk等人提出的，利用K-L变换将人脸高维数据压缩投影到低维空间，实际上这个过程是求解原始图像特征在均方误差最小的前提下的最优投影方向。同时由于PCA的输入数据是不带标签的，因此PCA属于无监督学习方法，之所以叫做学习方法，是因为这类算法要经过训练数据得到低维空间，训练过程即学习过程。PCA将整幅图像像素数据通过K-L正交变换获取正交基，去除冗余部分，保留主分量信息，从而使得人脸高维数据大大降低。在压缩过程中，通过均方误差最小目标函数获取最优的主分量信息，从而使得投影到低维空间后的数据具有较高的可分性。另外PCA压缩数据的过程必然会损失一部分信息，考虑到图像数据的维数一般都很高（例如100X100的图像维数是10000X1的特征向量）如果训练集的样本数量过少，PCA训练得到的投影矩阵不能真实反映样本的分布情况。于是很多的研究者提出了相应的改进算法例如二维主成分分析[25]、张量主成分分析[26]。PCA方法没有用到标签信息，其人脸分类效果不是十分理想。一般都是作为高维数据降维的一种手段使用。
（2）线性判别分析算法（linear discriminant analysis,LDA）
LDA是另一种具有代表性的全局特征表示算法。不同于PCA，LDA的原理是将输入的带有标签的数据通过投影的方法，投影到低维空间，并且使得投影后的数据能够根据标签按照类别来区分，投影后的数据能够使得相同类别的数据分布更加紧凑，不同类别的数据分离得更开。LDA实际上是通过求解一个最优化函数，该函数定义了类间散布矩阵和类内散布矩阵，LDA就是同时满足类间散布最大与类内散布最小的投影方向。LDA投影是线性投影，如果输入的带标签数据有K个类别，那么LDA投影时就需要K个线性函数，最终得到的子空间最大维数就是K-1维。LDA作为一种监督学习方法，它也可以作为一种线性分类器。目前基于LDA算法的fisherfaces方法就是人脸识别领域的经典算法。围绕LDA算法的改进算法也很多，如正则化LDA算法[27]、零空间LDA算法[28]、二维线性判别算法（2DLDA）[29]等，这些算法都取得了较原始LDA算法更好的识别正确率。
（3）基于核技术的子空间算法
基于核技术的子空间算法相对于PCA、LDA的线性子空间算法，它属于一种非线性变换算法。核技术的原理是利用一种非线性映射将原始空间的数据映射到高维隐性特征空间中，然后在高维隐性特征空间中对数据进行分析。PCA、LDA假设人脸特征是线性可分的，只进行简单地线性变换就可以对人脸图像进行分类，这显然不符合人脸特征的实际情况，这一点在LDA和PCA的一系列算法中人脸识别都得到了体现。因此通过核技术的应用，改进了PCA和LDA，从而得到了相应的核主元分析（KPCA）[30]和核判别分析（KLDA）[31]。核主元分析将原始特征通过满足mercer条件的核函数投影到隐性空间后再做PCA分析，同理核判别分析也是结合了核函数投影和线性判别分析来提取非线性的子空间特征学习算法。相比于PCA和LDA算法，基于核技术的子空间方法能够描述原始人脸数据的非线性关系，提取到的特征分类能力也更强，不足之处在于计算复杂度高，需要耗费大量的时间。
局部特征算法是相对精细的人脸描述方法，它利用的是局部间像素与像素之间的关系或者局部图像块关系来获取某种变化信息。图像局部特征对于外界的干扰更加稳定，特征的判别能力较图像灰度特征更强。局部特征提取算法包括三大类：集合结构特征、局部统计分析表示、局部纹理表示。以下介绍其中几种具有代表性的算法：
（1）局部二值模式算法(local binary pattern,LBP)
LBP是由Ahonen[15]等人提出的一种能有效描述人脸纹理的局部纹理表示算子，通过比较中心像素和邻域像素的大小关系从而得到人脸图像的角点和边缘等局部变化特征，根据这些局部变化特征区分人脸，实验分析证明LBP对光照一定的不变性，同时对于图像旋转也有不变性，因此LBP对人脸特征描述的贡献非常之大，目前许多商用的识别系统采用的就是LBP提取人脸特征表示算法。
(2)局部量化模式算法(local quantizatin pattern,LQP)
LQP是由ul Hussain S[33]等人在2012年提出的针对LBP提取的二值向量进行快速编码的人脸识别算法， LPQ是通过了在训练集图像上离线学习一个二值向量的码本来对大邻域数下的LBP模式进行编码。实验证明在LPQ算子具有较好的描述能力。
(3）基于三维模型的图像识别方法
基于三维模型的方法使用了是局部特征和全局特征表示的结合，既考虑到了人脸的整体特征又考虑到了局部细节对于区分人脸的重要作用。最早的基于模型的方法是弹性形状模型（ASM），到后来的主动形状模型（AAM）和3维刚体模型(3DMM)[34]。模型的方法建立在图像虚拟合成的基础之上，将原始的高维的图像特征通过建立的模型，使用几个模型参数就可以表示表示高维的图像。主要的缺陷在于建模的过程比较复杂，对图像进行拟合的过程比较耗时。基于三维模型的出现主要是因为摄像机的照片实际上是从人体的3维图像到2维空间的一个映射，而三维空间到2维空间的投影是一个不可逆的过程。基于模型的方法就是找到一个尽量能够还原原始图像的映射关系。
（4）基于稀疏表示的算法
基于稀疏表示(Sparse representation，SR)的人脸识别算法本质上是一种分类器设计方法[32]。稀疏分类器首先将训练集图像进行稀疏编码得到稀疏矩阵，然后对待测试图像使用最小重建误差准则函数来进行稀疏表示。稀疏表示处理的特征具有较低的维数以及更强的判别能力。
(5）深度学习方法
深度学习是从过去的人工神经网络的研究基础上逐渐发展而来的。人工神经网络方法的灵感来自与人脑的神经元处理机制，模拟人脑通过神经元之间简单的交叉连接完成复杂的任务。人工神经网络的缺点在于训练过程过于复杂，训练时间太长，训练模型过于简单，无法对复杂函数进行建模。于是在此基础上延伸发展出了深度学习的方法。深度网络增加了人工神经网络中的隐藏层的数目，主要的深度模型有卷积神经网络、深度置信网络、卷积置信网络等。目前在人脸识别领域已经有了成功的应用，香港中文大学的孙[35]提出的DeepID深度模型实现了逼近人类识别率的识别结果。
目前关于人脸特征表示算法的研究通常是将局部特征和全局特征相结合，这种结合方式的算法不仅提取到了人脸的局部信息，而且关注了整个人脸的全局结构，因此大多数改进算法都是采取这种方式来提高人脸的特征表达能力。
(d) 人脸匹配的研究
一张人脸经过上述前面几个步骤后，得到了一个较强的特征表达数据，如何通过判别方法来比较这些数据之间的相似度并区分图像的类别是人脸判别研究的重点。该环节也是人脸识别系统的最终环节。这个环节可以视为模式识别问题，即把输入的不同人脸归为同一个人的一类，按照某种判决规则将被识别的对象进行分类，最终分类的错误率最小或者引起的损失最小。人脸匹配包含两个方面：人脸相似度的计算和人脸分类器的设计。现有的研究无一不是针对所提取到的人脸特征计算相似度再使用分类器对人脸进行分类。按照侧重方向的不同，人脸匹配算法分为基于距离度量学习的方法和基于统计学习分类器构建方法。基于距离度量的判别方法是通过比较相似度的大小而选取识别，常见的分类器有方法最近邻分类器、最小距离分类器和K近邻分类器；常见的基于统计学习的判别方法是通过统计学习的方法进行特征选择，常见的方法有支持向量机（SVM）[36]、稀疏分类器、贝叶斯分类器[37]和Adaboost分类器等。
1.4人脸识别技术研究的难点
在实际应用中，由于人脸识别系统存在着各种人为变化和非人为变化，因此系统并不能像人的眼睛那样快速准确的通过照片判断人的身份。虽然人脸识别研究已经有了几十年的发展，并且许多算法都能较好地解决简单背景正面人脸识别问题，但是对于现实复杂情形下的识别状况，许多算法的性能会急剧下降。因此对于人脸识别系统的现实应用，目前的人脸识别技术还存在着许多难点，主要表现在以下几个方面
(1)饰品遮挡问题
在识别对象不配合人脸采集的情况下，遮挡问题是一个非常严重的问题，比如视频人脸监控中，通常由于隐蔽性的关系，被识别对象会使用眼镜、帽子和口罩等物体遮挡人脸，或者由于部分图像区域有缺损的人脸进行识别。对于这类由于遮挡而无法检测到完整人脸图像的识别问题是难点之一。即便是在用户配合的情况下，如果被识别用户存在伤疤和刘海时对识别也会有影响，如何减少遮挡给识别结果带来的影响也是研究的难点。
(2)姿态问题
目前多数人脸识别系统的研究都要求人脸必须正对采集设备也就是说人脸照片必须是是正面图像，对于倾斜角度大的人脸和旋转角度大的人脸图像，许多人脸检测算法性能急剧下降，从而造成最终的识别率下降，如何解决因头部姿态的变化所带来的识别困难问题是人脸识别技术的难点之一。姿态引起的人脸图像差异的根源在于二维人脸图像是真实三维图像的一个投影，并且这个投影是不可逆的。基于这个点，许多研究者提出了基于人脸三维模型的识别算法。
(3)光照问题
光照问题一直是人脸识别技术在努力解决的问题，人脸不均匀光照等极端光照条件下的人脸识别准确率十分低下，研究者最初对于光照问题建立光照不变锥模型，现在提出了提取人脸光照不变性特征的观点，从这些研究重点来看，如果要解决光照问题，就得从人脸识别系统的各个环节中共同努力，因此对于光照问题的研究一直以来都没能很好地得到解决。目前的商用人脸系统采取用红外光采集设备代替可见光采集设备来降低了光照的影响，尽管能解决大部分识别问题，但是由于设备的本身使用环境的限制，无法在户外光照条件下使用，如何在户外运用该系统，恐怕归根结底还是得回归到解决人脸识别的光照问题上来。
(4)年龄变化问题
随着年龄的变化，人脸的外观也会随之变化，这种变化具有必然性和不可逆性。这个过程十分复杂同时收到外界环境和自身基因的影响。特别是处于成长期的青少年与处于衰老期的老年人，这种变化更为明显。在人脸识别方面，人脸年龄变化的主要研究方向主要是人脸验证，即给定一对不同年龄段人脸，能否判别出送一对人脸是否属于同一个人。人脸识别和确认算法主要通过提取人脸老化过程中比较稳定的特征进行人脸识别验证的。
(5)