基于改进MobileNetV2的人脸表情识别_严春满.pdf

基于改进M o b i l e N e t V 2的人脸表情识别*严春满,张 翔,王青朋(西北师范大学物理与电子工程学院,甘肃 兰州 7 3 0 0 7 0)摘 要:针对现有深度卷积神经网络参数量庞大,导致人脸表情识别场景受限的问题,提出一种基于改进轻量级卷积神经网络的人脸表情识别模型。该模型以M o b i l e N e t V 2轻量级特征提取网络为主要框架,通过压缩网络宽度因子与整体维度,减少网络参数量与计算量;引入S a n d G l a s s模块对网络倒残差模块进行改进,减少特征信息在网络传输中的丢失;同时嵌入高效通道注意力机制,提高网络对于特征信息的提取能力。在人脸表情数据集F E R 2 0 1 3和C K+上进行实验,所提网络模型的人脸表情识别准确率达到了6 8.9 6%与9 5.9 6%,分别高于M o b i l e N e t V 2 1.0 6%与6.1 4%,且参数量下降8 2.2 8%,实验结果验证了网络模型改进措施的有效性。关键词:人脸表情识别;轻量级网络;M o b i l e N e t V 2;倒残差模块;通道注意力中图分类号:T P 3 9 1.4 1文献标志码:Ad o i:1 0.3 9 6 9/j.i s s n.1 0 0 7-1 3 0 X.2 0 2 3.0 6.0 1 4F a c i a l e x p r e s s i o n r e c o g n i t i o n b a s e d o n i m p r o v e d M o b i l e N e t V 2YAN C h u n-m a n,Z HANG X i a n g,WANG Q i n g-p e n g(C o l l e g e o f P h y s i c s a n d E l e c t r o n i c E n g i n e e r i n g,N o r t h w e s t N o r m a l U n i v e r s i t y,L a n z h o u 7 3 0 0 7 0,C h i n a)A b s t r a c t:A i m i n g a t t h e p r o b l e m t h a t t h e e x i s t i n g d e e p c o n v o l u t i o n a l n e u r a l n e t w o r k h a s a l a r g e a-m o u n t o f p a r a m e t e r s,w h i c h l e a d s t o t h e l i m i t a t i o n o f f a c i a l e x p r e s s i o n r e c o g n i t i o n s c e n e s,t h i s p a p e r p r o p o s e s a f a c i a l e x p r e s s i o n r e c o g n i t i o n m o d e l b a s e d o n i m p r o v e d l i g h t w e i g h t c o n v o l u t i o n a l n e u r a l n e t-w o r k.T h e m o d e l t a k e s M o b i l e N e t V 2 l i g h t w e i g h t f e a t u r e e x t r a c t i o n n e t w o r k a s t h e m a i n f r a m e w o r k,b y c o m p r e s s i n g t h e n e t w o r k w i d t h f a c t o r a n d t h e g l o b a l d i m e n s i o n,t h e n u m b e r o f n e t w o r k p a r a m e t e r s a n d t h e a m o u n t o f c o m p u t a t i o n a r e r e d u c e d.S a n d G l a s s b l o c k i s i n t r o d u c e d t o i m p r o v e t h e r e v e r s e r e s i d u a l m o d u l e i n t h i s n e t w o r k,a n d r e d u c e t h e l o s s o f f e a t u r e i n f o r m a t i o n d u r i n g n e t w o r k t r a n s m i s s i o n.A t t h e s a m e t i m e,t h e e f f i c i e n t c h a n n e l a t t e n t i o n m e c h a n i s m i s e m b e d d e d t o i m p r o v e t h e n e t w o r k s a b i l i t y t o e x-t r a c t f e a t u r e i n f o r m a t i o n.E x p e r i m e n t s w e r e c a r r i e d o u t o n t h e f a c i a l e x p r e s s i o n d a t a s e t s F E R 2 0 1 3 a n d C K+.T h e f a c i a l e x p r e s s i o n a c c u r a c y r a t e o f t h e p r o p o s e d n e t w o r k r e a c h e s 6 8.9 6%a n d 9 5.9 6%,w h i c h a r e 1.0 6%a n d 6.1 4%h i g h e r t h a n t h a t o f M o b i l e N e t V 2 r e s p e c t i v e l y,a n d t h e n u m b e r o f p a r a m e t e r s a r e d e c r e a s e d b y 8 2.2 8%.E x p e r i m e n t a l r e s u l t s v e r i f y t h e e f f e c t i v e n e s s o f t h e i m p r o v e d n e t w o r k m o d e l.K e y w o r d s:f a c i a l e x p r e s s i o n r e c o g n i t i o n;l i g h t w e i g h t n e t w o r k;M o b i l e N e t V 2;i n v e r t e d r e s i d u a l b l o c k;c h a n n e l a t t e n t i o n*收稿日期:2 0 2 1-1 1-2 9;修回日期:2 0 2 2-0 5-0 5基金项目:国家自然科学基金(6 1 9 6 1 0 3 7);甘肃省教育厅2 0 2 1年度产业支撑计划(2 0 2 1 C Y Z C-3 0)通信地址:7 3 0 0 7 0 甘肃省兰州市西北师范大学物理与电子工程学院A d d r e s s:C o l l e g e o f P h y s i c s a n d E l e c t r o n i c E n g i n e e r i n g,N o r t h w e s t N o r m a l U n i v e r s i t y,L a n z h o u 7 3 0 0 7 0,G a n s u,P.R.C h i n a C N 4 3-1 2 5 8/T PI S S N 1 0 0 7-1 3 0 X 计算机工程与科学C o m p u t e r E n g i n e e r i n g&S c i e n c e第4 5卷第6期2 0 2 3年6月 V o l.4 5,N o.6,J u n.2 0 2 3 文章编号:1 0 0 7-1 3 0 X(2 0 2 3)0 6-1 0 7 1-0 81 引言人脸表情识别F E R(F a c i a l E x p r e s s i o n R e c o g-n i t i o n)1是指从给定的静态图像或者动态视频中提取出表情特征并加以判定的过程,从而确定识别对象的心理情绪。人脸表情识别作为人机交互的重要途径,是机器理解人类感情的前提。近年来,人脸表情识别技术在交通安全、抑郁症治疗和课堂质量检测等方向迅速发展。例如疲劳监测时根据驾驶员的面部表情变化判断其精神状态;抑郁症治疗时利用患者面部表情推测其心理变化;课堂中通过检测学生面部表情判断教师课堂教学质量。在表情识别技术的实际应用中,由于传统的卷积神经网络C NN(C o n v o l u t i o n a l N e u r a l N e t w o r k)参数量大,对硬件设备要求高,存在应用场景受限问题。因此,对应用范围广泛的轻量级人脸表情识别网络进行研究具有重要意义。早在1 9 7 8年,S u w a等2开始尝试使用机器学习的方式在一段人脸表情的动态视频中进行最初的表情识别。1 9 9 6年,P a d g e t t等3使用主成分分析提取人脸图像中图像子块的主元,并利用前1 5个主元提取人脸图像特征,输入到具有非线性激活函数的神经网络中进行表情识别。2 0 0 2年,F a-s e l4研究发现C NN对于位置变化和尺度变化具有鲁棒性,在人脸表情识别领域的性能优于多层感知机。在利用卷积神经网络进行表情识别时,先通过网络模型中的特征提取层对人脸面部表情特征进行提取,然后神经网络对具有判别性的表情特征进行学习训练,最后分类器依据学习到的表情特征对面部表情进行分类,从而形成一个端到端的识别分类过程。卷积神经网络在人脸表情识别领域中发展迅速,已成为该领域主要研究方法之一,但在实际应用中,由于受硬件设备的影响,存在内存不足、延迟高等问题。网络模型需要轻量化以满足现实场景的要求。研究人员通过设计轻量化网络5、模型剪枝和知识蒸馏等方式不断对网络模型参数量进行压缩,降低其对空间和计算能力的要求,并将其应用在人脸表情识别的各类场景中。N g u y e n等6为了平衡面部表情分类问题的速度和准确性,采用S E-b l o c k与S q u e e z e N e t组合的模型,对人脸表情进行识别。F a t i m a等7通过C NN与X c e p-t i o n网络结合的方式,在确保整体模型准确率的基础上,使得模型参数量少于传统卷积神经网络的参数量。D o n g等8提出一种基于P C D-C NN(P o s e C o n d i t i o n e d D e n d r i t i c C NN)网络的表情识别模型,利用P C D-C NN对人脸图像进行处理,有效地提取人脸表情特征信息。为了加速模型的训练速度,P C D-C NN基于S h u f f l e N e t-v 2框架,在参数量较小的情况下保持了较好的性能。上述表情识别网络模型主要存在以下几个问题:(1)表情特征在特征提取层中传输时存在特征丢失现象,使得网络模型表情分类准确率受到影响;(2)对于一些要求苛刻的边缘设备,上述网络模型结构过于复杂且参数量较大,网络模型无法兼顾较小的参数量与较好的准确率,使得其在实时性要求较高的应用场景中难以应用。为了解决上述问题,需要在准确率与参数量之间达到一个较好的平衡,这对表情识别模型提出了极高的要求。基于此,本文网络模型选用M o b i l e-N e t V 2网络。M o b i l e N e t9网络是谷歌公司为移动端和嵌入式设备设计的新型轻量化网络,其采用流线型架构,由倒残差模块堆叠出轻量级深度学习网络的基本框架,研究人员可针对人脸表情特点对网络模型进行有针对性的改进。网络采用深度可分离卷积大大减少了参数量,使得表情识别可在移动设备上进行。且宽度因子和分辨率因子2个超参数可以分别用于调整特征图的通道数和尺寸,使表情识别的应用场景更加广泛。本文网络模型在M o b i l e N e t V 2网络的基础上,从3个方面进行改进:(1)通过调整M o b i l e N e t V 2网络的宽度因子对网络通道数进行压缩,在准确率下降的可接受范围内,减少网络总参数量;(2)对线性瓶颈层进行改进,引入S a n d G l a s s模块,减少特征信息在卷积层传输时的丢失情况;(3)添加轻量级高效注意力E C A(E f f i c i e n t C h a n n e l A t t e n t i o n)机制,在总参数量略有增加的情况下,增强网络模型对输入图像特征信息的提取能力。2 网络模型设计本文以搭建高准确率、低参数量的人脸表情识别模型为目的,选取M o b i l e N e t V 2为网络主干,通过调整宽度因子、引入S a n d G l a s s模块和E C A机制等方法进行改进。本文以S a n d G l a s s模块为基础,重新搭建网络模型,结构如表1所示。表1中S a n d G l a s s模块为改进的线性瓶颈结构(详细改进内容见2.2节),N o.为网络模型各部分顺序,t为缩减系数,s为步长,n为重复次数,kb为输出表情的种类数,E C A为含有E C A机制的S a n d G l a s s模块。2701C o m p u t e r E n g i n e e r i n g&S c i e n c e 计算机工程与科学 2 0 2 3,4 5(6)T a b l e 1 O v e r a l l n e t w o r k s t r u c t u r e p r o p o s e d i n t h i s p a p e r表1 本文整体网络结构表N o.t输入维度sn输出维度结构E C A1-34 84 8 261 62 42 4c o n v 2 d 33-221 62 42 4222 41 21 2S a n d G l a s s B l o c k362 41 21 2133 266S a n d G l a s s B l o c k-463 266136 433S a n d G l a s s B l o c k566 433149 633S a n d G l a s s B l o c k-669 633121 6 022S a n d G l a s s B l o c k-761 6 022133 2 022S a n d G l a s s B l o c k8-3 2 022113 2 011a v g p o o l 22-9-3 2 01111kbc o n v 2 d 11-将尺寸为34 84 8的图像输入到网络模型中。输入图像先经过33卷积核组成的卷积层,再经过由S a n d G l a s s模块堆叠而成的网络主体框架,然后通过全局平均池化层GA P(G l o b a l A v e r-a g e P o o l i n g),最后由一层全连接层来预测每个表情分类的最终得分,得分最高的表情即为网络预测表情。特征图在卷积层经过卷积操作后由B a t c h N o r m a l i z a t i o n层进行归一化处理。2.1 宽度因子调整为了构 建 参 数 量 更 小 的 模 型,研 究 人 员 为M o b i l e N e t系列网络引入了一个超参数,称为宽度因子。宽度因子的作用是在网络模型中通过对每层通道进行一定比例的压缩,从而减少各层的通道数。在卷积层进行卷积时,调整后的参数量如式(1)所示:T=DKDK M NDFDF(1)其中,T为深度可分离卷积的参数量,DK为深度卷积核的边长,M为逐点卷积的通道数,DF为输入图像的边长,N为输入图像的通道数。通过宽度因子可以将M o b i l e N e t V 2网络模型的参数量降低为原模型的1/2。在M o b i l e N e t中压缩宽度因子对网络模型准确率与参数量的影响如表2所示。表2中,At o p 1为M o b i l e N e t网络在I m a g e N e t数据集上的t o p1准确率,P为参数量。随着宽度因子减小,网络参数量与性能均出现不同程度的下降。T a b l e 2 M o b i l e N e t p e r f o r m a n c e u n d e r d i f f e r e n t w i d t h f a c t o r s表2 不同宽度因子下的M o b i l e N e t性能表现模型At o p 1/%P/MBM o b i l e N e t(=1.0)7 0.64.2M o b i l e N e t(=0.7 5)6 8.42.6M o b i l e N e t(=0.5)6 3.71.3 鉴于减小宽度因子可以大幅减少网络模型参数量且网络精度的损失在可以控制的范围内。本文令=0.7 5并将网络最高输出维度降低至3 2 0,以减少特征维度在倒残差模块中频繁变化造成的参数量冗余,并通过其他改进措施提高网络准确率,从而使模型在轻量化的同时保持较好的准确率。2.2 残差模块随着网络模型的卷积层数不断增加,残差模块在神经网络中的使用越来越广泛。如图1 a所示,经典残差网络包括2个11的卷积层,分别用于特征向量维度的缩减与扩展,且在2个11卷积层之间还有1个33卷积层,用于空间信息编码。这种残差结构减少了模型的参数量,使得网络可以向纵深化不断发展。但是,由于标准的33卷积层中参数量相较轻量化网络过大,不适于构建轻量化神经网络。目前轻量化网络设计的共同理念是采用倒残差模块减少模型整体的参数量,如图1 b所示。与经典的残差模块相比,倒残差模块使用深度可分离卷积代替标准卷积,以低维压缩张量为输入通过逐点卷积将其扩展为高维张量后输出,然后使用深度卷积进行空间编码,再用逐点卷积将其压缩成一个低维张量,作为下一个倒残差模块的输入,并在2个线性低维之间建立捷径连接。倒残差模块使得模型性能下降不会太大的同时,参数量大幅减少。但是,由于特征信息在残差模块中被压缩,在低维瓶颈(b o t t l e n e c k)之间映射时,将不可避免地导致信息丢失。此外,特征维度下降还会导致梯度混淆,削弱梯度跨层传播能力,使得模型训练的收敛性和性能受到影响。针对上述问题,本文引进一种新的瓶颈设计 S a n d G l a s s模块1 0(后文简称S G模块),3701严春满等:基于改进M o b i l e N e t V 2的人脸表情识别F i g u r e 1 S t r u c t u r e d i f f e r e n c e d i a g r a m o f i n v e r t e d r e s i d u a l b l o c k a n d S a n d G l a s s b l o c k图1 不同残差瓶颈模块结构差异图如图1 c所示。图2中每个块的厚度表示对应的相对通道数。S G模块不同于传统残差模块(图2 a)和倒残差模块(图2 b)在线性低维之间构建捷径连接,而是在线性高维表示之间构建捷径连接并在捷径连接两旁添加深度卷积,如图2 c所示。S G模块将2个逐点卷积与深度卷积重新排序以确保在捷径连接的位置将2个高维表示连接在一起,使得特征信息在传输到顶层时可以更多地保留底层信息。F i g u r e 2 C o n c e p t u a l d i a g r a m o f d i f f e r e n t r e s i d u a l b o t t l e n e c k b l o c k s图2 不同残差瓶颈模块概念图如图1 c所示,为了使深度卷积可以对更具有表达性的空间信息进行编码,S a n d G l a s s模块将深度卷积移至具有高维表示的残差路径末端而不是在瓶颈中添加。此外,深度卷积的参数量较小,所以可以适当地将几个深度卷积应用到高维特征上,从而在保持模块轻量化的基础上,提取丰富的空间信息。S a n d G l a s s模块结构如表3所示。S a n d G l a s s模块输出的是高维特征向量。因过多的激活函数有可能对分类性能产生负面影响,激活函数仅在第1个深度卷积层和最后1个逐点卷积层之后添加。T a b l e 3 S t r u c t u r e o f S a n d G l a s s b l o c k 表3 S a n d G l a s s b l o c k结构输入维度结构输出维度DFDFM33 D w i s e c o n v,R e L U 6DFDFMDFDFM11 c o n v,l i n e a rDFDF(M/t)DFDF(M/t)11 c o n v,R e L U 6DFDFNDFDFN33 D w i s e c o n v,l i n e a r,s t r i d e=s(DF/s)(DF/sN)2.3 高效通道注意力机制为了提高对人脸表情特征的提取能力,进一步提高网络模型的整体性能,本文引入高效通道注意力机制E C A-N e t1 1。该机制的主要作用是为每一个通道生成权重参数并学习不同特征之间的相关性,使得网络模型将重心集中于有效特征上,对非关键信息进行选择性忽略。其通过自适应选择一维卷积核大小的方法,确定局部跨通道交互的覆盖率,减小维度下降对网络模型性能造成的损害。该模块在参数量略有增加的前提下,使得网络模型性能明显提升。在S E-N e t1 2中,S E注意力机制首先对特征图的每个通道单独进行全局平均池化GA P,然后通过2个具有非线性的全连接层捕捉非线性的跨通道交互信息,最后利用S i g m o i d函数生成通道权值。S E注意力机制通过降低模块维度来控制模型的复杂性。为了减小降维对于网络模型性能的影4701C o m p u t e r E n g i n e e r i n g&S c i e n c e 计算机工程与科学 2 0 2 3,4 5(6)响,E C A机制在不降低维度的通道级全局池化之后去除了全连接层,通过全局平均池化获得聚合特征,再通过具有权值共享属性的快速一维卷积生成特征通道的权重参数。快速一维卷积核的尺寸为k,且k的取值决定了局部跨通道信息交互的覆盖率,通过特征通道数C自适应地映射k的取值。实践证明,该方法保证了E C A机制的计算能力与运行效率。当k=5时,E C A结构如图3所示,其中,H*W为特征图的尺寸,C为特征图通道数。F i g u r e 3 S t r u c t u r e o f E C A m e c h a n i s m图3 E C A机制结构在E C A-N e t中,Wk表示学习到的通道注意力权重,如式(2)所示:Wk=w1,1w1,k0000w2,2w2,k+100000wC,C-k+1wC,C?(2)Wk涉及k C个参数,权重的数量取决于k的大小,避免了不同通道之间的完全独立。假定经过全局平均池化后的聚合特征yR11C,yi表示第i个通道的聚合特征。对于yi的权重i,只考虑yi和它的k个相邻元素之间的信息交互与相互作用,如式(3)所示:i=kj=1wjiyji(),yjiki(3)其中,ki表示yi的k个相邻通道的集合。通过k近邻进行局部的通道交互,以减少跨通道交互的计算量。所有通道共享相同的学习参数,即wji=wj。i表示特征之间的相关性,第i个通道包含的表情图像的重要性与i成正比,表示模型对该通道的关注程度。这种方式可以很容易地通过卷积核大小为k的快速一维卷积实现,即:=(C1Dk(y)(4)其中C1Dk表示一维卷积。在固定通道数量的情况下,跨通道信息交互作用的覆盖范围(即一维卷积的内核大小k)与通道维数C也是成正比的,因此可以得出在k和C之间存在某种映射关系,例如线性函数C=*k-b,其中和b为任意常数。假设映射方式为线性映射,但由于线性函数对于某些相关特征的局限性,且通道数通常是2的指数倍,所以本文采用以2为底的指数函数来表示映射关系,如式(5)所示:C=(k)=2(*k-b)(5)因此,给定通道数C,那么卷积核大小k便可根据式(6)计算得到:k=(C)=l b(c)+bo d d(6)其中,|o d d表示最近的奇数。()表示映射函数,将与b的值分别设为2和1,可以得到通道维数与参数k成正相关。以上改进在保证E C A机制自身极轻量化的同时对网络模型整体性能提升明显。为了降低S a n d G l a s s模块中降维对网络模型性能的影响,本文将E C A机制放置于S a n d G l a s s模块的最后一个深度卷积层之后,如图4所示。深度卷积对图像人脸表情特征进行提取,E C A机制的嵌入可以对所提取的表情特征进行注意力加权,以提高整体网络对表情特征的提取能力。F i g u r e 4 S a n d G l a s s b l o c k s t r u c t u r e w i t h E C A 图4 含有E C A的S a n d G l a s s模块结构3 实验与结果分析3.1 实验环境本文实验软、硬件配置如表4所示,实验中,所有对比网络均在同一平台上运行。T a b l e 4 S o f t w a r e a n d h a r d w a r e c o n f i g u r a t i o n o f t h e e x p e r i m e n t表4 实验软、硬件配置配置项描述C P UAMD R 5-3 6 0 0 3.6 GH zM e m o r yD D R 4 1 6 G BG P UNV I D I A G e F o r c e R T X 2 0 6 0I D EP y T o r c h 1.7 P y t h o n 3.6.1 2 C UD A 1 0.03.2 数据集F E R 2 0 1 31 3表情数据集由C a r r i e r和C o u r-v i l l e创建,用于I CML 2 0 1 3面部表情识别挑战赛提供的人脸表情数据集,该数据集由4 84 8 大小5701严春满等:基于改进M o b i l e N e t V 2的人脸表情识别的人脸表情灰度图像构成。此数据集中的人脸图像采取了居中处理,且所有图像中人脸区域所占据的比例空间相同。F E R 2 0 1 3 数据集均来自实际生活中的自然人脸表情,包含了0到7 0岁不同国籍、不同肤色的人的面部表情。图5为 F E R 2 0 1 3人脸表情数据集中部分人脸样本,其中部分人脸图像没有采取对齐处理,这就要求设计的网络模型具备较好的鲁棒性和泛化能力,从侧面能够反映网络模型的表征能力。C K+1 4是在C o h n-K a n a d e数据集的基础上扩展得来的,C K+数据集是目前比较通用的人脸表情数据集,它包含1 2 3名参与者、5 9 3个图像序列。C K 数据集中的图像为静态图像,C K+数据集中包含静态图像与动态图像。2个数据集均含有标注参与者表情的情绪标签。F i g u r e 5 P a r t i a l s a m p l e s o f f a c i a l e x p r e s s i o n d a t a s e t图5 人脸表情数据集部分样本3.3 F E R 2 0 1 3与C K+数据集上实验结果及分析3.3.1 F E R 2 0 1 3数据集上实验结果及分析将本文模型在F E R 2 0 1 3数据集上进行训练和测试,在训练过程中均随机初始化权重和偏置,批量大小为2 0,迭代次数为3 5 0次。初始学习率为0.0 1,采用随机梯度下降优化器,动量因子为0.9。模型训练过程中使用F E R 2 0 1 3的训练集(2 8 7 0 9幅)进行训练,公共测试集(3 5 8 9幅)作为验证集来调整模型的权重参数,最后在私有测试集(3 5 8 9幅)上进行测试。网络模型在训练数据集上进行参数训练前,对样本进行随机翻转等预处理。本文网络模型在F E R 2 0 1 3数据集上的混淆矩阵如图6所示。F i g u r e 6 C o n f u s i o n m a t r i x o n F E R 2 0 1 3 d a t a s e t 图6 F E R 2 0 1 3数据集上的混淆矩阵图本文 网 络 模 型 在F E R 2 0 1 3数 据 集 上 达 到6 8.9 6%的准确率且模型参数量仅为3.5 6 MB。快乐(H a p p y,8 8%)、惊喜(S u r p r i s e,8 1%)、厌恶(D i s g u s t,7 1%)和中立(N e u t r a l,6 7%)这4种表情相对于其他表情,表情特征更具有辨识性,从而获得了较 高 的 识 别 率。愤 怒(A n g r y,6 1%)、恐 惧(F e a r,5 1%)和伤心(S a d,5 8%)这3种表情因其表情特征相似点较多,容易造成误判,导致准确率相对较低。3.3.2 C K+数据集上实验结果及分析将本文网络模型在C K+数据集上进行训练和测试,在训练过程中均随机初始化权重和偏置,批量大小为2 0,迭代次数为1 5 0次,初始学习率为0.0 4,采用随机梯度下降优化器,动量因子为0.9。模型训练过程中使用C K+的训练集(8 8 2幅)进行训练,在测试集(9 9幅)上进行测试。网络模型在训练数据集上进行参数训练前,对样本进行随机翻转等预处理。本文网络模型在C K+数据集上的混淆矩阵如图7所示。F i g u r e 7 C o n f u s i o n m a t r i x o n C K+d a t a s e t图7 C K+数据集上的混淆矩阵本文 网 络 模 型 在C K+数 据 集 上 可 达 到9 5.9 6%的准确率。因测试集相对较小,所以对愤怒、厌恶、恐惧、快乐、伤心和惊喜这6种表情的识别率达到了1 0 0%,但由于蔑视(C o n t e m p t)表情与恐惧表情某些特征相似,导致网络模型对其识别率较低,仅有5 0%。3.4 消融实验本文所提出的模型包括压缩宽度因子、引入S a n d G l a s s模块和E C A机制3个改进部分。为分析3种改进措施的有效性,本节对比不同部分对网络整体性能的影响,以F E R 2 0 1 3与C K+2个公开数据集为基础进行对比消融实验,对比结果如表5所示。从表5的数据中可以得到,压缩通道因子对M o b i l e N e t V 2的准确率有一定损害,但参数量下6701C o m p u t e r E n g i n e e r i n g&S c i e n c e 计算机工程与科学 2 0 2 3,4 5(6)降明显,S G模块与E C A机制均对基础模型的性能提升有所帮助。压缩宽度因子并调整网络整体维度减少了原有模型的参数量,仅为基础模型的1 6.5 7%。以M o b i l e N e t V 2(0.7 5)为基线模型,S G模块提高了网络模型对于特征的提取能力,在2个数据集上分别提高了1.1 3%与5.1 0%。E C A机制在轻微增加参数量的情况下,减少了降维对于网络模型性能造成的损害,使得网络准确率分别有0.4 9%与4.0 9%的提升。3个模块作用于M o b i l e-N e t V 2时,改进网络模型不仅参数量大幅下降,且准确率也明显提升,在2个数据集上分别提升了1.0 6%与6.1 4%,参数量下降了8 2.2 8%。T a b l e 5 C o m p a r i s o n o f a b l a t i o n e x p e r i m e n t a l r e s u l t s o n F E R 2 0 1 3 a n d C K+d a t a s e t s表5 F E R 2 0 1 3与C K+数据集对比消融实验结果模型参数量/MB准确率/%F E R 2 0 1 3C K+M o b i l e N e t V 22 0.1 06 7.9 08 9.8 2M o b i l e N e t V 2(0.7 5)3.3 36 6.9 98 6.8 2M o b i l e N e t V 2(0.7 5)+E C A3.4 56 7.4 89 0.9 1M o b i l e N e t V 2(0.7 5)+S a n d G l a s s3.4 36 8.1 29 1.9 2O u r3.5 66 8.9 69 5.9 63.5 对比实验结果及分析为对比所提网络模型的先进性,本节将与目前主流网络模型进行对比。如表6数据所示,本文网络模型与传统网络模型在准确率方面虽有所差距,但在 参 数 量 方 面 下 降 明 显,仅 为VG G 1 9、R e s-N e t 5 0的3.9 7%和4.9 2%。在F E R 2 0 1 3数据集上本文采用的基础模型与传统深度神经网络相比,准确率有所下降。在数据集C K+上,准确率可与R e s N e t 5 0持平,比VG G 1 9高出1.3 2%。与压缩网络S q u e e z e N e t相比,参数量减少1 9.1 1 MB。在数据集F E R 2 0 1 3上,准确率下降2.3 4%;在数据集C K+上,准确率提升5.0 6%。在轻量化网络模型中,本文模型在准确率和参数量上均有不同程度的提升且在C K+上提升更为明显。在F E R 2 0 1 3数据集上与同系列的M o b i l e-N e t V 2、M o b i l e N e t V 3相 比 准 确 率 分 别 提 升 了1.0 6%和1.4 6%,且参数量下降了1 6.5 4 MB和1 2.9 4 MB。与其他轻量级网络X c e p t i o n相比,准确率 提 升 了1.7%,参 数 量 比X c e p t i o n减 少 了0.7 9 MB。在C K+数据集上,与同系列的M o b i l e-N e t V 2、M o b i l e N e t V 3相比准确率提升了6.1 4%和7.0 9%。与其他轻量级网络X c e p t i o n相比,准确率T a b l e 6 E x p r e s s i o n r e c o g n i t i o n a c c u r a c y v a l u e s o f d i f f e r e n t m o d e l s o n F E R 2 0 1 3 a n d C K+d a t a s e t s表6 不同模型在F E R 2 0 1 3与C K+数据集上表情识别准确率模型参数量/MB准确率/%F E R 2 0 1 3C K+V G G 1 98 9.5 97 0.3 09 4.6 4R e s N e t 5 07 2.3 17 2.8 69 5.9 6S q u e e z e N e t1 52 2.6 77 1.3 09 0.9 0X c e p t i o n1 64.3 56 7.2 69 2.9 6M o b i l e N e t V 31 72 1.5