基于ThetaMEX全局池化的人脸识别神经网络——ShuffaceNet.pdf
《基于ThetaMEX全局池化的人脸识别神经网络——ShuffaceNet.pdf》由会员分享,可在线阅读,更多相关《基于ThetaMEX全局池化的人脸识别神经网络——ShuffaceNet.pdf(9页珍藏版)》请在咨信网上搜索。
1、2023 08 10计算机应用,Journal of Computer Applications2023,43(8):2572-2580ISSN 10019081CODEN JYIIDUhttp:/基于ThetaMEX全局池化的人脸识别神经网络ShuffaceNet陈侃松,郑园,许立君*,王周宇,张哲,姚福娟(湖北大学 计算机与信息工程学院,武汉 430062)(通信作者电子邮箱 )摘要:针对目前大规模网络不适合在手机、平板电脑等资源匮乏的移动设备上使用,以及池化层会导致特征图的稀疏性最终影响神经网络识别精度的问题,提出了一个轻量级人脸识别神经网络ShuffaceNet,设计了一个非线性平滑L
2、og-Mean-Exp函数ThetaMEX,并提出了一种端到端可训练的ThetaMEX全局池化层(TGPL),从而在保证算法精度的前提下,减少网络参数、提高运算速度,进而达到有效地将该网络部署在资源匮乏的移动设备上的目的。ShuffaceNet约有 3 600个参数,模型大小仅为 3.5 MB。在 LFW(Labled Faces in the Wild)、AgeDB-30(Age Database-30)、CFP(Celebrities in Frontal Profile)人脸数据集上的识别测试的结果表明,ShuffaceNet的精度分别达到了99.32%、93.17%、94.51%。与M
3、obileNetV1、SqueezeNet、Xception相比,所提网络的大小分别缩减了73.1%、82.1%、78.5%,在AgeDB-30数据集上的精度分别提高了5.0%、6.3%、6.7%。可见,基于ThetaMEX全局池化的所提网络能够提高模型精度。关键词:人脸识别;智能全局池化;ThetaMEX;神经网络;轻量级模型中图分类号:TP183 文献标志码:AShuffaceNet:face recognition neural network based on ThetaMEX global poolingCHEN Kansong,ZHENG Yuan,XU Lijun*,WANG Z
4、houyu,ZHANG Zhe,YAO Fujuan(School of Computer Science and Information Engineering,Hubei University,Wuhan Hubei 430062,China)Abstract:Focused on the issue that the current large-scale networks are not suitable to be applied on resource-starved mobile devices like smart phones and tablet computers,and
5、 the pooling layer will lead to the sparsity of feature map,which ultimately affect the recognition accuracy of the neural network,a lightweight face recognition neural network namely ShuffaceNet was proposed,a smooth nonlinear Log-Mean-Exp function ThetaMEX was designed,and an end-to-end trainable
6、ThetaMEX Global Pool Layer(TGPL)was proposed,so as to reduce network parameters and improve computing speed while ensuring the accuracy of the algorithm,achieving the purpose that the network can be effectively deployed on mobile devices with limited resources.ShuffaceNet has about 3 600 parameters,
7、and the model size is only 3.5 MB.The recognition test results on LFW(Labled Faces in the Wild),AgeDB-30(Age Database-30)and CFP(Celebrities in Frontal Profile)face datasets show that the accuracy of ShuffaceNet reaches 99.32%,93.17%,94.51%respectively.Compared with the traditional networks such as
8、MobileNetV1,SqueezeNet and Xception,the proposed network has the size reduced by 73.1%,82.1%and 78.5%respectively,and the accuracy on AgeDB-30 dataset improved by 5.0%,6.3%and 6.7%respectively.It can be seen that the proposed network based on ThetaMEX global pooling can improve the model accuracy.Ke
9、y words:face recognition;smart global pooling;ThetaMEX;neural network;lightweight model0 引言 如今,深度卷积神经网络(Convolutional Neural Network,CNN)在许多识别与分类任务上取得了巨大的成功,显著改善了分类问题的现状,如对象1、场景1、动作1等。随着硬件结构日新月异的发展,越来越多的设备逐渐趋向于小型化、实用化2。人脸识别技术广泛应用于手机和众多嵌入式设备,如人脸认证登录、面容解锁、人脸支付技术等。这些身份认证技术往往需要在本地端直接进行识别,因此在移动设备或嵌入式设备中部
10、署本地的人脸识别验证模型既要极高的精度也要保证执行速度快2。尽管人脸识别网络模型能够高效获取人脸,但往往层数多、参数量巨大,难以在移动设备端部署。通常采用两种方法来提高人脸识别的精度:一种是使用文章编号:1001-9081(2023)08-2572-09DOI:10.11772/j.issn.1001-9081.2022070985收稿日期:20220708;修回日期:20221116;录用日期:20221121。基金项目:湖北省科技重大专项(202011901203001);湖北省重点研发计划项目(2021BAA184,2022BAA045);武汉市知识创新专项-曙光计划项目(2022010
11、801020327)。作者简介:陈侃松(1972),男,湖北沙市人,教授,博士生导师,博士,主要研究方向:人工智能、数字孪生、工业互联网;郑园(2000),女,湖南衡阳人,硕士研究生,主要研究方向:目标检测、深度学习;许立君(1991),女,湖北武汉人,副教授,博士,CCF会员,主要研究方向:计算机视觉、人工智能、数字孪生;王周宇(1996),男,湖北武汉人,硕士,主要研究方向:目标检测、人工智能;张哲(1996),男,湖北荆州人,硕士研究生,主要研究方向:机器学习、深度学习;姚福娟(1999),女,山东临沂人,硕士研究生,主要研究方向:数字孪生、深度学习。第 8 期陈侃松等:基于ThetaM
12、EX全局池化的人脸识别神经网络ShuffaceNet具有旁路的网络结构2提高网络学习效率和拟合度;另一种是在分类器之前插入一个全局池化层处理特征张量,以提高网络的泛化能力,防止过拟合1-2。Zhou等3收集了500万张人脸图像,训练了传统的深度卷积神经网络,精度很高;但由于个体数据偏差、表情、年龄等因素无法实际应用。Wen等4将softmax特征可视化,并提出了一个中心损失函数,使特征中心按照平均值分布;尽管在这种方法中使用的附加约束使特征分布更紧凑,但类之间的可分离性较弱。Liu等5和Deng等6对权重归一化,以便从距离到角度测量损失函数,从而将相似的特征压缩到更紧凑的空间中,因此,网络的决
13、策边界依赖于角度;然而,上述网络为了提升算法的识别精度,拥有较深的网络模型且参数量较大,难以部署在计算资源欠缺的小型的终端设备上。基 于 上 述 问 题,学 者 们 提 出 了 MobileNetV17、MobileNetV28、ShuffleNet9和 Xception10等轻量级的神经网络,用于缓解大型网络结构和参数冗余的问题,使深度学习网络模型能够部署在小型终端设备上。武文娟等1提出了一种新的轻量级的人脸识别的卷积神经网络Emfacenet,在保持较高精度的同时运行效率显著提高;Xiao等7设计了一个通用子网名为Pooling Block,从输入中提取信息,并将被提取的信息与原骨干网的信
14、息进行融合;Sandler等8提出了一种块结构增加初始张量的维数,以解决通道数少的张量在通过ReLU(Rectified Linear Unit)函数时造成大量信息丢失的问题;Zhang等9使用组卷积来提取特征,并使用一种新的通道混洗操作交换不同组中的特征信息;He等11提出了一个残差学习框架,以简化比以前使用的网络更深的网络的训练;Iandola等12提出了一种新的 Fire module,用于构建整个 SqueezeNet网络,此网络可以在不降低精度的情况下减少网络参数;赵锋等13提 出 一 种 基 于 Ghostnet 轻 量 级 人 脸 识 别 算 法Ghostfacenet,显著提高
15、运行效率。在卷积结构中,在全连接层之前增加一个全局池化层,不仅减少了全连接网络的残差块和参数冗余,而且有效地提取了特征图的活跃部分,增强了特征图与身份之间的映射关系。此外,轻量级人脸神经网络通常采用 Batch Normalization 和PReLU(Parametric ReLU)14的组合提高特征提取效率,提高人脸识别网络的精度;然而,Batch Normalization和PReLU增加了由全局池化层产生的稀疏特征图的问题,最终影响了人脸识别网络的准确性。本文设计了一种非线性函数ThetaMEX,并基于该函数提出了一种可训练的 ThetaMEX 全局池化层(ThetaMEX Globa
16、l Pool Layer,TGPL),通过不同维度的特征图自适应训练。与其他全局池化层相比,TGPL不受特征分布的不确定性和特征图稀疏性的影响。TGPL中没有引入卷积核,减少了参数量,使网络更加高效。根据随机梯度下降(Stochastic Gradient Descent,SGD)等优化方法,TGPL在平均池化和极端池化之间保持一种最佳平衡。本文的主要工作如下:1)提出一种具有周期性的 Log-Mean-Exp(MEX)函数ThetaMEX。根据超参数的取值,ThetaMEX能够周期性地输出平均值最大值和最小值。2)提出一种基于ThetaMEX函数端到端可训练的全局池化层(TGPL)。TGPL
17、在不添加太多参数的情况下实现了更好的识别精度,并且使用BatchNorm和ReLU14等操作的人脸识别网络更适合简单的神经网络结构。3)设计了一个名为 ShuffaceNet 的人脸识别网络,并在LFW(Labled Faces in the Wild)与AgeDB-30(Age Database-30)数据集上测试,测试结果表明使用TGPL的ShuffaceNet模型能够提高网络收敛速度和人脸识别精度。1 相关工作 1.1Log-Mean-Exp函数Cohen 等15提出了 Log-Mean-Exp(MEX)函数,用于泛化最大值和平均值,它的结构类似于柔性最大激活函数。MEXci1 i n1
18、log(1ni=1nexp()ci)(1)MEX函数对参数的偏导如下:()MEX ci1 i n=1i=1nciexp()cii=1nexp()ci-MEXci1 i n(2)设F()=(3)其中:ci是特征图中每个元素的特征值,n表示每个ci的数量。当参数 +时,MEX 函数得到最大值;当 -时,MEX函数得到最小值;当 0时,MEX函数得到平均值。然而尽管 MEX 函数具有泛化最大值和平均值的特性,由于取值范围无穷大,MEX函数的输出只在理论上可行,因此Zhang等16提出AlphaMEX函数如下:AlphaMEXci1 i n1log()1-log(1ni=1n(1-)ci)(4)函数对
19、参数的偏导数如下:()AlphaMEX ci1 i n=1log()1-()1-i=1nci()1-cii=1n()1-ci-AlphaMEXci1 i n(5)其中设:F()=log(1-)(1-)(6)将参数的取值范围限定为(0,1),可以得到AlphaMEX函数的最大最小输出。然而在网络训练过程中,的初始值是固定的,极大地影响了网络最终的收敛速度。图1显示了AlphaMEX函数对参数导数后的函数图像。2573第 43 卷计算机应用图1AlphaMEX函数对参数导数后的函数图像Fig.1Function image of derivative of AlphaMEX respect to
20、本文提出的ThetaMEX函数基于MEX函数解决了唯一参数定义问题以及收敛问题,将具有该函数的池化层嵌入高效率人脸识别框架,避免小型网络在大型数据集上过于泛化导致欠拟合的状况。1.2全局池化层池化是对信息进行抽象的过程,可以增强图像的平移不变性,提高模型的学习能力,达到特征图降维的目的。在卷积神经网络中,全连接层一般起到分类器的作用,然而全连接层存在一个过拟合问题。因此,Liu等5首次提出采用全局平均池化层代替全连接层。这个想法在后来的深度神经网络中得到了广泛的应用。Zhang等16发现批量归一化和ReLU14激活函数的组合与全局平均池化层不匹配,这将增加特征图的稀疏性。因此,Zhang等16
21、使用AlphaMEX全局池化代替全局平均池化层,替换后Katz等14提出的ResNet在Cifar10+数据集上的top-1精度提高了约5.1%。Chen等17根据有效感受域的概念和特征图的特征分布情况,提出了一个全局深度卷积层(Global Depthwise Convolution Layer,GDConv)用于提取特征图18,卷积核的引入极大提高了网络参数量。本文提出的基于ThetaMEX函数的全局池化层,通过不同维度的特征图进行自适应训练。由于TGPL的非线性特性,它不受特征分布的不确定性和特征图稀疏性的影响。TGPL中没有引入卷积核,减少了参数数量,使网络更加高效,并且TGPL在平均
22、池化和极端池化之间保持一种最佳平衡。2 ShuffaceNet 2.1ThetaMEX函数尽管Log-Mean-Exp(MEX)函数具有泛化最大值和平均值的特性,由于取值范围无穷大,MEX函数的极值只停留在理论层面,AlphaMEX函数对此进行改进,将取值范围缩小至(0,1);然而,尽管AlphaMEX能够取得实际极值,但在实际训练中的初始化为某一定值会导致收敛较慢。为了解决唯一参数定义域问题以及收敛问题,本文提出了一个新的MEX,函数名为ThetaMEX:ThetaMEXci1 i n1tan log(1ni=1nexp()citan)(7)其中参数取值为除了-2+k、0以外的所有值。由于参
23、数具有可训练性及高效率的特性,所以不仅参数定义域能够极大地拓展;同时ThetaMEX函数具有很好的周期性,所以在每 个 不 同 的 周 期 内 都 能 取 得 函 数 的 极 值。以 下 是 对ThetaMEX函数一些优良性质的严格证明过程。1)周期性。若ThetaMEX是周期为T的周期函数,则有:ThetaMEX+Tci1 i n ThetaMEXci1 i n(8)设F()=ThetaMEX+Tci-ThetaMEXci则有:F()=log()1ni=1nexp()citan()+Ttan()+T-log()1ni=1nexp()citan()+Ttan()=tan log()1ni=1n
24、exp()citan()+T-tan()+T log()1ni=1nexp()citan()+Ttan()+T tan(9)当T=k时,有:tanlog(1ni=1nexp()citan()+k)-tan(+k)log(1ni=1nexp()citan)0(10)F()=ThetaMEX+k ci1 i n-ThetaMEX ci1 i n 0(11)因此ThetaMEX是周期为k的周期函数。当 2-()2-表示从左边无限接近于/2时,ThetaMEX函数取得最大值。ThetaMEX ci1 i n=MAX ci(12)lim 2-log(1ni=1nexp()citan)(tan)-1根据洛
25、必达定理可推论:lim 2-1ni=1nciexp(citan)()1ni=1nexp(citan)-1 sec2sec2=lim 2-i=1nciexp(citan)i=1nexp(citan)=MAX ci(13)当 0时,ThetaMEX函数取得平均值:ThetaMEX ci1 i n=MEAN ci(14)lim 0(log(1ni=1nexp()citan)(tan)-1),设g()=log(1ni=1nexp()citan),将f(x)在=0处泰勒展开至二阶无穷小,则有:lim 00+()1ni=1nciexp()0()1ni=1nexp()0-1 +o()20+o()2=1ni=
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 ThetaMEX 全局 识别 神经网络 ShuffaceNet
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。