反向残差结构的指纹细节点提取轻量型网络模型.pdf
《反向残差结构的指纹细节点提取轻量型网络模型.pdf》由会员分享,可在线阅读,更多相关《反向残差结构的指纹细节点提取轻量型网络模型.pdf(11页珍藏版)》请在咨信网上搜索。
1、第 32 卷 第 1 期厦门理工学院学报Journal of Xiamen University of TechnologyVol.32 No.12024 年 2 月Feb.2024反向残差结构的指纹细节点提取轻量型网络模型侯雪峰1,苏毅婧2,李俊2,徐敏1*(1.厦门理工学院电气工程与自动化学院,福建 厦门 361024;2.中国科学院海西研究院泉州装备制造研究中心,福建 泉州 362000)摘 要 针对指纹匹配中细节点信息提取错误和提取不充分的问题,提出一种基于深度学习的端到端轻量型改进多尺度反向残差指纹网络模型(inverted residual network for fingerpr
2、int minutiae extraction,IRFingerNet)。该网络模型使用改进的残差结构,建立容易优化的轻量级网络,在增加网络深度时可减少信息丢失;把指纹的脊线、细节点等多种特征融合为联合特征,增强语义信息并提高对细节点的感知能力;运用通道注意力机制,校正联合特征,增大有效特征权重,减少无效特征权重。在 NIST 4、FVC 2002、FVC 2004数据库上的实验结果表明,在实际应用中,IRFingerNet可以更有效地完成指纹细节点提取的任务,拥有更高的精准度和回调率,整体的F1得分高达0.87,其效果相较于传统提取方法得到了11%的提升,且达到了每个指纹图像0.23 s的检
3、测速度。关键词 指纹特征提取;反向残差指纹网络模型(IRFingerNet);深度学习;注意力机制;特征融合中图分类号 TP391.41;TP183 文献标志码 A 文章编号 1673-4432(2024)01-0047-11A Lightweight Network Based on Inverted Residual Structure for Fingerprint Minutiae ExtractionHOU Xuefeng1,SU Yijing2,LI Jun2,XU Min1*(1.School of Electrical Engineering and Automation,Xi
4、amen University of Technology,Xiamen 361024,China;2.Quanzhou Institute of Equipment Manufacturing Haixi Institutes,Chinese Academy of Sciences,Quanzhou 362000,China)Abstract:To address the erroneous and insufficient extraction of minutiae information in fingerprint matching,this paper proposes an im
5、proved end-to-end multiscale inverted residual network for fingerprint minutiae extraction(IRFingerNet)based on deep learning.This improved residual structure is incorporated into the model,and lightweight networks that are easily optimized is built to reduce information loss while increasing the ne
6、twork depth.The multiple features of fingerprint are sent into the network as united features to enhance semantic information and improve the perception of details.The channel attention mechanism is applied to calibrate the united features so that the effective feature weight is increased and the in
7、valid feature weight decreased.Experimental results on NIST 4,FVC 2002 and FVC 2004 databases show that IRFingerNet doi:10.19697/ki.1673-4432.202401007收稿日期:20221221 修回日期:20230216基金项目:国家自然科学基金项目(61906178);福建省自然科学基金项目(2020J05094)通信作者:徐敏,男,教授,研究方向为嵌入式系统与智能控制,E-mail:。引文格式:侯雪峰,苏毅婧,李俊,等.反向残差结构的指纹细节点提取轻量型网
8、络模型 J.厦门理工学院学报,2024,32(1):47-57.Citation:HOU X F,SU Y J,LI J,et al.A lightweight network based on inverted residual structure for fingerprint minutiae extractionJ.Journal of Xiamen University of Technology,2024,32(1):47-57.(in Chinese)厦门理工学院学报2024 年can perform the task of fingerprint detail point ex
9、traction more effectively in practical applications with higher accuracy and callback rate,and the overall F1 score strikes 0.87,making an efficiency 11%greater than the traditional extraction method,and a detection speed of 0.23 s per fingerprint image.Key words:feature extraction of fingerprint;in
10、verse residual fingerprint network model(IRFingerNet);deep learning;attention mechanism;feature fusion随着社会信息化水平的提高,人们需要更加可靠的识别技术对身份进行认证1。在生物识别系统中,自动指纹识别系统(automatic fingerprint identification system,AFIS)因其在速度、准确性、鲁棒性和成本之间具有相当好的平衡性而较为出众2。其中,通过细节点比对来寻求指纹的相似性是指纹识别中最普遍的方法3。在实际场景中,由于不稳定因素(如个人的手指缺陷、按压方式不
11、当、背景环境复杂、提取设备误差等)较多,不可避免地会遇到低质量的指纹,影响提取算法性能和识别率。为了更好地识别指纹,有不少改进的提取算法相继被提出,这些方法可大致分为2类:一类是传统数字滤波算法4-6;另一类是通过卷积网络直接从图像中提取语义特征7-9。在过去的几十年里,传统方法在一定程度上解决了指纹特征提取的问题,该类算法需要图像的归一化、分割、增强、二值化和指纹脊线的骨架化等步骤10。针对质量差的指纹,需要用到复杂的增强滤波办法。如为了获得更加流畅的纹线,文献 4 尝试使用3种方式对脊线的中断点、毛刺及端点进行处理,以消除它们对特征提取的影响;文献 5 将统计模式识别与结构模式识别相融合进
12、行特征提取;文献 6 通过Gabor相位提取细节特征,以克服褶皱和噪声的影响,但人工设计的特征很难适应复杂的背景差异。这些算法都需要对输入图像进行预处理后再设定相关模板参数,虽然实验结果可以达到预期,但是过程的复杂度增加了人力消耗。近年来,卷积神经网络(convolutional neural networks,CNN)在计算机视觉任务中表现出了较好的效果11。如文献 7 提出了一种基于分块的细节点提取方法,将指纹图像分割为重叠的小块,训练一个名为Judge-Net的二元分类器来判断输入小块中是否存在细节点,再训练另一个名为Locate-Net的九类分类器来决定其细节点所属的区域,缺点是缺少每
13、个细节点的方向信息;文献 8 将细节点提取的分类问题转化为目标检测问题,通过模拟Fast R-CNN模块获得每个细节的位置和方向信息,增加了细节点方向信息,但其准确性仍有进一步的提升空间;文献 12 提出了一种端到端的分类网络FingerNet来提取细节点,该网络首次使用多个CNN来分别映射传统步骤中的分割、增强、方向场估计和特征提取等完整流程,缺点是该网络耗时较长,且没有抑制虚假细节点的产生。文献 9 提出基于分块输入的双阶段网络FineNet,一阶段网络是由MinutiaeNet选择候选框,二阶段网络由CoarseNet对备选框进行判断,FineNet遏制了虚假细节点的产生,也拥有较高的精
14、准度,但其结果耗时高达1.2 s;文献 3 提出了基于生物医学网络U-Net改进的F-Net,有效减少了预测耗时,但未抑制虚假细节点的产生。综上所述,一般的传统提取算法对指纹处理步骤比较复杂且依赖人工经验,而现有的基于CNN的方法则有输入分块化、多阶段网络不方便训练、参数量大、实时性较差的缺点。为解决这些问题,本文提出一种基于深度学习的轻量化端到端改进多尺度反向残差网络模型(inverted residual network for fingerprint minutiae extraction,IRFingerNet),在 NIST 4、FVC 2002、FVC 2004数据库上的实验结果表
15、明,该模型的实时性和综合性能均优于以前的同类网络模型。1IRFingerNet算法的整体框架本文的指纹细节提取框架由浅层特征提取和细节点提取2部分组成。1)浅层特征提取部分。它是一个基于改进FingerNet12的卷积神经网络。在本部分中,输入的图像经过不同网络深度的特征提取,得到方向图、分割图、增强图等特征图并进行特征融合,以便为第二部分提供更加充分的特征信息。48第 1 期侯雪峰,等:反向残差结构的指纹细节点提取轻量型网络模型2)细节点提取部分。它是一种基于改进的轻量级反向残差结构13的网络。本部分对联合特征进行高阶信息提取,输出细节点详细的位置和方向信息。本文提出的IRFingerNet
16、网络模型构架图见图1。1.1浅层特征提取指纹的特征提取不同于自然图像的处理,指纹图像可能包含大量的噪声,提取的每个细节点为方形区域且要求精度高。因此,本文在IRFingerNet中运用先验知识与CNN相结合的思想,将原始图像、增强图、方向图和分割图整合到CNN中,以提高细节检测的精度。受Tang等12的启发,本文将人工传统算法映射到一个具有固定权值的网络中,详细结构见图2。1.1.1标准化由于指纹图像采集的特殊性,同一个手指采集后其像素分布差异较大,需要使用标准化将像素映射到同一特定区间14。其定义为I(x,y)=m0+(I(x,y)-m)2v0v,I(x,y)m,m0-(I(x,y)-m)2
17、v0v,其他。(1)图1 IRFingerNet网络模型构架Fig.1Framework of the IRFingerNet network model 图2浅层特征提取部分网络详细结构Fig.2Detailed architecture model of extract part of the shallow features 49厦门理工学院学报2024 年式(1)中:I(x,y)为输入图像(x,y)处的强度值;m和v分别为图像均值和方差;m0和v0分别为标准化后期望的均值和方差。1.1.2分组滤波将N个具有不同固定权值的卷积核代替Gabor滤波器。标准化后的指纹图像通过与其进行卷积,可
18、以得到一组滤波后的复杂图像,即增强特征,定义为C(x,y,i)=(I gi,i)(x,y),i=0,1,N-1,(2)F(x,y,i)=ArgC(x,y,i)。(3)式(2)式(3)中:C(x,y,i)表示第i次滤波图像中像素(x,y)处的强度值;I是标准化后的图像;gi,i是手工制作的指纹脊频率固定脊方向逐渐变化的卷积核;F(x,y,i)则是图像卷积后的增强特征包含通道上的全部参数。1.1.3方向选择将生成一个掩模,以从增强特征中选择适当的增强块用于生成增强图,其定义为M(x,y,i)=1,(x,y)=i,0,其他。(4)式(4)中:M(x,y,i)表示在掩模中(x,y)处的第i个卷积处理后
19、的像素值。当增强特征方向(x,y)与固定参数卷积核方向i相对应时,掩膜设置为1。1.1.4方向图与分割图标准化后图像送入神经网络,经过9个33卷积层、3个池化层和6个残差结构的运算后,得到256个8060的特征模板,再经过不同空洞率的空洞卷积层后15,完成多尺度信息提取,得到3个806090的三维方向信息,对其进行数据叠加后输出1个806090的三维方向图。分割图同理。方向图的输出直接预测每个输入像素的离散角的概率,即在(x,y)处的预测角度可以表示为N维向量,其定义为Pori Pori(i)N-1i=0。(5)式(5)中:第i个元素Pori(i)表示该位置的脊方向值为180N i的概率,可以
20、通过选择一个最大响应max(x,y)来得到最终的方向输出。1.1.5增强图将方向图上采样8倍与增强特征进行方向信息筛选,得到1个640480的二维增强图,其定义为E(x,y)=i=0NF(x,y,i)M(x,y,i)。(6)式(6)中:E(x,y)为增强图在坐标(x,y)的像素值。1.1.6反向残差结构在网络中增加更多的层可能会导致梯度爆炸或消失的问题。本文提出的CNN由一系列残差结构改造后串联而成,将部分标准卷积更改为深度卷积16,在不降低精度的情况下减少参数的数量,额外添加一个映射层,以确保添加操作的两个部分的长度相同,调整残差结构中的维数顺序,以减少参数的数量;最后再添加一层线性结构,以
21、便更好地提取低维空间的特征。每个卷积层之后是一个批归一化层17。改进的残差结构与标准差结构的对比如图3所示。1.2细节点提取节1.1部分使用先验知识获得的特征图只是该网(a)标准残差结构 (b)反向残差结构图3改进的残差结构与标准差结构的对比Fig.3Improved residual structure versus standard deviation structure50第 1 期侯雪峰,等:反向残差结构的指纹细节点提取轻量型网络模型络的一个副产品,但对于指纹细节点提取是非常重要的。本文将特征图与第二部分结合,获得细节点特征,然后将细节点特征与细节点得分图连接起来,添加通道注意机制,得
22、到细节点的详细位置信息,具体见图4。最后,对这些信息进行整合,得到理想的细节点提取图。由于细节点可能聚集在某一区域周围,本文使用阈值12像素和点方向20的非最大抑制18来剔除冗余的细节点。1.2.1细节点特征受文献 19 的启发,本文使用步长为2的卷积和Relu激活函数代替传统的最大池化层,使网络的特征提取性能略有提高。将联合特征发送给CNN,获取这部分的核心信息,即细节点特征。1.2.2细节点得分图文中细节点特征经过4层标准卷积,得到细节点得分图。得分图为原输入图像尺寸的1/8,它代表了每个88基本单位有一个细节点的概率。每个像素点的值范围为 0,1,当概率大于设置的阈值=0.5时,被认为它
23、是一个候选细节点。1.2.3X/Y坐标得分图本文将细节点特征与细节得分图进行通道拼接后送入3层标准卷积并添加注意力机制,并对每个细节进行了8个分散的位置预测,其定义为xtrue=(x 8+arg max(Xscore)(x,y),(7)ytrue=(y 8+arg max(Yscore)(x,y)。(8)式(7)式(8)中:xtrue、ytrue为原始输入图像的坐标;x、y表示坐标得分图的坐标值;arg max(Xscore)、arg max(Yscore)表示坐标得分图通道最大值索引;(x,y)表示细节得分图中大于阈值的坐标。1.2.4通道注意机制本文使用一种注意力机制来制作网络模型来校准特
24、征20,可促使通道上的有效特征显著化,减少无效特征的权重,将其放到网络中,以更好地利用联合特征的优势。通道注意力主要包含压缩和激励2部分:压缩操作就是一个全局平均池化,经过压缩操作后特征图被压缩为11C向量;激励部分由2个全连接层组成,其中SERatio是一个缩放参数,设置这个参数的目的是为了减少通道个数从而降低计算量。第一个全连接层有CSERatio个神经元,输入为11C,输出11CSERadio。第二个全连接层有C个神经元,输入为11CSERadio,输出为11C,将SE模块计算出来的各通道权重值分别和原特征图对应通道的二维矩阵相乘,得出的结果输出。本文设计的通道注意力网络结构见图5。图4
25、细节点提取部分网络详细结构Fig.4Detailed architecture model of extracted part of minutiae 51厦门理工学院学报2024 年1.2.5方向得分图方向信息是指纹细节点表述的另一个重要信息,一个细节点特征可由其位置坐标和方向来表示21。方向得分图的输出是一个大小为W8H8180的张量,处理方法类似于坐标得分图。文中取通道最大索引作为当前方向块的方向,方向范围在 0,180。1.2.6损失函数指纹细节点提取属于对图像像素的分类,基于此,本文采用加权交叉熵作为该网络的损失函数,具体公式为L=-1|ROIi-1N()+giloge(si)+-(
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 反向 结构 指纹 细节 提取 轻量型 网络 模型
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。