基于卷积神经网络人脸识别系统的安全性研究.pdf
《基于卷积神经网络人脸识别系统的安全性研究.pdf》由会员分享,可在线阅读,更多相关《基于卷积神经网络人脸识别系统的安全性研究.pdf(13页珍藏版)》请在咨信网上搜索。
1、99J o u r n a l o f Wu h a n Po l y t e c h n i c武汉职业技术学院学报二二三年第二十二卷第四期(总第一百二十六期)基于卷积神经网络人脸识别系统的安全性研究陈铿锵1,莫耀华2(1.汕尾职业技术学院 网络与实训中心,广东 汕尾 516600;2.广州大学 计算机科学与网络工程学院,广东 广州 510006)摘要:针对传统神经网络中的对抗样本问题,以人脸识别为例,讨论了基于传统神经网络的人脸识别技术的潜在安全风险,以及在口罩对抗样本生成并提供防御的方法。主要研究如下:第一,所提出的解决人脸识别技术安全问题的方法,产生了具有模糊和无偏差面具的图像,人脸识
2、别模型将具有模糊面具的脸误判为目标人物。实验结果表明,对抗样本在一定程度上模仿了被隐藏者戴口罩的情形,成功率为 90.43%。第二,提出 DeFense-EC 保护方法来掩盖虚假图案,并使用图像重建技术来恢复虚假图案和抑制噪声。对不同数据集的测试证实了 DeFense-EC 重建的图像质量很高,其可靠性达到 92.32%。讨论传统的基于神经网络的人脸识别方法中的不利选择问题,并研究不利面具选择的风险和 DeFense-EC保护方法的有效性。卷积网络的日益普及使逆向选择问题成为一个重要的研究领域,对逆向选择的彻底调查将促进卷积网络的发展和使用。关键词:卷积神经网络;对抗样本;人脸识别;口罩攻击;
3、图像修复 中图分类号:TP391.41;TP183文献标识码:A文章编号:1671-931X(2023)04-0099-13D O I:10.19899/ki.42-1669/Z.2023.04.016收稿日期:2022-09-21作者简介:陈铿锵(1979),男,广东陆丰人,汕尾职业技术学院网络与实训中心讲师,研究方向:计算机科学与技术、网络安全技术、教育信息化;莫耀华(1996),男,广西来宾人,广州大学计算机科学与网络工程学院 2021 级硕士研究生,研究方向:深度学习。随机测试可用于评估和提高人脸识别系统在现实世界应用中的可靠性1。目前有两种主要的方法来创建用于人脸识别的负面模型:一种
4、是在整个脸部添加不可见的小变形,使其不容易被人眼看到。第二种类型是人眼可以看到但不太明显的脸部部位的扰动影响。提出了一种攻击者面具的生成方法,精心设计的攻击者面具通过模拟攻击者隐藏脸部的情况,在人脸识别模型中引起错误。人脸识别模型根据标签之间的相似性(或距离)做出识别决定,而不是根据属于类别不同人脸图像的概率值。针对图像分类器的攻击如果是针对人脸识别网络的,是无效的。换句话说,人脸识别模型决定了它在应对有深度信号的反击时比有虚假信号的反击更有效2。在现实世界中,一个错误的授权可能比拒绝一个错误的面部识别模式产生更严重的后果,例如当一个陌生人用面部识别打开手机时。下面几节分析了攻击对人脸识别模型
5、的影响。由于人脸识别模型是现成的,本研究假设攻击者知道模型的内部参数。基于改进的人脸识别模型 Arcface3,在公共数据集上进行了实验,以证明蠕虫侵袭法的有效性。本文详细分析了用于开发攻击保护模型的方法,展示了应 用 技 术100应 用 技 术A p p l i c a t i o n T e c h n o l o g y武汉职业技术学院学报二二三年第二十二卷第四期(总第一百二十六期)算法的攻击保护能力,显示了算法的有效性,并提出了关于攻击保护的初步研究。一、基于身份特征的口罩对抗样本生成算法(一)MI-FGSM 攻击Dong等人4提出了MI-FGSM来提高保护效果。为了稳定优化并避免不必
6、要的局部峰值,该算法使用了一种增益方法,在每次迭代中累积损失函数的梯度。MI-GSM 经常被用来攻击分类模型,由此产生的干扰没有被注意到。对于分类模型,攻击方法的具体步骤如下:直接传播:首先通过直接传播将输入数据 x 到 y,加入分类模型)(F,并计算损失函数);(yxJ,。反向传播:计算数据);(yxJx,的梯度与损失的关系。用式(1)计算堆栈梯度tM(t 为迭代次数)。生成对抗样本:为了创建梯度信息添加扰动,添加一个基于梯度矩阵的扰动x,并将像素值投射到式(2)中指定的区域。使用 L1、L2 和l约束扰动量。21);();(yxJyxJMMtxtxtt,+=+式(1))(11+=tttMs
7、ignxClipx式(2)其中,)(Clip表明误差在可接受范围内的信号函数)(sign,以及一个动量减少系数。(二)空间变换网络如果猫的图像能够被正确地识别和分类,那么这个模型就是尺度和旋转不变的。但 CNN 并不经常这样做。为了解决这个问题,Yaderberg 等人提出了一个卷积神经网络的架构模型,称为空间转换网络(SpatialTransformerNetworks,STN)5。该模型将输入图像转化为完整的图像,并促进其他分类和识别任务(例如,将 1-a 图像转化为 1-b 图像,等等)。STNs 由一个定位网络、一个网格发生器和一个扫描单元组成。具体转换过程如下:(1)预测工作由本地网
8、络以图像转换函数为中心进行;(2)网格生成和采样器应根据上一步的预测来处理图像;(3)CNN对被改变的图像进行分类和识别。STNs 的大小是微观的,因此它们可以在不改变 CNN 结构的情况下被用于内层、复合层或其他层的后面。STNs 的工作速度非常快,不会干扰 CNN 的整体训练计划。a.变换前b.变换后图 1猫的图像示例(三)口罩对抗样本生成算法本文提出了一种面具攻击,模拟一个人戴着面具的情况,攻击者创建一个复合面具来伪装自己,迫使人脸识别模型将其识别为某张脸。攻击过程为:(1)确定扰动区域。将插值方法初始化为掩码方法,使用 STN 将插值掩码置于适当的面的位置,并相应地创建 M 掩码的插值
9、掩码(将 M 的掩码范围对应的元素设为 1,其他元素设为 0);(2)寻找最佳扰动。一旦确定了误差区域和误差形状,就应用迭代的 MI-GSM 攻击方法,根据给定的优化目标找到最佳误差;(3)最后,通过在 X 面的原始掩膜上添加掩膜变形来创建对抗样本MMxxx+)1(:,如图2 所示。图 2口罩攻击算法框架图陈铿锵,莫耀华:基于卷积神经网络人脸识别系统的安全性研究101应 用 技 术A p p l i c a t i o n T e c h n o l o g y武汉职业技术学院学报二二三年第二十二卷第四期(总第一百二十六期)1.确定扰动区域及优化目标确定扰动区域。程序如下:(1)使用 MTCN
10、N 人脸检测器采集和对齐人脸;(2)将扰动初始化为口罩的形状;(3)面罩排列与脸部在 STN 上的正确位置和面罩支架的干扰。从分散注意力者的形状和位置的信息中,创建了一个面具矩阵 M,它与人脸图像的大小相等。一旦确定了干扰量,就会根据优化目标确定最佳干扰。文献4指出,以前的造假方法建立的造假模型注重深度学习模型的最终输出(概率值或标签),但这种类型的方法一般不适用于使用深度学习的人脸识别,因为人脸识别依赖于根据识别字符之间的相似性(或距离)来估计识别结果,而不是预测标签。对于模式来说,情况并非如此。为此,我们开发了一个基于识别属性相似性的损失函数:2arg2argarg1_)()()()()(
11、),(cos(e tte tte ttsimxFxFxFxFxFxFL=式(3)其中,表示 Hadamard 输入,x即带有口罩扰动的人脸图像,即攻击样本,e ttxarg为攻击目标,F 是人脸识别模式,)cos(表示余弦相似度,数值在-1,1 范围内,数值越大意味着身份相似度越高。通过最大化这个损失函数,我们可以增加对抗样本x和攻击目标e ttxarg之间的余弦相似度。一个有效的攻击方法必须考虑到对抗样本x与攻击目标e ttxarg之间的相似性,同时提高对抗样本x与攻击模式 x 之间的相似性。为此,引入2_simL损失:222_)()()()()(),(cos(xFxFxFxFxFxFLsi
12、m=式(4)余弦攻击算法通过最小化损失函数2_simL和减少攻击模式x与原始 x 模式之间的余弦相似度来改进。为了确保生成的口罩扰动的空间均匀性,我们引入了一个额外的总损失(TV)5。2/1,21,2,1,)()(+=jijijijijitvL式(5)其中,ji,是口罩扰动的像素值。综合式(3)、式(4)和式(5),口罩攻击算法的最终优化目标为:)max(argmaxarg32_21_1t vsimsimLLLL=式(6)其中,1、2和3为损失函数的权重。2.产生口罩扰动一旦优化问题被定义,扰动就会用 MI-FGSM 生成。MI-FGSM 是一种用于分类模型的负模型生成方法,当与本工作中开发的
13、优化问题相结合时,在攻击人脸识别模型时,可以在没有任何误差大小限制的情况下生成可见的面具错误。在每个迭代中,首先计算干扰掩码的梯度数据L以优化 L,然后通过组合梯度数据获得当前梯度,最后利用当前梯度数据持续更新干扰掩码。程序如下:(1)在迭代T 期间,根据式 7 计算损失函数 L 相对于误差函数t的梯度L。(2)通过使用公式 8 计算不同时期的斜率的指数移动平均值,得到新的梯度1+tM。(3)使用方程 9 中的梯度数据1+tM更新误差t。(4)如果没有达到迭代次数,总是重复上述程序。tt vtttsimtttsimLxxLxxLLt32_21_1式(7)LMMttt+)1(1式(8))(11+
14、tttMsign式(9)经过一定次数的迭代,我们得到了最佳扰动和负样本,其中负样本可以表示为:MMxx+)1(式(10)(四)攻击效果分析图 3 显示了隐形攻击方法产生的一些响应模式和通知掩码,其中第一行显示了攻击的目标e ttXarg,第二行是原始 X 模式,第三行是生成的对抗样本x,最后一行是生成的扰动的口罩。我们看到,我们的参考模型对应的是脸部有一定程度隐藏的情况。优化口罩攻击的目标是使攻击者的识别特征x和目标的模式e ttXarg在特征空间中的距离最小。为了实现这一目标,面具的干扰图案类似于人脸的下部,就像被面具部分隐藏的脸被画在面具本身上一样,这表明下部的面部特征在人脸识别中起着重要
15、作用。此外,不同的攻击对象有不同的口罩检测模式,这表明人格特征因人而异。图 3对抗样本示例陈铿锵,莫耀华:基于卷积神经网络人脸识别系统的安全性研究102应 用 技 术A p p l i c a t i o n T e c h n o l o g y武汉职业技术学院学报二二三年第二十二卷第四期(总第一百二十六期)图 4 中的第一列显示了攻击的目标e ttXarg,下面几列显示了左边的原始 X 平面和右边的带干扰掩码的 X 平面。需要注意的是,编码后的面具类似于人的鼻子和嘴巴,根据文献6,鼻子和面具的其他部分含有重要的信息,可以提取出来进行识别,嘴巴也含有重要的信息,所以鼻子、嘴巴甚至眼睛都可以纳
16、入构建的面具中。口罩变换算法的目的是提高生成的变换模型与目标脸的识别之间的余弦对应关系,并促进对鼻子和嘴的学习,因为这是目标脸的重要特征,所以生成的面具的鼻子和嘴与目标脸的特征相似。人脸识别网络的目标是识别人脸的面部特征,但面部特征之间的微小差异会使网络无法正确识别它们。本文提出的面具生成和背景检测算法可以成功骗过人脸识别模型。二、基于图像修复的口罩对抗样本防御方法研究(一)问题的建立将应用了面具的脸部原始图像作为 X,并对其进行扰动,以形成另一面的对抗样本X。本文提出了一种基于 CGAN 重建的保护方案,其中对抗样本X被重建为原型 X,即XXG:,生成器参数为 G。在测试阶段,人脸识别模型提
17、取面部特征,计算面部特征之间的相似度和距离,并根据这个相似度和距离来确定身份,例如,如果距离大于阈值,就意味着该脸不是同一个人。鉴于人脸识别模型的这一特性,我们的防御问题是使重建的模型)(XG与原始模型在 X 空间的身份函数之间的余弦距离最小,防御问题表述如下。)(),(cos(1)(),(minarg*XFXGFXFXGFLd=)(),(cos(1)(),(minarg*XFXGFXFXGFLd=式(11)其中,余弦距离度量是)(dL,人脸识别模型是)(F,F(X)是由原始样本 X 和重建样本的人脸识别模型得出的 512 维身份(深度函数),)(XGF通过将身份之间的重构样本)(XG减少到
18、512 维身份,使重建样本)(XG与原始样本 X 的身份相同,并具有更相似的深度函数。可以考虑到空间加权,以进一步提高图像质量。(二)面向口罩对抗样本的人脸识别防御方法“DeFense-EC”生成一个轮廓重建网格和一个基于 CGAN 的人脸重建网格,首先从原始样本中重建“轮廓”,然后是“人脸”。为进一步提升生成图片定性分析。为了进一步分析视觉面具反应的结果,从 CASIAWeFace 数据库的前 1000 名识别者中随机选择攻击目标,并生成反应面具。一些结果显示在图 4 中。图 4针对不同攻击目标生成的对抗样本示例陈铿锵,莫耀华:基于卷积神经网络人脸识别系统的安全性研究103应 用 技 术A
19、p p l i c a t i o n T e c h n o l o g y武汉职业技术学院学报二二三年第二十二卷第四期(总第一百二十六期)的质量,提出空间加权对抗损失。DeFense-EC 基于 CGAN 构建轮廓重构网络和人脸重构网络,以先轮廓后人脸的方式,将对抗样本重构为原始样本。DeFense-EC 的保护程序如下:在第一步中,恢复网络首先重新创建受损区域的轮廓;在第二步,人脸重建网络根据轮廓半径重建受干扰区域的人脸;最后,重建的人脸被确认。如图 5 所示。图 5DeFense-EC 框架轮廓重构和重构网络由生产器和判别器组成。为简单起见,我们指的是生成器和判别器分别用1G和1D表示
20、以及人脸重构生成器和判别器分别用2G和2D表示。在灰度图grayX和轮廓图g tC上标记原始脸部 X,X表示变形面具 M 标记敌人模型,在灰度图maskgrayX_和轮廓图maskC上标记缺失变形部分的脸部图X。本研究中使用的不同原始脸部和它们各自的符号表示方法如图 6。图 6各种图像及其对应的符号标记1.DeFense-EC为了充分利用去除噪声掩码技术,必须将有噪声掩码的人脸转换为无噪声区域的人脸,并使用图7 所示的噪声掩码 M 提取无噪声区域的人脸,即无噪声人脸掩码)1(MXXmask。然后通过在轮廓修复网格和表面修复网格之间的切换来恢复受陈铿锵,莫耀华:基于卷积神经网络人脸识别系统的安全
21、性研究104应 用 技 术A p p l i c a t i o n T e c h n o l o g y武汉职业技术学院学报二二三年第二十二卷第四期(总第一百二十六期)图 8轮廓重构网络损区域的表面。图 7掩码操作示例重建轮廓图。为了重建受干扰地区的轮廓,采用了图 8 所示的等高线网格。使用 Canny 轮廓检测器maskX,可以将轮廓图maskC、灰度图maskgrayX_和扰动掩码 M 这三个独立的通道合并为三个数据通道,并送至轮廓重建网络生成器1G,以获得完整的面部轮廓),(_1MCXGCmaskmaskgraypred=。分割器1D必须能够尽可能准确地区分实际的原始轮廓图Cg和发生
22、器产生的轮廓图predC。它可以创建逼真而完整的轮廓图predC。为了填补受损区域的轮廓图predC,并保留未受损区域的轮廓图Cg,应将创建的等高线的轮廓线合并成一张复合等高线图MCMCCpredg tcomp+=)1(,其中包含原始表面轮廓线1G中受损区域的轮廓线predC和原始表面轮廓线中剩余区域的轮廓线Cg。重构人脸图。在创建脸部轮廓后,脸部重建网格根据轮廓图创建一个脸部,如图 9 所示。三通道人脸图maskX和单通道轮廓图compC合并为四个数据通道,并送入生成器2G进行面部重建,创建一个完整的面部2G,进行无对抗性扰动,即),(2compmaskpredCXGX=。判 别 器2D可以
23、更好地将原始 X 平面与生成器2G的 X 平面分开。通过与2D的博弈,2G被用来在原图predC旁边创建一个轮廓图compC。最后,我们可以添加一个 X 与predX来填充编码区的人脸MXMXXpredcomp+=)1(,而不对原始区的人脸进行编码,以创建一个单一的人脸图像2G,其中编码区的人脸来自生成器,其余的人脸图像来自原始人脸图像。一旦扰动得到纠正,脸部得到恢复,就可以被认出。图 9人脸重构网络陈铿锵,莫耀华:基于卷积神经网络人脸识别系统的安全性研究105应 用 技 术A p p l i c a t i o n T e c h n o l o g y武汉职业技术学院学报二二三年第二十二卷
24、第四期(总第一百二十六期)a.引入空间加权对抗损失前b.引入空间加权对抗损失后图 10扰动区域与其他区域对抗损失函数的分布2.损失函数DeFense-EC 开发了几个缺失的轮廓训练功能和人脸重建网络,以更好地学习跟踪的第一个细节。利用加权对抗损失,口罩扰动是一种噪声。如图 10a 所示,与其他部分相比,对面区块的噪声模式与区块中噪声最大部分的损失分布不一致。因此,原则上,这两个地区并不等同,这两部分的损失应分别处理。因此,建议使用空间加权负损失,其中干扰区域的负损失与其他区域的负损失加权不同,轮廓重建网和面孔重建网的空间加权负损失如下所示:),(1log),(log11),(1,graypre
25、dXgrayg tXCadvXCDEWXCDEWLgraygrayg t+=),(1log),(log11),(1,graypredXgrayg tXCadvXCDEWXCDEWLgraygrayg t+=式(12)),(1log),(log22),(2,compXXadvCXDEWCXDEWLcompgray+=),(1log),(log2comppredCcompXXadvCXDEWCXDEWLcompgray+=式(13)其中,1,advL和2,advL是用于轮廓和脸部重建的空间加权负损失网,W 是对应于掩膜矩阵的空间加权矩阵,其中矩阵元素只有两个值:受干扰区域的相应元素的值为 0.75
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 卷积 神经网络 识别 系统 安全性 研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。