基于生成对抗网络的人脸识别对抗攻击.pdf
《基于生成对抗网络的人脸识别对抗攻击.pdf》由会员分享,可在线阅读,更多相关《基于生成对抗网络的人脸识别对抗攻击.pdf(7页珍藏版)》请在咨信网上搜索。
1、计算机与现代化JISUANJI YU XIANDAIHUA2023年第10期总第338期文章编号:1006-2475(2023)10-0115-06收稿日期:2023-06-04;修回日期:2023-07-09作者简介:王鑫(1982),男,山西榆次人,高级工程师,硕士,研究方向:计算机应用,E-mail:;通信作者:肖韬睿(1994),男,江西南昌人,助理工程师,硕士,研究方向:计算机应用,E-mail:。0引言人脸识别(Face Recognition,FR)是一项重要的计算机视觉任务,广泛用于解决身份验证问题,人脸验证(Face Verification,FV)是人脸识别的一个子任务,它
2、可以判断一对人脸图像是否属于同一身份1。在过去几十年里,人脸验证在移动支付、军事、金融、监控安全和边境控制等各种应用场景中取得了巨大成就2。深度神经网络(Deep-learning Neural Network,DNN)容易受到对抗样本的影响,这些对抗样本在图像中添加了人类视觉无法察觉的微小扰动,以此来欺骗DNN模型产生错误的预测3。对抗攻击可以分为白盒攻击和黑盒攻击,白盒和黑盒是基于对攻击者知识进行假设而区分出的2种主要环境4。前者假设攻击者可以访问模型的参数值、体系结构、训练方法、输入、输出和权重;而后者假设攻击者只能访问模型的输入和输出,但不知道有关模型的信息。人脸属性是表征人类面部特征
3、的一系列生物特性,是现代安全系统中新兴的软生物识别技术之一。最 近,基 于 生 成 对 抗 网 络(Generative AdversarialNetwork,GAN)的方法被用于操纵面部特征图像,如StarGAN5、STGAN6和AttGAN7。本文提出一种有效的攻击方法,称为使用 StarGAN 的语义对抗攻击(SGAN-AA),旨在通过改变显著面部特征来欺骗人脸验证模型(FV模型)。该方法除了通过修改每个输入图像的显著面部特征来提高攻击的可转移性外,还可以有效地生成语义对抗样本,这些特征会通过影响不同 FV模型的决策来欺骗这些模型。在白盒环境中,该方法使用基于目标人脸验证(Target
4、Face Verification,TFV)模型8的余弦相似度(Cosine Similarity,CS)9或可能性评分(Probability Score,PS)10来预测每个输入图像的最显著属性,然后通过特征空间中的StarGAN模型来改变一个或多个属性。注意基于生成对抗网络的人脸识别对抗攻击王鑫,肖韬睿(中国电子科技集团公司第十五研究所系统一部,北京 100083)摘要:人脸识别正在逐渐成为一种监视工具,对人们的隐私产生了巨大威胁。为此,本文提出一种基于生成对抗网络的语义对抗攻击(SGAN-AA),它可以修改图像的显著面部特征,通过使用余弦相似度或可能性评分来预测最显著属性,在白盒和黑盒
5、环境中使用一个或多个面部特征来进行假冒和躲闪攻击。实验结果表明,该方法可以生成多样化、逼真的对抗人脸图像,同时避免影响人类对人脸识别的感知,SGAN-AA对黑盒模型的攻击成功率为80.5%,在假冒攻击下比常用方法高35.5个百分点。预测最显著属性会提升对抗攻击在白盒和黑盒环境中的成功率,并可以增强生成的对抗样本的可转移性。关键词:人脸识别;对抗攻击;生成对抗网络;对抗样本;可转移性中图分类号:TP391文献标志码:ADOI:10.3969/j.issn.1006-2475.2023.10.017GAN-based Adversarial Attacks on Face RecognitionW
6、ANG Xin,XIAO Tao-rui(System Department 1 of North China Institute of Computing Technology,Beijing 100083,China)Abstract:Face recognition is gradually becoming a monitoring tool which posed enormous threats to human privacy.For this reason,the paper proposes a semantic adversarial attack based on gen
7、erative adversarial networks called SGAN-AA that modifiesthe significant facial features for images.It predicts the most significant attributes by using cosine similarity or probability score,and uses one or more facial features in white-box and black-box settings for impersonation and dodging attac
8、ks.The experimental results show that the method can generate diverse and realistic adversarial facial images while avoiding affecting human perception of facial recognition.The success rate of SGAN-AAs attack on black box models is 80.5%,which is 35.5 percentagepoints higher than common methods und
9、er impersonation attacks.Predicting the most significant attributes will improve the success rate of adversarial attacks in both white-box and black-box settings,and can enhance the transferability of the generated adversarial examples.Key words:face recognition;adversarial attack;generative adversa
10、rial networks;adversarial example;transferability计算机与现代化2023年第10期力特征融合(Attention Feature Fusion,AFF)方法用于融合语义不一致的特征以生成逼真的图像11。在黑盒环境中,SGAN-AA依赖余弦相似度预测最显著属性,通过进行循环迭代顺序地改变这些属性直到生成对抗人脸图像。实证表明,预测最显著属性在成功攻击中起着重要作用。SGAN-AA方法在黑盒环境中的攻击成功率明显优于其他方法,并且在白盒环境中的假冒和躲闪攻击中保持较高的攻击成功率。1相关研究1.1对图像的对抗攻击人们已经提出了许多对抗样本生成方法来欺
11、骗不同的图像分类模型,大多数研究都集中在通过向输入图像添加扰动来生成受限的对抗样本。文献 3 首先发现了图像分类的对抗样本的存在,该样本将图像少量部分转换为不可检测的,从而改变图像的分类方式。文献 12 提出了一种快速梯度符号方法(FastGradient Sign Method,FGSM),该方法使用神经网络的梯度来生成对抗样本,但只是在每个像素上沿着梯度符号的方向应用了一步梯度更新。文献 13 提出了一种基本迭代方法(Building Information Modeling,BIM),该方法将较小幅度的FGSM扰动应用于多次迭代以提高攻击成功率,并在每次迭代中修剪像素以避免大的变化。投影
12、梯度下降(Projected Gradient Descent,PGD)14使合成的对抗样本多样化,是BIM方法的扩展。1.2对人脸识别的对抗攻击人们已经提出了多种对抗攻击来攻击FR模型,可以分为3类:添加对抗扰动、操纵面部特征、物理攻击。第1类攻击方式是在特定区域添加人眼无法察觉的扰动来改变输入图像,文献 15 提出了AdvFaces自动对抗方法,该方法通过生成对抗网络在面部区域中产生最小扰动。第2类是基于操纵面部特征,文献16 介绍了SemanticAdv,它可以通过改变单个面部特征来生成不受限制的对抗样本。物理攻击可以通过各种不同的工具产生,例如添加一些对抗面部装饰、自然妆容和对抗补丁1
13、7,这些方法使攻击在物理世界中更加危险。2人脸识别攻击2.1问题定义FV模型通过在数据集D(x,y)上训练模型来识别输入图像,其中x是根据潜在分布采样的人脸图像,y是相应的真实标签。根据f(x):x y,该模型可以预测每个输入人脸图像的标签,主要目标是生成与原始图像x相似但能欺骗FV模型的对抗人脸图像xadv,即FV(xadv)=y y。对抗攻击分为 2 种类型:躲闪攻击和假冒攻击18。躲闪攻击(无目标攻击)是为了欺骗目标模型,使得输出是除原始身份之外的随机身份;假冒攻击(目标攻击)通过将对抗人脸图像识别为指定的目标身份来欺骗目标模型。生成一个xadv,躲闪攻击使模型将xadv识别为不同的身份
14、,使得FV(xadv)y,假冒攻击使模型将xadv识别为目标身份,使得FV(xadv)=ytgt。2.2语义对抗攻击本文提出一种有效的攻击方法SGAN-AA,该方法首先预测每个输入图像最显著面部特征,然后在中间层生成xadv。该方法的白盒攻击框架有2个步骤:1)预测每个输入图像的最显著属性;2)通过修改一个或多个最显著属性来生成xadv。StarGAN 模型5由单个生成器 G 和鉴别器 D 组成,鉴别器经过学习训练将图像从一个域转换到另一个域,这些属性通过使用StarGAN模型进行更改。2.2.1显著属性预测SGAN-AA使用余弦相似度CS或可能性评分PS来检测显著属性,相应的方法分别表示为
15、SGAN-AA-CS和 SGAN-AA-PS。该方法应用 CS或 PS来预测最显著属性并比较它们的结果,然后在所有面部特征上重新训练StarGAN的G以用于显著属性的预测步骤。1)余弦相似度CS。SGAN-AA 通过计算 TFV 模型19的输出特征之间的余弦相似度来获得显著属性,对于图像属性a=(a1,a2,aK),其中ai表示第i个属性,K表示属性总数。首先使用StarGAN来改变输入x的每个ai,以获得图像合成x*ai。然后通过TFV模型提取合成图像特征fx*ai和原始图像特征fx,并计算它们的余弦相似度以得到Sai,即通过改变属性ai来改变TFV输出的变化程度。之后根据相似度分值按升序对
16、a中的属性进行排序,以获得最显著属性C=(c1,c2,cK),其中ci是第i个排序的属性,余弦相似度越小,属性的显著程度就越大。如式(1)所示,余弦相似度是一种测量2个向量之间相似度的方法,范围是从0到1。Sai=CS(fx,fx*ai)=fx fx*aifx fx*ai(1)2)可能性评分PS。可能性评分法的基本思想是使用TFV模型作为属性预测模型(Att-Pred)来预测输入的显著属性。对于输入x中的每个属性ai,使用Att-Pred模型来获得类可能性评分PS,如图1所示。如果在原始图像x中发现ai,则在合成图像x*中去除它,所以本文方法使用StarGAN模型来更改ai以获得x*ai。输入
17、人脸图像中的每个属性对最终决策都有不同的影响,因此需要计算x和x*的ai的概率值Pai以获得变化程度,Pai表示在改变ai以确定每个图像x的最显著属性前后,图像x中的概率值的变化程度。Pai=Pai(x)-Pai(x*ai)(2)其中:x=a1a2aiaK,x*ai=a1a2aiaK1162023年第10期这里,x*ai表示在改变属性ai之后生成的图像。最后使用Pai按降序对属性进行排序,以获得最显著属性C,从而生成xadv,这些属性代表了最佳的攻击效果。图1FaceNet属性预测模型输出2.2.2对抗人脸图像生成第2步重点生成对抗人脸图像,如图2所示。原始图像和最显著属性被输入编码器(GE)
18、以改变这些属性,并从不同的层提取它们的特征,然后使用注意力特征融合框架(AFF框架)来生成并执行特征之间的融合,之后将融合的特征发送到解码器(GD)以获得合成图像。最后,TFV模型接收合成图像和目标身份,以计算对抗损失并在特征级别优化值。为了生成 xadv,SGAN-AA 使用单个或多个属性应用 2 种扰动,SGAN-AA-CS-M 和 SGAN-AA-PS-M 分别表示CS和PS技术中用于多个属性的方法。1)对于单个属性,在完成预测C=(c1,c2,cK)的第1步后使用StarGAN的生成器G,面部特征已经在显著属性预测步骤中进行了训练。G由编码器GE和解码GD器组成,如式(3)所示。GE获
19、取输入图像x和单个有效属性c1并获得中间层中的输出特征,GD将该特征作为输入并输出合成图像。如图2所示,使用x作为具有显著属性c1的GE的输入,然后从编码器的conv层f*conv和残差块层f*res中提取输出特征,如式(4)和式(5)所示。G=GE GD(3)f*conv=GE(x,c,conv_layer)(4)f*res=GE(x,c,res_layer)(5)SGAN-AA 利用注意力特征融合 AFF 方法来获得融合的特征作为解码器GD的输入。注意力特征融合是一种基于多尺度通道注意力模块(Multi-ScaleChannel Attention Module,MS-CAM)将不同层次的
20、特征组合在一起的框架,以克服输入特征之间的语义不一致,生成更逼真的图像。式(6)表示融合权重,其中0,1,是根据注意力特征融合中多尺度通道注意力模块生成的注意力权重计算的,该方法会更新的值,直到模型具有欺骗性。为了获得更好的融合特征 f*,在特征空间中应用插值,如式(7)所示。最后,解码器GD将融合的特征f*作为输入,并获得合成的面部图像x*作为输出,如式(8)所示。=MS(f*conv,f*res)(6)f*=f*conv+(1-)f*res(7)x*=D(f*)(8)图2SGAN-AA攻击框架SGAN-AA通过特征级插值修改每个图像的显著属性c1来获得xadv,为了实现假冒攻击,使用L2损
21、失函数来最小化xadv的人脸嵌入和目标图像xtgt之间的距离,如式(9)所示。xadv=Minx*TVF(x*)-TVF(xtgt)22(9)对抗人脸图像通过最大化特征空间中xadv和x之间的距离来躲闪攻击,如下所示:xadv=Minx*TVF(x*)-TVF(x)22(10)2)对于多个属性,同样使用 StarGAN 的生成器G,但它在这种情况下用于更改特征空间中的多个显著属性C。在实验中改变了2个显著属性c1和c2,表示为独热向量,结果得到了变化较大的合成图像。2.2.3黑盒环境中的SGAN-AA为了进行成功的攻击,需要2个步骤:1)预测目标模型的最显著属性。这个步骤与白盒环境中的步骤类似
22、,但只使用CS方法,因为它不需要训练目标模型来预测属性。2)通过在迭代循环中用改变每个人脸图像的最显著属性,进行线性搜索以找到影响生成的人脸图像的最大值,直到输出欺骗模型。为了改变最显著属性C,SGAN-AA使用StarGAN模型中的GE来获得特征。但不同的是SGAN-AA进行迭代循环,按照最显著到最不显著的顺序来更改属性,直到满足对抗条件。这里使用具有变量值的双线性插值来生成融合特征f*i,根据置信度得分的变化进行线性搜索以找到最佳的 opt值。创建一个向量,它由从 0,1 中提取的100个随机值组成,该向量用于研究式(11)中每个值的影响,然后根据分数的变化来排列这些值。对于假冒攻击,选择
23、最佳的opt值以减少生成人脸图像的人脸嵌入与目标人脸图像之间的距离。对于躲闪攻击,选择最佳的opt值使生成人脸图像的人脸嵌入和输入的人脸图像之间的距离最大。最后,用最优opt值来生成融合特征并将其反馈到解码器,通过以下公式获得x*:f*=opt f*1+(1-opt)f*c1(11)x*=GD(f*)(12)为了保证生成的人脸图像与原始人脸图像保持语义相似,需要测量生成的人脸和输入的人脸图像之 00.20.40.60.81黑发淡妆没有胡子尖脸型直发口红戴眼镜年轻解码器原始图片+最重要的特征编码器AFF框架合成图像TFV模型目标图像优化值计算对抗性损失是否匹配王鑫,等:基于生成对抗网络的人脸识别
24、对抗攻击117计算机与现代化2023年第10期间的语义相似度sim,以过滤掉不真实的人脸图像并控制其质量,当达到对抗标准并且语义相似度高于阈值th(simth)时,就找到了对抗人脸图像。重复上述步骤,在有序的显著属性中添加下一个显著属性,直到找到一个对抗样本。3实验设置3.1数据集SGAN-AA 方法使用 CelebA 数据集20来生成语义对抗人脸图像,该数据集有202599张人脸图像,具有40个人脸属性和10177个身份。实验使用40个面部特征来训练 StarGAN 模型,随机选择 5000个不同的身份作为原始图像,并选择5000个相同的身份作为目标图像。3.2目标人脸验证模型实验选择了6种
25、最先进的FV模型来评估SGAN-AA的有效性,其中包含不同的模型架构和训练损失函数,使用 FaceNet21和 ArcFace19作为白盒 TFV 模型,这2个模型返回图像的512维嵌入,此外还使用了另外2种公开可用的模型SphereFace22和CosFace23进行评估,然后在不同的主干和损失函数下选择训练模型 ResNet-10124和 MobileFace25以验证 SGAN-AA在不同模型上的有效性,最后根据每个FV模型的误报率(FPR)计算最佳阈值T。3.3基线实验采用了 8种基线方法来评估 SGAN-AA,包括随机选择(Random Selection)方法,FGSM、BIM、P
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 生成 对抗 网络 识别 攻击
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。