![点击分享此内容可以赚币 分享](/master/images/share_but.png)
基于通用逆扰动的对抗攻击防御方法.pdf
《基于通用逆扰动的对抗攻击防御方法.pdf》由会员分享,可在线阅读,更多相关《基于通用逆扰动的对抗攻击防御方法.pdf(16页珍藏版)》请在咨信网上搜索。
1、基于通用逆扰动的对抗攻击防御方法陈晋音1,2吴长安2郑海斌2王巍3温浩4摘 要现有研究表明深度学习模型容易受到精心设计的对抗样本攻击,从而导致模型给出错误的推理结果,引发潜在的安全威胁.已有较多有效的防御方法,其中大多数针对特定攻击方法具有较好防御效果,但由于实际应用中无法预知攻击者可能采用的攻击策略,因此提出不依赖攻击方法的通用防御方法是一个挑战.为此,提出一种基于通用逆扰动(Universalinverseperturbation,UIP)的对抗样本防御方法,通过学习原始数据集中的类相关主要特征,生成通用逆扰动,且 UIP 对数据样本和攻击方法都具有通用性,即一个 UIP 可以实现对不同攻
2、击方法作用于整个数据集得到的所有对抗样本进行防御.此外,UIP 通过强化良性样本的类相关重要特征实现对良性样本精度的无影响,且生成 UIP 无需对抗样本的先验知识.通过大量实验验证,表明 UIP 在不同数据集、不同模型中对各类攻击方法都具备显著的防御效果,且提升了模型对正常样本的分类性能.关键词深度学习,通用逆扰动,对抗样本,通用防御引用格式陈晋音,吴长安,郑海斌,王巍,温浩.基于通用逆扰动的对抗攻击防御方法.自动化学报,2023,49(10):21722187DOI10.16383/j.aas.c201077Universal Inverse Perturbation Defense Aga
3、inst Adversarial AttacksCHENJin-Yin1,2WUChang-An2ZHENGHai-Bin2WANGWei3WENHao4AbstractExistingstudieshaveshownthatdeeplearningmodelsarevulnerabletocarefullycraftedadversarialsample,leadingtowrongdecisionbythemodel,whichwillcausepotentialsecuritythreats.Manyeffectivedefensemethodshavebeenproposed,most
4、ofwhichhavegooddefenseeffectsagainstspecificattackmethods.However,sincethepossiblestrategiesofattackerscannotbepredictedinpracticalapplications,itisachallengetoproposeageneraldefensethatdoesnotrelyonattackmethods.Thispaperproposesadefensemethodbasedonuniversalin-verseperturbation(UIP),whichgenerates
5、universalinverseperturbationbylearningimportantfeaturesofclassesintheoriginaldata.UIPisuniversaltodataandattackmethods,thatis,oneUIPcanrealizedefenseagainstallsamplesobtainedbydifferentattackmethodsactingontheentiredataset.Inaddition,UIPcanguaranteetheac-curacyofbenignsamplesbyenhancingtheimportantc
6、haracteristicsofthebenignsamples,andthegenerationofUIPdoesnotrequirepriorknowledgeofadversarialsamples.ExtensiveexperimentsarecarriedouttotestifythatUIPhasasignificantdefenseeffectagainstvariousattackmethodsindifferentdatasetsanddifferentmodels,andthemodel sclassificationperformancefornormalsamplesi
7、simprovedaswell.Key wordsDeeplearning,universalinverseperturbation(UIP),adversarialexample,generaldefenseCitationChenJin-Yin,WuChang-An,ZhengHai-Bin,WangWei,WenHao.Universalinverseperturbationde-fenseagainstadversarialattacks.ActaAutomaticaSinica,2023,49(10):21722187随着计算机硬件计算力的发展,深度学习技术1凭借其良好的性能和较强的
8、拟合能力广泛应用于计算机视觉2、自然语言处理3、语音识别4、工业控制5等领域.然而,近期研究发现,深度学习模型容易受到精心制作的微小扰动的影响6.对抗攻击可以定义为:在模型测试阶段,攻击者通过在原始数据上添加精心设计的微小扰动得到对抗样本,从而使得深度学习模型完全失效并以较高置信度误判的恶意攻击.在应用深度模型的各个领域,对抗样本均可实现较高概率的攻击,如何设计高效的防御方法提高深度学习模型的鲁棒性是其进一步推广应用的安全保障7.已有大量面向深度学习的对抗攻击研究工作,根据其对抗样本生成原理不同,可分为基于梯度的收稿日期2020-12-28录用日期2021-04-16Manuscriptrec
9、eivedDecember28,2020;acceptedApril16,2021国家自然科学基金(62072406),浙江省自然科学基金(LY19F020025),教育部产学合作协同育人项目资助SupportedbyNationalNaturalScienceFoundationofChina(62072406),NaturalScienceFoundationofZhejiangProvince(LY19F020025),andMinistryofEducationIndustry-UniversityCooperationCollaborativeEducationProject本文责任
10、编委赫然RecommendedbyAssociateEditorHERan1.浙江工业大学网络空间安全研究院杭州3100232.浙江工业大学信息工程学院杭州3100233.中国电子科技集团公司第三十六研究所嘉兴3140014.重庆中科云从科技有限公司重庆4011201.InstituteofCyberspaceSecurity,ZhejiangUniversityofTechnology,Hangzhou3100232.CollegeofInformationEn-gineering,ZhejiangUniversityofTechnology,Hangzhou3100233.The36thR
11、esearchInstituteofChinaElectronicsTechnologyGroupCorporation,Jiaxing3140014.ChongqingZhongkeYuncongTechnologyCo.,Ltd.,Chongqing401120第49卷第10期自动化学报Vol.49,No.102023年10月ACTAAUTOMATICASINICAOctober,2023攻击方法、基于优化的攻击方法和其他攻击方法7.其中,基于梯度的攻击方法利用模型的参数信息,通过目标损失函数对输入的求导得到梯度信息,获取对抗扰动,例如:快速梯度符号法(Fastgradi-entsignm
12、ethod,FGSM8)、动量迭代的快速梯度符号法(Momentumiterativefastgradientsignmethod,MI-FGSM9)、基于雅克比的显著图攻击(Jacobian-basedsaliencymapattack,JSMA)10等.基于优化的攻击方法通过多次查询样本的输出置信度或类标,优化对抗扰动,或者通过等价的梯度信息进行攻击,例如:基于零阶优化的攻击(Zero-thorderoptimization,ZOO)11和基于边界的攻击(Boundary)12.相比于基于梯度的攻击,基于优化的攻击方法由于需要多次查询计算,因此算法复杂度和运行成本都较高.除此之外,还有基于
13、生成式对抗网络(Generativeadversarialnetwork,GAN)的攻击13、基于迁移的攻击14等.随着对抗攻击研究的深入,相应的对抗攻击防御方法的研究也相继展开,根据防御方式的差异,可分为基于数据修改的防御、基于模型修改的防御和基于附加网络的防御7.其中,基于数据修改的防御对模型的输入进行修改,包括数据重编码、数据变换、对抗训练等;基于模型修改的防御包括修改模型的目标损失、在模型中加入随机层、“蒸馏”得到新的网络等;基于附加网络的防御包括添加扰动整流网络、自编码器网络、生成式对抗网络等.已有的防御方法研究大多关注防御成功率,在实际应用中仍面临以下一些挑战:1)对抗样本依赖,即
14、防御的效果依赖于预先已知的对抗样本的数量和质量,如对抗训练,当遇到新的攻击方法时防御效果不明显;2)影响良性样本的识别精度,即防御的效果以牺牲良性样本的识别精度为代价,如随机缩放图像操作虽然能够破坏对抗扰动,但也干扰了良性样本识别;3)参数敏感性与防御实时性,即需要根据数据集和攻击方法调整参数,如数据变换中的图像缩放和图像旋转需要多次测试得到合适的参数,附加网络防御方法增加了计算步骤,降低了模型的处理速度.通用对抗扰动攻击方法15是不断对对抗样本的扰动进行叠加和优化,得到通用扰动,随后叠加到任意良性样本上都能够实现攻击.受到通用对抗扰动攻击15的启发,本文提出一种基于通用逆扰动(Univers
15、alinverseperturbution,UIP)的对抗样本防御方法(UIPdefense,UIPD),通过设计具有通用逆扰动的矩阵,叠加到对抗样本,实现对抗样本的重识别防御.此外,对抗样本鲁棒特征的提出16,认为样本包含鲁棒特征和非鲁棒特征,且都会影响预测结果.良性样本中两者一致因此得到正确识别结果;而对抗样本中鲁棒特征不受影响,非鲁棒特征变化较大,影响了识别结果.因此,可以通过设计强化样本中的非鲁棒特征,即类相关特征,实现对对抗样本的防御,抵消对抗扰动对非鲁棒特征的影响;而且根据非鲁棒特征在数据分布中的相似性和通用性,设计生成通用逆扰动进行抵消.本文的主要贡献如下:1)设计一种基于通用逆
16、扰动的对抗样本防御方法 UIPD,仅依据良性样本即可快速生成通用逆扰动矩阵,有效防御多种未知的攻击方法;2)UIPD 不影响良性样本的识别,在生成 UIP的过程中,通过对良性样本的类相关特征进行强化,实现良性样本识别精度提升的效果;3)UIPD 的参数敏感性低且防御速度快,在多个数据集和多个模型上的实验结果表明了 UIPD对各类攻击都具有良好的防御效果.本文其余部分结构如下:第 1 节介绍了对抗攻防的相关工作;第 2 节详细说明了 UIPD 方法;第3 节实验从多个角度验证 UIPD 的性能;最后对全文进行总结和展望,更多的通用逆扰动可视化图示例参见附录 A.1相关工作本节主要介绍实验中涉及到
17、的对抗攻击方法与已有的防御方法.1.1对抗攻击方法已有的对抗攻击方法众多,根据对抗样本的生成机理,可以分为以下两类:1)基于梯度的攻击:指在基于梯度的迭代过程中,寻找图像中关键的像素点进行扰动.Szegedy 等6首次证明了可以通过对图像添加无法察觉的扰动误导网络做出错误分类.但由于问题的复杂度太高,于是转而求解简化后的问题,将其称为约束型拟牛顿法(Box-constrainedlimitedmemoryBroyden-Fletcher-Goldfarb-Shanno,L-BFGS).Goodfel-low 等8在此基础上,提出快速梯度符号法(FGSM),通过计算单步梯度快速生成对抗样本.Ma
18、dry 等17提出投影梯度下降法(Projectgradientdescent,PGD),可以将其看作是 FGSM 的改进版K-FGSM(K 表示迭代的次数),每次迭代都会将扰动限制到规定范围,提高攻击的有效性.Kurakin 等18提出基本迭代法(Basiciterativemethods,BIM),将一大步运算扩展为通过多个小步增大损失函数,10期陈晋音等:基于通用逆扰动的对抗攻击防御方法2173LL2L0L2LL0从而提高对抗样本的攻击成功率并且减小对抗扰动.Carlini 等19提出一种对抗攻击方法 C&W,通过梯度迭代优化的低扰动对抗样本生成算法,限制、和 范数使得扰动无法被察觉,但
19、是攻击速度较慢.Moosavi-Dezfooli 等20提出了深度欺骗攻击(DeepFool),通过迭代计算的方法生成最小规范对抗扰动,将位于分类边界内的图像逐步推到边界外,直到出现错误分类.此方法添加的对抗性扰动比 FGSM 更小,同时能够达到相似的攻击效果.一般攻击方法均采用限制 或 范数的值控制扰动,而 Papernot 等10提出基于雅克比的显著图攻击(JSMA),采取限制 范数的方法,即仅改变良性样本几个像素生成对抗样本,使得添加的扰动更小.一般的攻击方法只能针对单个样本生成对抗扰动,Moosavi-Dezfooli 等15研究并设计了一种通用对抗扰动(Universaladvers
20、arialperturbation,UAP)攻击,与 DeepFool 攻击相似,使用对抗扰动将图像推出分类边界,但是同一个扰动针对的是所有的图像,结果显示即使是当时最优的深度网络模型也难以抵抗通用扰动的攻击.此外,通用的对抗扰动具有很强的迁移性,即跨数据集、跨模型有效.2)基于优化的攻击:通过将对抗样本的生成问题转化为多目标的优化问题,使分类模型损失最大化,对抗扰动最小化,导致模型分类错误.Brendel 等12提出边界攻击,通过对样本引入最小扰动来改变模型对样本的决策.受 C&W 攻击的启发,Chen 等11提出基于零阶优化的攻击(ZOO),使用对称差商来估计梯度,进行对抗扰动的优化更新.
21、通过在样本中添加噪声并进行对抗扰动优化是一种常见的对抗攻击方法,Rauber等21提出在样本中添加高斯噪声(AdditiveGaussiannoiseattack,AGNA)使分类器出错,添加的扰动是通过多次迭代优化直到使分类器出错的最小扰动.除此以外,Rauber 等21通过改变添加的噪声类型,提高攻击的效率,如添加均匀噪声(Additiveuniformnoiseattack,AU-NA)和添加椒盐噪声(Saltandpeppernoiseat-tack,SPNA).本文提出的 UIPD 在上述的对抗攻击中均取得了良好的防御效果,除了上述的对抗攻击方法以外,还有很多其他优秀的对抗攻击方法:
22、Su 等22提出单像素攻击(Onepixelattack),使用差分进化算法,对每个像素进行迭代的修改生成子图像,并与原图像对比,根据选择标准保留攻击效果最好的子图像,仅改变图样本中的一个像素值就可以实现对抗攻击.Baluja 等23训练了多个对抗性转移网络(Adversarialtransformationnetworks,ATNs)来生成对抗样本,可用于攻击一个或多个网络模型.Cisse 等24通过生成特定于任务损失函数的对抗样本实现对抗攻击,即利用网络的可微损失函数的梯度信息生成对抗扰动.Sarkar 等25提出了两种对抗攻击算法:精确目标的通用扰动(Universalpertur-ba
23、tionsforsteeringtoexacttargets,UPSET)攻击和生成恶意图像的对抗网络(Antagonisticnet-workforgeneratingrogueimages,ANGRI)攻击.UPSET 攻击为针对原始样本生成具有通用扰动的对抗样本,且可以使模型误分类为指定的目标类别,而 ANGRI 攻击为针对原始样本生成具有特定扰动的对抗样本,且可以使模型误分类为指定的目标类别.以上攻击方法都是基于肉眼不可见扰动的对抗攻击,除了基于对抗扰动的攻击外,还有一类基于对抗补丁的攻击.Brown 等26提出一种在物理空间的对抗图像补丁的方法.Karmon 等27利用修改后的损失函
24、数,使用基于优化的方法提升对抗补丁的鲁棒性.为了提高视觉保真度,Liu 等28提出了 PS-GAN 框架来生成类似涂鸦的对抗补丁,以愚弄自动驾驶系统.为了解决对抗补丁泛化能力差的问题,Liu 等29利用模型的感知和语义上的偏见,提出了一个基于偏见的框架生成具有强泛化能力的通用对抗补丁方法.综上,基于补丁的对抗攻击也是一种有效的攻击方法.1.2对抗防御方法介绍根据防御效果,防御方法可分为仅检测防御和重识别防御,仅检测防御是对检测出的攻击样本进行甄别,而不做进一步处理;重识别防御则是将对抗样本进行还原处理,重新识别其正确类标,UIPD属于重识别防御方法,因此在实验中采用的对比算法同样都属于重识别防
25、御.而根据防御作用对象的不同,可以进一步分为以下三类:1)基于数据预处理的防御:指在模型训练前,或模型测试的过程中,对数据进行预处理,从而提高模型对于对抗样本的防御性.Xie 等30研究发现,对图像进行尺寸变换或者空间变换能有效降低对抗样本的攻击性能,这是一种非常简单有效的数据预处理防御方法,但无法从根本上提升模型的防御能力.Song 等31提出了对抗训练方法,通过生成的大量对抗样本,然后将对抗样本作为模型的训练集执行对抗训练,从而不断提升模型的鲁棒性,该方法需要使用大量高强度的对抗样本,并且网络架构要有充足的表达能力,高度依赖于对抗样本的数量和质量,面对多种攻击组合时防御的泛化能力较弱.为此
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 通用 扰动 对抗 攻击 防御 方法
![提示](https://www.zixin.com.cn/images/bang_tan.gif)
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。