基于图像去噪和图像生成的对抗样本检测方法.pdf
《基于图像去噪和图像生成的对抗样本检测方法.pdf》由会员分享,可在线阅读,更多相关《基于图像去噪和图像生成的对抗样本检测方法.pdf(10页珍藏版)》请在咨信网上搜索。
1、第 50 卷 第 8 期2 0 2 3 年 8 月Vol.50,No.8Aug.2 0 2 3湖 南 大 学 学 报(自 然 科 学 版)Journal of Hunan University(Natural Sciences)基于图像去噪和图像生成的对抗样本检测方法杨宏宇 1,2,杨帆 2(1.中国民航大学 安全科学与工程学院,天津 300300;2.中国民航大学 计算机科学与技术学院,天津 300300)摘 要:针对现有对抗样本检测方法存在检测准确率低和训练收敛速度慢等问题,提出一种基于图像去噪技术和图像生成技术实现的对抗样本检测方法.该检测方法将对抗样本检测问题转换为图像分类问题,无须事
2、先得知被攻击模型的结构和参数,仅使用图像的语义信息和分类标签信息即可判定图像是否为对抗样本.首先,采用基于 swin-transformer 和 vision-transformer实现的移动窗口式掩码自编码器去除图像中的对抗性噪声,还原图像的语义信息.然后,使用基于带有梯度惩罚的条件生成式对抗网络实现的图像生成部分根据图像分类标签信息生成图像.最后,将前两阶段输出的图像输入卷积神经网络进行分类,通过对比完成去噪的图像和生成图像的分类结果一致性判定检测图像是否为对抗样本.在 MNIST、GTSRB 和CIAFAR-10数据集上的实验结果表明,相比于传统检测方法,本文提出的对抗样本检测方法的平均
3、检测准确率提高6%36%,F1分数提高6%37%,训练收敛耗时缩减27%83%,存在一定优势.关键词:对抗攻击;对抗样本;vision-transformer;swin-transformer;卷积神经网络;深度学习中图分类号:TP389.1 文献标志码:A Adversarial Example Detection Method Based on Image Denoising and Image GenerationYANG Hongyu1,2,YANG Fan2(1.School of Safety Science and Engineering,Civil Aviation Unive
4、rsity of China,Tianjin 300300,China;2.School of Computer Science and Technology,Civil Aviation University of China,Tianjin 300300,China)Abstract:In order to solve the problems of low detection accuracy,slow training convergence speed of existing adversarial example detection methods,a method of adve
5、rsarial example detection based on image denoising technology and image generation technology is proposed.The detection method converts the adversarial example detection problem into an image classification problem.It does not need to know the structure and parameters of the attacked model in advanc
6、e,and only uses the semantic information and classification label information of the image to determine whether the image is an adversarial example.Firstly,a shifted masked auto-encoder based on swin-收稿日期:2022-10-24基金项目:国家自然科学基金民航联合研究基金项目(U1833107),Civil Aviation Joint Research Fund Project of Natio
7、nal Natural Science(U1833107)作者简介:杨宏宇(1969),男,吉林长春人,中国民航大学教授,博士 通信联系人,E-mail:文章编号:1674-2974(2023)08-0072-10DOI:10.16339/ki.hdxbzkb.2023282第 8 期杨宏宇等:基于图像去噪和图像生成的对抗样本检测方法transformer and vision-transformer is used to remove the adversarial noise in the image and restore the semantic information of the
8、image.Then,the image generation part based on conditional generative adversarial networks with gradient penalty is used to generate images based on image classification label information.Finally,the output of the images in the first two stages is input into the convolutional neural network for class
9、ification.By comparing the classification results of the denoised images and the generated images,it is determined whether the detected images are adversarial examples.The experimental results on MNIST,GTSRB,and CIAFAR-10 datasets show that the proposed adversarial example detection method outperfor
10、ms the traditional detection methods.The average detection accuracy of this method is improved by 6%36%,the F1 score is increased by 6%37%,and the training convergence time is reduced by 27%83%,respectively.Key words:adversarial attack;adversarial example;vision-transformer;swin-transformer;convolut
11、ional neural network;deep learning随着人工智能1学科和深度学习技术2的蓬勃发展,深度神经网络在诸如计算机视觉和网络安全3-5等领域的应用愈加广泛并在表现效果上取得了巨大成功.但研究表明,深度神经网络自身存在缺陷,容易遭受对抗攻击,输出错误的预测或分类结果.图像对抗样本6通常是通过在正常数据样本上添加人类视觉系统不易识别的细微扰动以欺骗模型,使模型以极高的置信度输出错误预测结果的样本7-9.对抗样本存在2个重要特征10,一是对抗样本中的扰动非常细微,不易为人类的视觉系统所察觉,可认为从人类视觉的角度而言,对抗样本与正常样本所蕴含的内容相同,即两者存在一致性;二是
12、不易察觉的对抗性扰动会导致模型输出错误的分类结果.使用数据训练深度学习模型,使深度学习模型学习可到图像语义信息与标签之间的“关联”.模型测试和应用阶段,可视为深度学习模型根据在训练中学习到的“关联”知识,预测与输入图像语义信息对应的标签信息.检测输入深度学习模型的图像是否为对抗样本有助于保障深度学习模型的安全运行.目前的对抗样本检测方法主要包括基于数据特征压缩的检测方法、基于对抗特征统计的检测方法和基于输入重构的检测方法.其中,基于数据特征压缩的检测方法通过识别对抗样本与正常样本之间的数据特征差异,将复杂的高维度数据降维成能够凸显差异的低维度数据,低维度数据对于对抗攻击较为敏感,检测低维度数据
13、的变化即可实现检测对抗样本.基于对抗特征统计的方法通过统计图像输入神经网络时,每一层网络输出的特征图之间的数据特征分布差异以实现检测对抗样本.基于输入重构的检测方法在被攻击模型外附加图像重构模型以重构输入图像,通过检测重构前后图像的差异程度来判断输入图像是否为对抗样本.文献 11 提出使用数据特征压缩的方法检测对抗样本.该方法对多种对抗样本的检出率均较高,但其阈值设定的范围存在较大的不确定性,在实际应用中不易把控.同时,如若攻击实施者事先得知该检测方法的存在,其完全可以绕过检测,进而成功实施对抗攻击.文献 12 提出使用局部维度不变性(Local Intrinsic Dimensionalit
14、y,LID)作为指标以量化图像的对抗性特征,通过统计并分析LID特征以实现检测对抗样本.使用该检测方法需要清晰地认知被攻击模型的内部结构和参数,但在实际应用中被攻击模型的内部结构和参数不易获取,给检测对抗样本带来极大困难.同时,该检测方法需使用大量数据进行训练,然而在实际应用中训练数据规模十分有限,无法充分支撑对抗性特征的统计.文献 10 提出基于 Conditional Pixel CNN10模型重构多张输入图像,检测图像之间的差异性以实现检测对抗样本.该模型的泛化性能较强,但由于Conditional Pixel CNN模型生成图像需依次生成图像的每一个像素点,模型训练和推理的耗时均较长.
15、同时,上述检测方法需使用对抗样本和正常样本同时参与训练,增加了训练模型的耗时.针对上述问题,本文提出了一种基于图像去噪技术和图像生成技术实现的对抗样本检测方法(Denoising-Generation,Den-Gen).本文的贡献总结73湖南大学学报(自然科学版)2023 年如下.1)提出一种基于图像去噪技术13和图像生成技术14实现的对抗样本检测方法.该方法由图像去噪阶段、图像生成阶段和图像分类阶段构成.通过对比图像去噪阶段输出的去噪图像与图像生成阶段生成的图像的分类标签是否一致以判定待检测图像是否为对抗样本.该方法首次实现了将图像对抗样本检测问题转换为图像分类问题,并具备以下优点.a)该检
16、测方法无须事先得知被攻击模型的具体结构和参数即可直接检测对抗样本.b)该检测方法无须使用对抗样本参与训练,使用条件生成式对抗网络直接生成完整的图像,无须依次生成图像的每个像素点,有效缩减模型的训练收敛耗时.c)该检测方法具备良好的泛化性能,可以有效检出各类对抗样本,尤其是对于不易被传统方法有效检出的对抗样本和扰动程度较小的对抗样本均有较好的检出效果.2)设计一种可以有效去除图像中对抗性扰动的图像去噪方法移动窗口式掩码自编码器(Shifted Window Masked Auto-Encoder,SWMAE).该方法由编码器部分和解码器部分构成,其中,编码器基于 swin-transformer
17、15实现,解码器基于 vision-transformer16实现.相对于传统的图像去噪方法均需输入固定尺寸的图像,且对于小尺寸图像的重建效果不够理想,SWMAE对任意尺寸的图片均可进行高质量的去噪,还原图像的语义信息.1 Den-Gen对抗样本检测方法设计1.1 总体设计对于正常图像样本,其中所包含的语义信息与图片分类标签信息存在自然的一致性,即图像语义与标签之间的“关联”很强.而对抗样本的本质在于图像的分类标签信息与图像在视觉上所蕴含的信息之间存在不一致性,即在图像中添加对抗性扰动导致模型将其错误分类为其他类别.判断输入深度学习模型的图像是否为对抗样本,可视为检测图像语义信息与标签信息是否
18、一致,如果一致,判定图像为正常样本,反之则判定图像为对抗样本,使得在无须获取被攻击模型结构和参数等先验条件的情况下判别图像是否为对抗样本成为可能.本文提出的Den-Gen对抗样本检测方法基于上述理论设计和实现,检测方法由图像去噪阶段、图像生成阶段和图像分类阶段构成.该方法的总体架构如图1所示.首先,由图像去噪部分去除图像中可能存在的对抗性扰动,还原图像的语义信息.然后,使用图像生成部分依据图像标签生成其对应种类的图像.最后,将标签所蕴含的信息映射为图像形式,对比进行“去对抗化”之后的图像与基于标签生成的图像是否为同一类别,即对比图像的语义信息与标签信息是否一致,若类别相同图1 Den-Gen检
19、测方法架构Fig.1 Framework of Den-Gen detection method74第 8 期杨宏宇等:基于图像去噪和图像生成的对抗样本检测方法则判定为正常样本,若类别不同则判定为对抗样本.1.2 图像重构本文提出SWMAE用于去除图像中的对抗性扰动.图像去噪不依赖于图像的标签信息,仅使用图像的语义信息.SWMAE的编码器将原始图像编码为低维度张量,以去除图像中的对抗性噪声并学习图像中最重要的语义信息,解码器用于解码低维度张量,根据编码器学到的语义信息将其还原为图像.由于编码器输出的特征图与原始图像的尺寸不一致,本文使用全连接神经网络连接编码器和解码器,以将特征图恢复至原始图像
20、的尺寸.1.3 图像生成还原图像的语义信息之后,还需将标签转换为图像,以对比两者的分类结果是否一致.本文使用CWGAN-GP14(Conditional Wasserstein Generative Adversarial Nets Gradient Penalty)根据标签图像分类标签生成图像,将标签从文本信息转换为图像语义信息,便于GAN中的卷积神经网络17处理,进而完成将对抗样本检测问题转换为图像分类问题.1.4 图像分类在图像分类阶段,将图像去噪阶段输出的完成去噪的图像和图像生成阶段生成的图像均输入至卷积神经网络进行分类.比较两幅图像的分类结果,如若分类结果一致,判定图像为正常样本.如
21、若分类结果不一致,判定图像为对抗样本.2 对抗样本检测方法的实现2.1 图像去噪图像去噪部分使用了移动窗口式自注意力机制,即在自注意力机制操作的同时,不断合并图像中的像素块以降低去除噪声的复杂度,且该注意力机制有效避免了自注意力机制的局限性,对于不同复杂度的图像均具备良好的去噪性能,从而发掘图像数据中的本质结构和深层次语义信息.故图像去噪能够消除图像中的对抗性噪声,还原图像所蕴含的语义信息.在图像去噪阶段,采用掩码机制14,即先随机遮掩图像中的大部分像素信息,再基于图像中未被遮掩的少部分像素信息,重建被遮掩部分的像素值,构造完整的图像,进而达到去除对抗性扰动的目的.图像去噪部分的结构如图2所示
22、.图像去噪包括随机遮掩、像素块合并、窗口内的多头自注意力运算、移动窗口式自注意力运算、图像解码5个步骤.步骤步骤1 随机遮掩.将输入图像均匀划分为规则的正方形像素块,相邻像素块互不重叠.随机遮掩其中 75%的像素块,图 2 中灰色部分为被遮掩的像素块.步骤步骤2 像素块合并.将数个相邻的像素块编为一组,每组内的像素块合并,以缩减模型的计算开销.步骤步骤3 窗口内的多头自注意力机制运算.对于图2 图像去噪部分结构Fig.2 Structure of image denoising part75湖南大学学报(自然科学版)2023 年特征图中的每一窗口,使用vision-transformer的多头
23、自注意力运算.如图 2中 swin-transformer 块上部所示,首先,对一张窗口内的特征图进行层归一化处理,即将数据统一为均值为0,方差为1的形式,便于神经网络处理,并提高模型的训练速度和鲁棒性.然后,依据公式(1)对窗口内的所有像素块进行自注意力运算操作,以获取窗口内像素块之间的关联程度.最后,依据公式(2)使用多层感知机变换上步输出的张量的维度,便于下一次自注意力机制运算.zl=W-MSA(LN(zl-1)+zl-1(1)zl=MLP(LN(zl)+zl(2)式中:l表示swin-transformer的层数,zl-1为从第l-1层输入的特征图,W-MSA为窗口内计算多头自注意力运
24、算操作,LN为层归一化18,MLP为多层感知机.步骤步骤4 移动窗口式自注意力运算.移动窗口式自注意力运算的流程与上步相同,但采用了新的窗口划分策略.如图2中移动窗口部分所示,将分隔图像窗口的宽线条向右下方移动2个像素块单位的距离,构成了新的窗口划分方式,使得在原划分方式中,不同窗口内的图像块之间可以进行多头自注意力运算,进一步提取了图像的全局特征信息,而对于新窗口中无须进行自注意力计算的部分采用掩码策略,禁止其参与自注意力运算,避免增加模型的冗余程度.首先,对每一窗口内的相邻像素块进行一次合并操作;然后,依据公式(3)使用移动窗口式自注意力机制合并像素块并进行自注意力运算操作;最后,依据公式
25、(4)使用多层感知机变换上步输出的张量的维度,便于下一次自注意力机制运算.zl+1=SW-MSA(LN(zl)+zl(3)zl+1=MLP(LN(zl+1)+zl+1(4)式中:SW-MSA为移动窗口式多头自注意力机制运算操作,LN为层归一化,l表示swin-transformer的层数,zl为从第l层输入的特征图,MLP为多层感知机.步骤步骤5 图像解码.使用vision-transformer对图像进行解码,解码器的处理图像的过程与编码器相同,即直接将完整的图像输入 vision-transformer 进行解码.2.2 图像生成CWGAN-GP不但拥有高质量的图像生成性能,还能够根据前置
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 图像 生成 对抗 样本 检测 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,个别因单元格分列造成显示页码不一将协商解决,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。