![点击分享此内容可以赚币 分享](/master/images/share_but.png)
基于多损失混合对抗函数和启发式投影算法的逼真医学图像增强方法.pdf
《基于多损失混合对抗函数和启发式投影算法的逼真医学图像增强方法.pdf》由会员分享,可在线阅读,更多相关《基于多损失混合对抗函数和启发式投影算法的逼真医学图像增强方法.pdf(8页珍藏版)》请在咨信网上搜索。
1、ISSN 10049037,CODEN SCYCE4Journal of Data Acquisition and Processing Vol.38,No.5,Sep.2023,pp.1104-1111DOI:10.16337/j.10049037.2023.05.009 2023 by Journal of Data Acquisition and Processinghttp:/Email:sjcj Tel/Fax:+8602584892742基于多损失混合对抗函数和启发式投影算法的逼真医学图像增强方法王见,成楚凡,陈芳(南京航空航天大学计算机科学与技术学院,南京 211106)摘要:早
2、期发现新冠肺炎可以及时医疗干预提高患者的存活率,而利用深度神经网络(Deep neural networks,DNN)对新冠肺炎进行检测,可以提高胸部 CT 对其筛查的敏感性和判读速度。然而,DNN在医学领域的应用受到有限样本和不可察觉的噪声扰动的影响。本文提出了一种多损失混合对抗方法来搜索含有可能欺骗网络的有效对抗样本,将这些对抗样本添加到训练数据中,以提高网络对意外噪声扰动的稳健性和泛化能力。特别是,本文方法不仅包含了风格、原图和细节损失在内的多损失功能从而将医学对抗样本制作成逼真的样式,而且使用启发式投影算法产生具有强聚集性和干扰性的噪声。这些样本被证明具有较强的抗去噪能力和攻击迁移性。
3、在新冠肺炎数据集上的测试结果表明,基于该算法的对抗攻击增强后的网络诊断正确率提高了 4.75%。因此,基于多损失混合和启发式投影算法的对抗攻击的增强网络能够提高模型的建模能力,并具有抗噪声扰动的能力。关键词:医学图像增强;对抗性攻击;多损失混合;启发式投影法;攻击迁移性中图分类号:TP391 文献标志码:ARealistic Medical Image Augmentation by Using Multiloss Hybrid Adversarial Function and Heuristic Projection AlgorithmWANG Jian,CHENG Chufan,CHEN
4、Fang(College of Computer Science and Technology,Nanjing University of Aeronautics&Astronautics,Nanjing 211106,China)Abstract:Early detection of COVID-19 allows medical intervention to improve the survival rate of patients.The use of deep neural networks(DNN)to detect COVID-19 can improve the sensiti
5、vity and speed of interpretation of chest CT for COVID-19 screening.However,applying DNN for the medical field is known to be influenced by the limited samples and imperceptible noise perturbations.In this paper,we propose a multi-loss hybrid adversarial function(MLAdv)to search the effective advers
6、arial attack samples containing potential spoofing networks.These adversarial attack samples are then added to the training data to improve the robustness and the generalization of the network for unanticipated noise perturbations.Especially,MLAdv not only implements the multiple-loss function inclu
7、ding style,origin,and detail losses to craft medical adversarial samples into realistic-looking styles,but also uses the heuristic projection algorithm to produce the noise with strong aggregation and interference.These samples are proven to have stronger anti-noise ability and attack transferabilit
8、y.By evaluating on COVID-19 dataset,it is shown that the augmented networks by using adversarial attacks from the MLAdv algorithm can improve 收稿日期:20220510;修订日期:20230530王见 等:基于多损失混合对抗函数和启发式投影算法的逼真医学图像增强方法the diagnosis accuracy by 4.75%.Therefore,the augmented network based on MLAdv adversarial attac
9、ks can improve the ability of models and is resistant to noise perturbations.Key words:medical image augmentation;adversarial attack;multi-loss hybrid;heuristic projection algorithm;attack transferability引 言机器学习方法,特别是深度神经网络(Deep neural networks,DNN)被广泛应用于医学诊断任务中12。例如,深度卷积神经网络(Convolutional neural ne
10、tworks,CNN)被用来对胸部 X 光图像进行分类,并诊断气胸和新冠肺炎3。然而,深度神经网络模型依赖于极大的数据集来避免过度拟合问题。因此,除了在原始图像数据集上实现较高的准确率外,新冠肺炎检测系统还有望检测到在训练中很少看到的新冠肺炎样本,并抵抗现实世界图像中的意外噪声。遗憾的是,在医学图像分析的许多应用领域,由于昂贵的图像采集设备和有限的患者病例,很难收集到大量的数据。如图 1所示,新冠肺炎数据集通常具有分类结果的长尾分布,新冠肺炎样本的早期数据未被充分泛化学习,并且非常快速的数据变化使得线性整流函数(Rectified linear unit,ReLU)网络趋于形成不封闭的决策边界
11、,这使得网络面临被任意噪声激活的风险4。本文提出了对抗性增强方法来有效地生成增广对抗样本,从而提高网络的健壮性,使激活边界能够收敛到样本的原始边界。常用的图像增强技术可分为传统的图像增强和基于机器学习的图像增强。传统的图像增强是通过几何变换或图像压缩等方法扩增原始数据集。文献 5 提出了在极坐标系中使用径向变换的图像增强,生成的图像包含以不同角度旋转的原始图像的多个副本6。基于机器学习的图像增强与传统的数据增强不同,基于学习的增强由数据驱动,可以从现实世界的底层数据分布中学习最优的图像变换。例如,开发一个两阶段生成性对抗网络(Generative adversarial network,GAN
12、)来生成扩展的图像掩码对的细胞核图像7。然而,在实践中,训练生成网络并不容易,因为它们对超参数调整很敏感8,并且它可能会受到模式崩溃问题的影响9。本文介绍了一种逼真的数据增强方法,它使用多损失混合对抗伪装,不求助于生成对抗网络。与现有方法相比,本文技术可以生成新的增强图像,这些图像对人类观察者来说似乎是合法的,并且不需要依赖大量数据。此外,还使用启发式投影算法对生成的噪声进行聚集,提高了噪声的不可去除性和攻击迁移性。图 1预期的训练方案概念图Fig.1Concept map of expected training plan1105数据采集与处理 Journal of Data Acquisi
13、tion and Processing Vol.38,No.5,20231 增强样本生成方法 1.1多损失混合及投影方法本文提出了一种多损失混合对抗伪装方法,以产生有效的对抗样本,其中包含了欺骗网络的噪声,最终对模型进行重新训练以提高模型泛化能力。给定一个原始医学图像X RN H W(N、H 和 W 分别为图像的通信数、高度和宽度,值的大小为0255)的输出标签为Y R,通过解决以下优化问题找到有效的对抗性样本Xa。minimize X-Xap+Lhybrid(X,Xa)s.t.D()X,Xa(1)式中:Lhybrid为多损失函数,D 为原始样本与对抗样本之间的差异度量函数,本文使用 l1损失
14、,为阈值。利用这些对抗样本对模型进行再训练来提高模型的稳健性。图 2显示了本文的模型健壮性改进方法流程。用户定义干净的源图像,预期的目标样式。然后,本文提出的方法在所需的区域中生成具有所需样式的增强样本。首先通过特征提取对高维特征进行提取,并采用多损失方法对Lhybrid进行优化,生成扩展样本Xa;然后引入基于启发式投影的扰动迭代算法来提高对抗样本的攻击迁移性。本文计算目标模型的梯度J(Xa,Y),并制作梯度图,其中J(Xa,Y)为交叉熵损失。进一步在每次迭代的图像中加入一个小扰动sign(J(Xa,Y),以实现扰动迭代。首先设计了一个关于风格、原图和细节的多损失混合函数Lhybrid,用于将
15、医学增强样本制作成和逼近于原图的外观样式。最终的多损失函数是对抗性损失Ladv、用于样式生成的风格损失Ls、用于保持源图像的原始特征的原图损失Lo和用于确保增强样本在细节上平滑的细节损失Ld的组合,定义为 Lhybrid=(Ls+Lo+Ld)+Ladvs.t.D()X,Xa(2)式中:L为超参数,本文设置为 0.5。其次,进一步使用基于投影的启发式扰动迭代算法,将增强后样本中的噪声投影到周围区域,以保证强聚集和干扰。本文最大化目标模型的交叉熵损失J(Xta,Y),Xta为图 2本文方法流程Fig.2Flow of the proposed method1106王见 等:基于多损失混合对抗函数和
16、启发式投影算法的逼真医学图像增强方法目标对抗样本,并用f(x)来表示 DNN的预测标签,以确保f(Xta)Y。具体操作为 xa=Clip(xa+sign(J(xa,y)+sign(Wo*P)s.t.xa,xa0,255(3)式中:Wo定义为投影核,P定义为所产生的扰动。本文使用启发式投影算法将超过阈值的噪声投影到周围区域。因为超过阈值的像素具有更高的概率处于类激活图可视化区域的高亮区域10,所以本文通过使用该投影方法自然地扩展了这些区域中的扰动聚集。1.2多损失混合方法的详细设计1.2.1风格损失图像隐蔽性定义为|x-xa|p,其中|p通常使用Lp范数,也通常使用L2和L。对于本文提出的图像增
17、强,风格相似度是由增强样本和样式参考图像Xs之间的样式度量来定义的。两个图像之间的样式距离可以通过它们在样式表示中的差异来定义,即Ls=l PlG()Dl()Xs-G()Dl()Xa22(4)式中:Dl为深度神经网络的特征抽取器,G为在Dl的一组样式层上提取的深度特征的格拉姆矩阵11。由于不同的层可以学习不同的风格,所以本文使用网络的所有卷积层作为风格层。1.2.2原图损失上述风格损失可用于生成参考样式的增强图像,但增强图像的内容可能与原始图像的内容非常不同。原始图像的内容可以通过原图损失来保存,具体为Lo=l OlD1()X-D1()Xa22(5)通过这种方式可以确保增强后的图像在深度表示空
18、间中具有与原始图像非常相似的内容。本文使用特征提取网络的更深一层作为内容层。1.2.3细节损失通过减少相邻像素之间的变化确保画面细节平滑。对于增强图像xa,细节损失定义为Ld=()Xa i,j-Xi+1,j2+()Xa i,j-Xi,j+12(6)式中:Xa i,j为图像Xa的坐标(i,j)处的像素。直观地说,这将鼓励图像具有低方差的局部补丁。Sharif等12指出,光滑项有助于提高物理环境中增强样本的稳健性。1.2.4对抗性损失对于对抗性损失Ladv,本文使用以下交叉熵损失Ladv=lg()py()X无目标攻击-lg()pyadv()Xt+lg()py()Xt有目标攻击(7)式中:Xt为目标
19、样本,pyadv()为目标模型 F的概率输出(logits上的 SoftMax)。1.3启发式投影算法图 3给出了由 FGSM、GAMA 和本文方法为 ResNet50模型生成的增强样本,其中第 1行为生成的增强样本,第 2行展示了与原始图像之间的噪声差异,第 3行展示了使用 BM3D 进行去噪后的效果,最后一行为类激活图。Li等13证明了区域均匀的扰动在攻击模型中有很强攻击性。因此,本文认为在这些区分区域(图 3最后一行类激活图中圈出的部分)具有聚集特征的噪声更有可能攻击成功,因为它们1107数据采集与处理 Journal of Data Acquisition and Processing
20、 Vol.38,No.5,2023扰乱了更重要的信息。从类激活图可视化图像(CAM)可以看出,区分不同类别的区域往往聚集在几个特定的部分,与快速梯度下降攻击方法(Fast gradient sign method,FGSM)和基于 生 成 对 抗 网 络 的 攻 击 方 法(Generative adversarial modelbased attacks,GAMA)相比,本文的噪声也具有很强的聚集性,更容易成功攻击网络。同时,很多医学分类任务在训练前都需要去噪,本文使用了目前比较先进的块匹配三维协同滤波(Blockmatching and 3D filtering,BM3D)方法来比较去噪前
21、后的效果。从图 3的第3行可以看出,启发式投影法产生的噪声很难去除,因此本文方法具有很强的抗噪声能力。因此,本文结合前面的观测结果,提出了一种启发式投影算法,其灵感来自 Rosen投影梯度法14:当迭代点位于可行域的边缘时,投影梯度方向。为了减少计算开销,将超过阈值的噪声投影到周围区域,从而导致噪声具有更强的聚集性。本文认为噪声向量中更容易打破限制的部分有更高的概率出现在区分区域的高亮区域。如果增强图像Xa的L范数超过阈值,通过以下方式消除扰动P=clip(|Xa|-,0,)sign(Xa)(8)然后,最终的增强图像被定义为Xa=clip(Xa+sign(J(Xa,Y)+sign(Wo*P)(
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 损失 混合 对抗 函数 启发式 投影 算法 逼真 医学 图像 增强 方法
![提示](https://www.zixin.com.cn/images/bang_tan.gif)
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。