基于混合反向注意力机制的息肉分割网络.pdf
《基于混合反向注意力机制的息肉分割网络.pdf》由会员分享,可在线阅读,更多相关《基于混合反向注意力机制的息肉分割网络.pdf(9页珍藏版)》请在咨信网上搜索。
1、第2 9 卷第1期2024年1月doi:10.13682/j.issn.2095-6533.2024.01.010西安邮电大学学报JOURNAL OF XIAN UNIVERSITY OF POSTS AND TELECOMMUNICATIONS基于混合反向注意力机制的息肉分割网络Vol.29No.1Jan.2024兰蓉,孙宇浩,赵凤,郭迪(西安邮电大学通信与信息工程学院,陕西西安7 10 12 1)摘要:针对肠息肉图像分割结果存在伪影、边界模糊及精度低等问题,提出一种基于混合反向注意力机制的息肉分割网络。该网络使用U型网络结构,设计多尺度并行空洞卷积注意力模块,以更加细粒度的多尺度特征减少下
2、采样细节的损失。采用密集连接和特征融合的方式设计跨阶段局部模块,减少上下文之间的语义差异,补充细节特征。利用位置注意力和通道注意力同反向注意力相结合策略,构建区域与边界关系的同时学习位置和通道的特征,进而清晰分割出息肉与正常粘膜。实验结果表明,该网络提高了分割精度,消除了边界外部的部分伪影,在一定程度上改善了边界模糊的问题。关键词:图像分割;息肉分割;注意力;空洞卷积;U-Net中图分类号:TN911.73;R 7 35.34Polyp segmentation network based on hybrid reverseLAN Rong,SUN Yuhao,ZHAO Feng,GUO Di
3、(School of Communications and Information Engineering,Xian University of Posts and Telecommunications,Abstract:To address the challenges of artifacts,blurred boundaries,and low accuracy in the seg-mentation results of polyp images,a polyp segmentation network based on hybrid reverse attentionmechani
4、sm is proposed.The network incorporates a U-shaped structure and introduces a multi-scale parallel dilated convolution attention module.This module helps preserve finer-grained multi-scale features during down sampling,reducing the loss of important details.Additionally,dense con-nectivity and featu
5、re fusion are employed to cross stage partial module to bridge semantic differ-ences between contexts and enhance detailed features.Furthermore,a combination of positional at-tention and channel attention,integrated with the inverse attention strategy,is employed to learn lo-cation and channel featu
6、res while establishing the region-boundary relationship for accurate polypand normal mucosa segmentation.Experimental results demonstrate that the polyp segmentationnetwork based on hybrid reverse attention mechanism improves the segmentation accuracy,reducesartifacts outside the boundary,and mitiga
7、tes the boundary blurring issues to a certain extent.Keywords:image segmentation;polyp segmentation;attention;dilated convolution;U-Net结肠相关疾病尤其是结肠癌1的诊断依赖于对息肉的判断,早期筛查结肠息肉可以避免普通的肠息肉逐渐病变为癌化息肉,进而演变成癌症2 。结肠镜收稿日期:2 0 2 3-0 9-2 9基金项目:国家自然科学基金项目(6 2 0 7 137 9,6 2 10 6 196);陕西省自然科学基础研究计划项目(2 0 2 1JM-461);西安邮
8、电大学西邮新星团队计划项目(xyt2016-01)引文格式:兰蓉,孙宇浩,赵风,等.基于混合反向注意力机制的息肉分割网络J.西安邮电大学学报,2 0 2 4,2 9(1):8 7-95.LAN R,SUN Y H,ZHAO F,et al.Polyp segmentation network based on hybrid reverse attention mechanismLJJ.Journal of XianUniversity of Posts and Telecommunications,2024,29(1):87-95.文献标识码:Aattention mechanismXian
9、710121,China)文章编号:2 0 9 5-6 533(2 0 2 4)0 1-0 0 8 7-0 9检查是一种有效的筛查和诊断手段,但依赖医生经验容易出现漏检、错检。为避免医学专家主观因素对诊断结果的影响,同时提高诊断效率,可利用图像分割88技术3-6 设计肠息肉自动分割系统。但是,考虑到息肉的形状、大小、颜色和纹理等因素的干扰,对息肉图像分割的研究尤为重要。近年来,随着深度学习的快速发展,基于深度学习的息肉分割算法受到广泛关注。在国际上,Tashk等7 提出将U-Net网络应用于息肉图像,对其进行像素级别的语义分割。同时,基于U-Net改进的网络,如U-Net十+8、ResUNet
10、+91等深度学习网络也被用于息肉分割且取得了不错的效果。然而,这些方法虽然对于息肉的整体分割效果较好,但忽略了对边界的约束,会影响分割精度。因此,Fang等10 1 提出一种建立显式的区域与边界之间关联性的特征选择聚合(the Selective Feature Aggregation,SFA)网络。Fan等11提出并行反向注意力息肉分割网络(Parallel Re-verse Attention Network,PraNet)建立隐式的区域与边界之间的关联性,通过反复利用反向注意力挖掘两者之间的关系和线索。Zhang 等12 提出一种基于自适应选择的编码器-解码器框架(Adaptive Co
11、ntextSelection Network,A CSNe t),通过增强模糊部分的学习,有效融合局部与全局特征。Yin等131认为应从整个数据集的整体角度探索上下文,提出双上下文关系网络(Duplex Contextual Relation Network,DCRNet)。在国内,Shi 等14)提出 SU-Net(Stair-StructuredU-Net,SU-Net),即阶梯结构Kronecker空洞卷积网络,该网络利用Kronecker空洞卷积扩大感受野,采用阶梯结构的融合模块对多尺度特征进行编码,有效改善了过渡曝光和低对比度导致的分割精度低等问题。Xu等15提出以Double-Un
12、et为架构的结直肠息肉分割算法,在预处理阶段对息肉图像进行去反光处理,消除反光区域对分割结果的影响。同时,将两个子网解码器部分的ASPP(A t r o u s Sp a t ia lPy r a m idPooling,A SPP)模块改进为DenseASPP模块加强网络提取图像特征的能力。Han 等16 受HarDNet和反西安邮电大学学报向注意力模块启发,提出HraNet分割网络,并将其中的密集连接替换为稀疏连接,在保证精度的同时加快网络的推理速度。虽然上述所提及的息肉分割网络在一定程度上改善了分割效果,但分割结果仍存在边界模糊、伪影及分割图像的内部不连续等问题。因此,拟提出一种基于混合
13、反向注意力机制的息肉分割网络(HybridReverse Attention Mechanism for Polyp SegmentationNetwork,H R A Ne t)。该网络在高级语义层引入不同空洞率的空洞金字塔扩大感受野,补充细节并采用对偶注意力机制17 抑制不相关区域对息肉的干扰,改善网络对息肉区域的关注度。在跳跃连接处嵌人跨阶段局部模块,通过密集的残差连接获取更多精细的特征信息,并多次利用不同高级特征进行细节补充。最后,在反向注意力的基础上添加空间注意力和通道注意力,将其从单尺度推广为多尺度,得到多尺度混合反向注意力(Multi-Scale Hybrid Reverse A
14、ttention,MHRA),以补充更多的细节特征,并在上采样阶段反复使用MHRA挖掘边缘信息,建立区域和边界的联系。通过抑制不同形状、纹理和大小等因素对分割效果的不良影响,以期实现结肠息肉的有效分割。1HRANet 模型考虑到低级特征比高级特征具有更高的空间分辨率,需要更多的计算资源,且对性能的提升能力有限18,因此HRANet仅使用基于Res2Net19中最后3个残差模块的特征层(Stage-i,i=3,4,5)作为高级特征层。HRANet主要包含多尺度并行空洞卷积注意力(Multi-scale Parallel Dilated At-tention,M PD A)模块、跨阶段局部(Cro
15、ss StagePartial,CSP)模块和MHRA模块,其结构如图1所示。2024年1月1X1卷积Stage-文Stage-2Stage-3)Stage-4Stage-5CSP模块1X1卷积+BN+RcLUCSPCSPSMHRA模块MPDA模块SA深监督特征融合S图1HRANet结构第2 9卷第1期MPDA模块主要采用多尺度空洞卷积同注意力联合使用的策略。不同空洞率的空洞卷积可以捕获多尺度特征,减少下采样细节损失。多尺度特征可再通过并行注意力进行特征融合,进一步滤除噪声,补充细节特征。CSP模块采用密集连接方式和跨阶段融合的方式进行上下文交互。密集连接的方式可保留更多语义信息,而跨阶段融合
16、则可以实现更加丰富的梯度组合。跨阶段局部模块将加速网络推理,协助上下文特征进行融合,减少语义差异。MHRA模块在反向注意力的基础上,添加位置注意力和通道注意力,可以学习区域与息肉之间位置关系和通道关系。同时,利用浅层丰富的多尺度细节信息实现特征融合,从而得到边界清晰、背景干净的分割图像。兰蓉,等:基于混合反向注意力机制的息肉分割网络模块设计2.1多尺度并行空洞卷积注意力模块空洞卷积2 0 1不仅能有效扩大卷积的感受野,捕获更丰富的细节信息,还不会增加多余的参数,因此常被用于深度卷积网络中。此外,随着特征图大小的变化,空洞率也随之变化,空洞率越大,其感受野越大,适合分辨率越高的图。相反,空洞率越
17、低,其感受野越小,适合分辨率越低的图。为了适应不同尺度的息肉目标,MPDA模块中的每个高级特征层先被赋予不同空洞率组合的空洞卷积层,然后将多尺度特征与通道注意力(Channel Attention,CA)模块和位置注意力(Position Attention,PA)模块进行串联,获得注重不同特征信息的并行输出。最后,将多尺度通道特征和多尺度位置特征进行特征融合,补充主干网络提取的息肉特征细节。MPDA模块结构如图2 所示。892重塑和转换注意力图通道数X长宽Softmax重塑重塑(长宽)(长宽)通道数长宽位置注意力输入特征融合一输出通道注意力重塑和转换注意力图通道数长X宽Softmax重塑重塑
18、1x1卷积+批归一化+ReLU33空洞卷积+批归一化+ReLU图2MPDA模块结构将主干网络提取的息肉特征送人不同空洞率取全局特征后,再接人并行注意力支路加强通道和的空洞卷积层进行并联运算,再把运算结果拼接在位置特征学习,得到细节精细、特征丰富的息肉特一起获得多尺度融合特征。利用11的卷积层提征图。通道数通道数通道数长宽1x1卷积902.2跨阶段局部模块U-Net中的跳跃连接可将解码器中深层的、语义的、粗糙的特征图和编码器中浅层的、低级的、精细的特征图相结合。但是,医学图像对分割精度的西安邮电大学学报要求比自然图像更高。跨阶段局部策略2 1可加强神经网络的学习能力,提高推理速度并减少内存占用。
19、因此结合该策略,设计跨阶段局部(Cross StagePartial,CSP)模块,其结构如图3所示。2024年1月密集连接层1密集连接层2卷积卷积特征融合特征融合复制CSP模块取代了普通的跳跃连接,利用密集连接方式学习编码器中的部分息肉特征,同时通过跨阶段融合补充剩余部分的信息。该模块不仅加快了网络的推理过程,有助于更快地学习浅层和深层特征之间的差异,而且减少了浅层与深层之间的语义差异。同时,采用跨阶段的模式进行融合,可为息肉特征提供丰富的梯度信息,最大程度保留息肉信息。2.3混合反向多尺度注意力模块为了建立区域与边界的联系,利用反向注意力(ReverseAttention,R A)机制i擦
20、除前景的方式复制图3CSP模块结构挖掘息肉区域。但是,RA忽略了通道和空间对息肉区域的影响,导致分割息肉时可能出现边界模糊、伪影等情况。因此,引人CA模块和PA模块,设计混合反向多尺度注意力(Multi-ScaleHybridReverse Attention,M H R A)模块对通道和空间信息进行补充。丰富的通道信息和空间信息可以避免出现边界模糊、伪影等情况。同时,考虑到RA未对较浅层的输入进行处理,可能遗漏较浅层中所包含的纹理、边缘等细节信息,MHRA模块对较浅层的输入进行多尺度融合,挖掘更多浅层特征所包含的信息。MHRA模块结构如图4所示。卷积卷积复制C,CSP模块处理后的特征一-输出
21、位置注意力Si反转Sigmoid深层+特征SA通道注意力3x3卷积+批归一化+LeakyRelu1x1卷积+批归一化+LeakyRelu图4MHRA模块结构第2 9卷第1期具体地,将CSP模块处理后的特征(C,i=3,4)进行多尺度处理的结果相加后乘以混合反向注意力权重(A;,i=3,4),再与(C,i=3,4)多尺度处理的结果进行残差连接,获得输出的混合反向多尺度特征为M,=Z M(C,O A,+Z M(C.)(1)其中,A,=(o(K(SH)+T(SP1)SH1=U(Si+1)式中:M()为多尺度处理;()为从全1矩阵E中减去输入的反向运算符;o()为Sigmoid函数;K()为空间注意力
22、操作;T()为通道注意力操作;U(.)为上采样。2.4损失函数损失函数Ltotal由Lseg和Ldice两部分组成,Lseg用于深监督上采样后的(S;,i=3,4,5),L d i c e 仅用于监督上采样后的S#损失函数的表达式2-2 3为Ltotal=Lseg(S,G)+Ldice(S,G)(2)其中,Lseg(S,G)=Lwbe(S,G)+Lwiou(S,G)Lw=-W(r,c)G(r,c)log(S(r.c)-(r.c)W(r,c).(1-G(r,c)log(1-S(r,c)J(r)HW2ZW(r,c)S(r,c)G(r,c)J1H (W(r,)S(r,c)+G(r,c)S(r,c)G
23、(r,)W兰蓉,等:基于混合反向注意力机制的息肉分割网络实验设置选取 Kvasir24、CVC-Cl i n i c D B2 5、CVC-ColonDB26、En d o Sc e n e 2 7 和 ETIS281 等5个常用的息肉数据集进行实验以评估HRANet 性能。实验采用与Pranet相同的训练集和测试集进行划分,所有训练图片统一为352 352 分辨率并使用多尺度策略(0.7 5,1,1.2 5)进行训练。网络模型训练使用RTX3090显卡及Pytorch作为实验框架,整个网络采用端到端方式进行训练,选择RAdam作为优化器,初始学习率设为0.0 0 0 1,批大小为16 个,训
24、练的最终网络模型经历10 0 个轮次。3.2对比实验选取U-Net、U-Ne t+、R e s U Ne t 2 9、R e s U-Net+、SFA、Pr a Ne t、A C SNe t 和 DCRNet 等 8个具有代表性的医学图像分割网络和HRANet分别对5个息肉数据集息肉图像进行分割,评测指标为平均Dice系数(mean Dice,m D i c e)和平均Lwiou交并比(mean Intersection over Union,mloU)。所有网络代码均使用官方开源代码或是依照原文复现。不同息肉分割网络的指标量化结果如表191式中:S为预测值;G为真实值;G(rc)E(O,1)
25、为像素真值;S(r,c)为显著类别预测概率;W(r,c)为权重;H和W分别为图像的长和宽。3实验结果及分析3.1c=1所示。表1不同息肉分割网络的指标量化结果Kvasir网络mDiceU-Net0.818U-Net+0.821ResUNet0.791ResUNet+0.813SFA0.723PraNet0.898ACSNet0.898DCRNet0.882HRANet0.908由表 1 可以看出,HRANet 在 Kvasir、CVC-Cl i n-icDB、CVC-Co l o n D B 和 ETIS 上 mDice 和 mloU 分别ClinicDBmloUmDice0.7460.823
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 混合 反向 注意力 机制 息肉 分割 网络
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。