基于注意力残差U-Net的皮肤镜图像分割方法.pdf
《基于注意力残差U-Net的皮肤镜图像分割方法.pdf》由会员分享,可在线阅读,更多相关《基于注意力残差U-Net的皮肤镜图像分割方法.pdf(9页珍藏版)》请在咨信网上搜索。
1、DOI:10.11992/tis.202201030网络出版地址:https:/ U-Net 的皮肤镜图像分割方法沈鑫1,魏利胜2(1.安徽工程大学 电气工程学院,安徽 芜湖 241000;2.安徽工程大学 安徽省电气传动与控制重点实验室,安徽芜湖 241000)摘 要:针对皮肤镜图像类内差异性、类间相似性、数据集不平衡等问题,本文提出了一种基于注意力残差 U-Net(attention residual block-UNet,ARB-UNet)的皮肤镜图像分割方法。将卷积块注意力机制模块(convolutionalblock attention module,CBAM)引入到 U-Net 模
2、型的“跳过连接”中;同时将 CBAM 模块集成到残差模块DRB(dilated residual networks)中得到注意力残差结构(attention residual block,ARB);且选取 Focal TverskyLoss 作为该模型的损失函数;在 ISIC2016 数据集上对所提 ARB-UNet 模型进行训练和测试,并与传统方法和 U-Net 等经典方法进行了对比实验,实验结果中灵敏度(sensitivity,SE)达到了 92.9%,特异性(specificity,SP)达到了 94.1%,Dice 相似指数(dice similarity cofficient,DSC
3、)达到了 92.1%,整体上均优于其他对比方法,从而验证了本文方法是有效的和可行的。关键词:图像分割;皮肤镜;卷积神经网络;注意力残差 U-Net;注意力机制;卷积块注意力机制模块;深度学习;残差网络中图分类号:TP391 文献标志码:A 文章编号:16734785(2023)04069909中文引用格式:沈鑫,魏利胜.基于注意力残差 U-Net 的皮肤镜图像分割方法 J.智能系统学报,2023,18(4):699707.英文引用格式:SHEN Xin,WEI Lisheng.Dermoscope image segmentation method based on ARB-UNetJ.CAA
4、I transactions onintelligent systems,2023,18(4):699707.Dermoscope image segmentation method based on ARB-UNetSHEN Xin1,WEI Lisheng2(1.School of Electrical Engineering,Anhui Polytechnic University,Wuhu 241000,China;2.Anhui Key Laboratory of Electric Driveand Control,Anhui Polytechnic University,Wuhu
5、241000,China)Abstract:Aiming at the problems of intra-class difference,inter-class similarity,and dataset imbalance in dermoscopicimages,a dermoscopic image segmentation method based on attention residual block-UNet(ARB-UNet)is proposed.Firstly,the convolutional block attention module(CBAM)is introd
6、uced into the“skip connection”of U-Net model;atthe same time,the CBAM module is integrated into the residual module DRB(dilated residual networks)to obtain theattention residual block(ARB);Focal Tversky loss is selected as the loss function of the model;Finally,the proposedARB-UNet model is trained
7、and tested on ISIC2016 data set,and compared with traditional methods and classical meth-ods such as U-Net.The experimental results show that the sensitivity(SE),specificity(SP),and dice similarity index(DSC)have reached 92.9%,94.1%,and 92.1%,respectively,which are all better than other comparative
8、methods inoverall.Thus,the feasibility and effectiveness of the method in this paper are verifiedKeywords:image segmentation;dermoscopic;convolutional neural network;attention residual block-UNet(ARB-UNet);attention mechanism;convolutional block attention module(CBAM);deep learning;residual network
9、黑色素瘤是一类死亡率较高,极其危险的皮肤癌1-2。美国每年就涉及 100 000 多例新增病例,其中死亡病例超过 9 000 例3。治疗黑色素瘤最好的方法是尽早治疗,这样患者的存活率可超过收稿日期:20220118.网络出版日期:20230322.基金项目:安徽省教育厅重大项目(KJ2020ZD39);安徽省检测技术与节能装置重点实验室开放基金项目(DTESD-2020A02).通信作者:魏利胜.E-mail:lshwei_.第 18 卷第 4 期智能系统学报Vol.18 No.42023 年 7 月CAAI Transactions on Intelligent SystemsJul.202
10、3智能系统学报编辑部版权所有95%。皮肤镜技术是一种非侵入性的皮肤成像技术,它是检测皮肤病的主要手段,可以帮助皮肤科医生辨别良性病变和恶性病变,特别在黑色素瘤的诊断上。然而靠医生的人工诊断比较浪费时间,效率较低,且带有部分主观看法,所以利用计算机来辅助医生在黑色素瘤的诊断中有着很高的价值,给皮肤科医生提供定量和客观的评估,而皮肤镜图像的分割是整个辅助诊断过程中一个重要的阶段。皮肤镜图像分割是从病变区域中提取出关键的特征,以便在接下来的病变分类任务中更好地区分病变类型。然而,由于病变的不规则性、不同的形状和颜色,还有诸如毛发等噪声的干扰,皮肤病变的分割具有很大的挑战性。在较早的研究中,皮肤镜图像
11、分割大多采用传统的分割算法,如阈值分割4-6、区域生长7-8和边缘检测9。这些方法依赖于从颜色10、形状11和纹理12等特征中获取的手工特征,实现起来较麻烦,比较费时间,而且鲁棒性较差,不能获得满意的结果。为达到准确分割的目标,目前大多数学者采用卷积神经网络对图像进行分割。Shelhamer等 13创建了全卷积神经网络(fully convolutionalnetworks,FCN),将原始应用于图像分类的模型转移到图像分割任务中,显著提高了图像分割的性能。Ronneberger 等14创建了 U-Net 模型,该模型分为 2 个阶段,先向下采样,后向上采样。通过下采样路径提取高级语义信息,并
12、结合跳跃连接和上采样路径来恢复详细信息。经过多次实验论证,U-Net 模型有着较好的性能,特别是在医学图像分割方面。Zhou 等15提出了 U-Net+网络,通过在下采样阶段和上采样阶段之间增加 Denseblock 与卷积层来提高网络的分割性能。Oktay等16提出在 U-Net 跳跃式连接中加入注意门(at-tention gate,AG),以提高胰腺分割协议的预测准确性和敏感性。Sarker 等17介绍了 SLSDeep,结合了跳跃连接、扩张残差和金字塔网络。在该模型中,编码器网络依赖于扩张的残余网络层和金字塔池化网络,增强了从皮肤镜图像中学习特征的能力。Zhang 等 18利用 FCN
13、 学习的特征,将FCN 生成的特征与浅层卷积神经网络相结合,提出了一种自动分割皮损区域的框架,以提高模型的整体分割性能。Baghersalimi 等19提出了具有编码器解码器范式的 DermoNet,处理早期层的高分辨率特征以及更深层次的高语义特征,以将每个密集块的输出与相应的解码器联系起来。以上文献增加了网络结构复杂性,不能克服图像边界模糊、数据集不平衡和 ROI 区域较小等问题。为此,本文提出一种 ARB-UNet 模型,引入有效的 CBAM 注意力机制,并选用 Focal tver-sky loss 作为模型的损失函数,以提高模型的分割性能。1 ARB-UNet 算法原理ARB-UNet
14、 算法流程图如图 1 所示。首先对皮肤镜图像预处理,包括灰度化和限制对比度自适应直方图均衡化(contrast limited adaptive histo-gram equalization,CLAHE)20处理;然后,进行图像分割,将经过预处理的图像经过 ARB-UNet 模型进行训练和测试,从而得到皮肤镜图像的分割图。图像预处理原始输入图像预测分割图灰度化、CLAHE 处理图像分割ARB-UNet分割网络 图 1 ARB-UNet 算法流程Fig.1 Flow chart of ARB-UNet algorithm 1.1 图像预处理图像预处理是图像分割任务中的第 1 步,也是较为关键的
15、一个阶段,好的预处理方法能显著提升模型的分割效率。下面介绍所提算法采用的图像预处理方法。本文训练集中的部分图像如图 2 所示,为了降低后续处理过程中的运算量,首先对其进行灰度化处理。与 RGB 图像相比,灰度图像可以更好地显示病变区域,对比度较强,并且灰度化处理可以减少数据量,使运算速度大幅度提高,得到的结果如图 3 所示。(a)图像 1(b)图像 2(c)图像 3 图 2 原始图像Fig.2 Orignal images (a)灰度图像 1(b)灰度图像 2(c)灰度图像 3 图 3 灰度化处理图Fig.3 Grayscale processing images 700智能系统学报第 18
16、卷 从图 3 中可以看出,将彩色图像转变为了灰度图像,但是由于图中的背景与要分割出的病变区域区别不够明显,图像的对比度有待提升。在提升图像对比度的方法中,较常用的是CLAHE 算法。自适应直方图均衡化(adaptive his-togram equalization,AHE)算法通过求所有像素邻域的变换函数来增强每个像素。CLAHE 基于自适应直方图均衡化,其中直方图是针对像素的上下文区域计算的,然后将像素强度转换为显示范围内的值,在局部强度直方图中,该值与像素强度的等级成比例。CLAHE 算法可以解释为p(rk)=nkn(1)nkrknp(rk)rk式中:为具有灰度值 的像素数,为像素总数,
17、为具有灰度值 的像素总数。灰度值变换为s=T(r)(2)T(r)0 r 1式中为的单调递增函数。最后对上述灰度图像进行 CLAHE 处理,得到的结果如图 4 所示。(a)处理结果 1(b)处理结果 2(c)处理结果 3 图 4 CLAHE 处理图Fig.4 Images processed by CLAHE algorithm 从图 4 可以看出,经过 CLAHE 处理得到的皮肤镜图像的局部对比度明显提升,与原图相比病变区域更加明显,充分体现了皮肤镜图像的细节信息,有利于下一步进行皮肤镜图像的分割。1.2 ARB-UNet本文所提的 ARB-UNet 模型是 U-Net 模型的改进版。ARB-
18、UNet 模型的详细结构如图 5所示。CBAMCBAMCBAM3264641283 1632 16 1输入图像激活函数输出ARB最大池化层 22反卷积层 2211 卷积 图 5 ARB-UNet 模型Fig.5 ARB-UNet model 从图 5 可以看出,ARB-UNet 由收缩路径和扩展路径这 2 个部分构成。左侧的收缩路径向下采样,用于提取图像局部的特征,右侧的扩展路径根据上下文信息对图像的特征精准定位。受注意力机制最近在图像处理领域得到广泛应用的启发,在该模型中,引入了卷积块注意力模块(convolu-tional block attention module,CBAM)21,通过
19、关注图像的细节特征来增强特征的表达。一方面,本文将 CBAM 模块应用到原 U-Net 模型的“跳过连接”中,为收缩路径中的每个特征映射赋予权重,而不是像原 U-Net 网络中将它们平等地复制到对应的扩展路径中;另一方面,考虑到特征通道之间的关系,本文将 CBAM 注意力机制模块应用到残差结构(double residual block,DRB)中,并将其命名为注意力残差结构(attention residual block,ARB)。整个网络模型的结构来源于 U-Net,U-Net 的卷积块被 ARB 替代。收缩路径包含 4 个模块,每一个模块包括 ARB 结构和规格为 22 的最大池化层,
20、扩展路径同样包含 4 个模块,每一个模块包括规格为 22 的转置卷积,并与通过 CBAM模块从收缩路径加权的特征映射连接,然后通过ARB 模块之后,最后经过卷积层和 sigmoid 函数得到模型的分割图。1.3 注意力残差模块 ARB为了充分提取图像中的高级特征,DRNet22提出了残差模块 DRB,本文将 CBAM 模块集成到残差模块 DRB 中,提出注意力残差模块 ARB,ARB模块的结构图如图 6 所示。CBAM输入批规范化ReLU卷积器输出特征图正则化模块 图 6 ARB 模块结构Fig.6 ARB module structure 从图 6 可以看出,注意力残差结构 ARB 中引入了
21、批规范化(BN)优化算法23,该算法通过规范化操作使得每批训练数据的均值和方差分别为0 和 1,提高了网络的收敛速度,还能减小“梯度分散”现象对网络的影响,同时优化了模型的训练效果。批规范化算法的实现步骤较简单,首先计算批数据的均值 和方差,接着由 和 对该批数据第 4 期沈鑫,等:基于注意力残差 U-Net 的皮肤镜图像分割方法701 进行规范化计算,最后通过参数 和 推导尺度变换和偏移。批规范化算法流程如下所示。x1,x2,xm输入批处理数据:。=1mmi=1xi1)计算批数据的均值:;=1mmi=1(xi)2)计算批数据的方差:;xi=xi2+3)根据 和 进行规范化计算:;yi=xl+
22、4)推导尺度变换和偏移:;5)返回参数 和。yyi=N,(xi)输出 规范后的结果:。为防止网络出现过拟合,在上述的注意力残差结构 ARB 中添加了 Dropblock 层24,Dropblock是一种结构化的 Dropout 形式,它比 Dropout 更有效地随机丢弃局部块区域和正则化卷积层,可以让模型获得更好的精度。Dropblock 通过随机丢弃特征图中一部分相邻的块状区域,迫使网络利用其他部位语义信息进行决策分类,使用伯努利分布来生成二进制掩码矩阵,只得到 0 和 1 两个值,其中值为 0 的元素作为基点,然后通过将特征图和该掩码矩阵进行哈达玛积计算来获得输出特征图。其计算为=1 p
23、a2s2(sa+1)2(3)ap(sa+1)2s式中:为丢弃基点的概率;为随机丢弃区域的大小;为神经元保留概率;为有效种子采样区域大小;表示输入特征图大小。1.4 注意力机制CBAM 是一种轻量级的注意力机制,适用于任何卷积神经网络模型,大大提高了模型的性能。图 7 是 CBAM 的模型结构图。卷积块注意力机制模块通道注意力机制空间注意力机制输出特征图输入特征图 图 7 CBAM 模型结构Fig.7 CBAM model structure F RCHWMc RC11Ms R1HWCBAM 模块将注意力映射分别注入通道维度与空间维度,然后将注意力映射与输入特征映射相乘,以达到自适应优化。设定作
24、为输入特征图,CBAM 先后映射出通道注意力特征图和空间注意力特征图。整个注意力过程可以概括为F=Mc(F)F(4)F=Ms(F)F(5)F式中 表示为 element-wise 乘法。在乘法过程中,注意力值会根据特征的重要性分配不同的权重,通道注意力值和空间注意力值会沿着彼此的维度进行分配,提取图像的细节特征。是最终的输出特征图。如图 8 所示,通道注意模块通过输入,然后分别通过多层感知器(multilayer perceptron,MLP),对 MLP 输出的特征逐个元素求和,生成最终的通道注意特征图。对其进行乘法运算并输入特征图,生成空间模块所需的输入特征,表示为Mc(F)=sigmoi
25、d(MLP(AvgPool(F)+MLP(MaxPool(F)(6)输入特征图最大池化平均池化sigmoid激活输出特征图多层感知器(MLP)多层感知器(MLP)图 8 通道注意力模块Fig.8 Channel attention module 如图 9 所示,空间注意力机制的输入特征图是上述通道注意力机制的输出特征图。接着将输入特征分别进行最大池化操作和平均池化操作,接着进行特征拼接,然后通过卷积层提取特征,最后经过 sigmoid 函数生成输出特征,可以表示为Ms(F)=sigmoid(f77(AvgPool(F);MaxPool(F)(7)f77式中为大小为 77 的卷积核。输入特征图输
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 注意力 Net 皮肤 图像 分割 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,个别因单元格分列造成显示页码不一将协商解决,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。