基于特征图可视化的医学图像分析.pdf
《基于特征图可视化的医学图像分析.pdf》由会员分享,可在线阅读,更多相关《基于特征图可视化的医学图像分析.pdf(7页珍藏版)》请在咨信网上搜索。
1、第37 卷第4期2023 年8 月Journal of Jiangsu University of Science and Technology(Natural Science Edition)D0I:10.20061/j.issn.1673-4807.2023.04.011江苏科技大学学报(自然科学版)Vol.37No.4Aug.2023基于特征图可视化的医学图像分析汪颖萍,邵海见1.2*,邓星1.2(1.江苏科技大学计算机学院,镇江2 12 10 0)(2.东南大学自动化学院复杂工程系统测量与控制教育部重点实验室,南京2 10 0 0 9)摘要:现有的医学图像分类算法中普遍存在模型的可解释
2、性问题,将同一卷积神经网络应用到不同的数据集上,分类性能千差万别.针对这一问题,提出了一种基于特征图可视化的医学图像分析方法.在卷积神经网络的特征提取阶段设计4个特征图可视化模型,这些模型将具有与网络相同的输入层以及权重,但输出则是一系列特征图.采用SSIM相似度对信息摘最大的特征图评估,分析4个模型提取到的特征信息.在kaggle官网上提供的BreaKHis、C h e s t X-R a y、R e t i n a lO C T 3类数据集上进行实验,其中基于VGG16网络的特征图可视化模型提取到的特征相似度分别集中在0.9 5,0.9 3,0.8 5,分类精度分别为7 5.96%,7 7
3、.19%,99.40%.此外,在ResNet18网络上也有相同的表现.研究表明:分类性能取决于网络的特征提取能力,在保证相似性的前提下,卷积层之间提取到的特征其相似度越低,该数据集在同一网络上往往表现出更好的分类性能.关键词:卷积神经网络;医学图像分类;特征图可视化;VGG16中图分类号:TP391.41Medical image analysis based on feature map visualization文献标志码:A文章编号:16 7 3-48 0 7(2 0 2 3)0 4-0 6 5-0 7(1.School of Computer,Jiangsu University of
4、 Science and Technology,Zhenjiang 212100,China)WANG Ynping,SHAO Hajin,DENC Xing(2.Key Laboratory of Measurement and Control for Complex Engineering Systems,Ministry of Education,School of Automation,Southeast University,Nanjing 210009,China)Abstract:The interpretability of models is a common problem
5、 in the existing medical image classification algo-rithms.When the same convolutional neural network is applied to different datasets,the classification perform-ance often varies greatly.To solve this problem,we propose a medical image analysis method based on featuremap visualization.In the feature
6、 extraction stage of the convolutional neural network,four feature map visualiza-tion models are designed.These models have the same input layer and weight as the network,but the output is aseries of feature maps.The SSIM similarity is used to evaluate the feature map with the maximum information en
7、-tropy and analyze the feature information extracted from the four models.Based on BreaKHis,Chest X-Ray andRetinal OCT datasets available on kaggles website,the feature similarity extracted from the feature map visual-ization model based on VGG16 network is concentrated at 0.95,0.93 and 0.85,respect
8、ively,and the classifi-cation accuracy on the network is 75.96%,77.19%and 99.40%,respectively.In addition,on ResNet18 net-work it has the same performance.It is concluded that the classification performance depends on the feature ex-traction capability of the network.On the premise of ensuring the s
9、imilarity,the lower the similarity of featuresextracted between the convolution layers,the better the classification performance of the dataset on the same net-work.Key words:convolutional neural network,medical image classification,feature map visualization,VGG16收稿日期:2 0 2 1-0 7-31基金项目:国家自然科学青年科学基金
10、资助项目(6 190 2 158,6 18 0 6 0 8 7)作者简介:汪颖萍(1999一),女,硕士研究生*通信作者:邵海见(198 5一),男,博士,副教授,研究方向为机器学习、计算机视觉.E-mail:jsj_引文格式:汪颖萍,邵海见,邓星.基于特征图可视化的医学图像分析J.江苏科技大学学报(自然科学版),2 0 2 3,37(4):6 5-7 1.D0I:10.20061/j.issn.1673-4807.2023.04.011.66近年来随着计算机硬件的发展,卷积神经网络(c o n v o lu t io n a l n e u r a l n e t w o r k s,C N
11、N)处理图像的效率和性能都得到不断提升.基于 CNN 的医学图像分类方法,利用卷积操作自动提取图像的形态、纹理和颜色等特征,并结合损失函数和优化器对学习到的特性不断加以修改,使网络模型达到较好的分类效果.经典卷积神经网络模型由卷积、池化、全连接层组成,如 AlexNet,VGG,GoogLeNet,ResNet 等,其中VGG模型 使用了较小的卷积核和池化核,同时增加了模型深度,丰富了模型非线性表达能力而被广泛用.文献2 提出GoogLeNet模型采用不同大小的卷积核和Inception分支结构,将不同分支上提取得到的特征拼接映射成为输出特征,拓宽了模型的宽度.文献3提出的ResNet模型设计
12、了残差结构,使得模型在训练过程中能够学习信息量的差值,克服了神经网络因深度增加导致性能易退化的缺点.为了强调重要的特征信息,提出注意力机制,如通道、空间注意力赋予特征图以不同的权重,按照这种方式训练得到的网络能达到更好的效果.基于深度学习的发展,提出许多利用CNN实现医学图像分类任务的方法,大致分为两类:基于单一网络模型的方法和基于模型融合的方法.文献4提出了一种基于图像补丁的方法训练Alex-Net,通过输入高分辨率组织病理学图像,将乳腺肿瘤分为良、恶性两类.文献5基于迁移学习技术,加载Resnet50网络在ImageNet数据集上训练得到的权重参数,对BreaKHis数据集6 中不同放大倍
13、数的图像依次分类.单一的网络模型面临一些复杂多样的医学图像时,提取到的特征信息往往不够全面,此时可以采用多个模型融合的方式,来提高网络的分类性能.文献7 提出了一种混合Inception-V3和循环深度神经网络的方法用于乳腺癌组织病理图像分类,有效综合了CNN和递归神经网络的优势.文献8 将 DenseNet 与 SENet模块交错使用,构建一种新的网络模型用于乳腺癌的分类,提高了特征信息的传递和复用.虽然深度学习在医学图像研究中已经取得了不错的成绩,但深度学习模型的可解释性问题一直存在.被称为“黑盒”的深度学习,依赖于从大量的训练数据中提取特征,而对提取出来的特征数据缺乏可解释性.仅有一个好
14、的分类模型不够,还需要用科学可行的方法对模型给出合理的分析和解释.为此,文中基于CNN在多个医学图像数据集上分类,利用可视化网络特征图的方法对提取到的特征江苏科技大学学报(自然科学版)进行分析,,从而对分类性能给出合理的解释.1基于特征图可视化的医学图像分析方法基于CNN特征空间可视化的医学图像分析方法,如图1,直观地给出了网络中卷积层所产生的特征图,以灰度图显示,并结合图像结构相似性(s t r u c t u a l s i m i l a r y,SSI M)找出数据集在网络中存在的差异,正是这些差异最终导致了分类结果的不同.每一阶段的描述如下:图像分类.利用改进后的VGG16网络分别对
15、BreaKHis、R e t i n a l O CT 和 Chest X-Ray Images 数据集分类,从定性的角度找出同一网络在不同数据集上的差异性.特征图可视化.输入图片经过4个特征图可视化模型后将生成一系列的特征图,以视觉更为直观的方式观察每一次卷积运算后习得的特征信息.筛选特征图.计算每个可视化模型产生所有特征图的图片信息熵,从中分别挑选信息熵最大的特征图,其代表该可视化模型提取特征的能力.SSIM相似性计算.由于部分卷积层输出特征图的大小不同,导致4个可视化模型输出的特征图尺寸不同,文中采取滑动窗口的策略计算可视化模型输出特征图的结构相似性,从定量的角度分析同一网络在不同数据集
16、上的特征提取能力.图像分类分别在4个子模型中的可视化特征图可视化筛选特征图SSIM相似性计算图1基于特征图可视化的医学图像分析方法Fig.1 Medical image analysis method based onfeature map visualization1.1改进的VGG16网络模型基于VGG16网络进行分类,VGG16网络模型由13层卷积层、3个全连接层组成,是针对在Ima-genet大型数据集上的分类问题而设计的,因此VGG16网络的卷积层和全连接层参数量巨大,而文中所使用到的3个医学图像数据集在数量和类别均远小于Imagenet数据集.为了避免出现过拟合2023年VGG16
17、第4期问题,对VGG16网络模型进行了相应改进,使得该网络模型更加适合需求.文中重新设计了卷积层和全连接层,保持了卷积核大小和5个最大池化,改进后的VGG16网络模型如图2.对于卷积层,减少每层卷积核的数量,降低参数量,缩减了网络规模;同时每个卷积块中的第一个卷积层不进行图像填充,剩余卷积层保持输人输出的大小不发生变化.如卷积块convl的第一个卷积层,输人2 2 42 2 43的图片经过32 个33的卷积核卷积后变成了2 2 2 2 2 2 32.针对全连接层,将原有的3层改进为2 层,并减少相应层中的神经元数量,使用Relu激活函数,加入dropout层以防止过拟合,调整最后的输出分类为相
18、应类别.222conv333321.2特征图可视化模型激活图,称为特征图,捕获将过滤器应用于输人的结果,例如输人图像或特征图.使学习到的特征显式的方法称为特征可视化.鉴于网络的复杂性和不透明性,特征可视化是分析和描述网络的重要步骤.为了探索特征图的可视化,需要输人可用于创建激活的VGG16模型.文中利用每个卷积层输出的特征图的尺寸等信息,设计4个新模型,这些模型是完整VGG16模型中的子集.具有与原始模型相同的输人层,但输出将是给定卷积层的输出.在可视化特征图的过程中,使用这些模型进行预测,将给出指定输人图像经过特定卷积层后产生的特征图.4个可视化模型的输出分别是VGG16网络的第一、三、五以
19、及第七个卷积层的输出,即大小分别为2 2 2 2 2 2 32、10 910 96 4,52 52 12 8 和52 52128的一系列特征图.图3为最后一个可视化子模型的网络结构,在该模型中,使用与VGG16模型相同数量和尺寸的卷积过滤器,然而子模型仅专注于特征提取阶段.图中浅色部分代表经过卷积层后产生的特征图,深色部分代表经过池化操作后得到的特征图.对于最后一个特征图可视化模型,将输汪颖萍,等:基于特征图可视化的医学图像分析出待预测图片在网络中的12 8 个特征图.22264.6410932322conv2conv1图3可视化子模型Fig.3 Visualizing the submode
20、l1.3相似性计算文中使用文献9 提出的SSIM结构相似度评估特征图,从亮度、对比度、结构3个方面度量图像相似性,其定义为:SSIM(x,y)=l(x,y)c(x,y)J.s(x,y)(1)fe7+softimax式中:x、y 为输入的两张大小相同二维特征图矩256256256conv5128128128conv4646110conv3conv2图2 改进后的VGG16网络模型Fig.2Improved VGG16 network model671281281284conv3阵;、为相关权重系数,均大于0;l(x,y)、c(x,y)、s(x,y)分别为亮度、对比度、结构相似度函数.2u.u,+
21、Ci(x,y)+u+C20,0,+C20+0+C.c(x,y)s(x,y)一y+C,=0,0,+C式中:u为特征图的平均灰度矩阵;和xy分别为标准差与协方差矩阵;C为常数.从4个可视化模型产生的特征图中分别筛选出信息熵最大的特征图,用SSIM指标衡量特征图间的相似性.由于不同可视化模型产生特征图的大小不同,文中采用序列滑动的策略.将特征图拉平成一维向量,以短序列的1/2 为步长,使短序列在长序列上滑动,确保用于计算相似性的特征图具有相同的维度,依次计算出两者SSIM值,结果取平均值.SSIM值越高,即两张特征图的相似度越高,则两个可视化模型间提取到的特征重叠性越大.2实实验与结果2.1数据集2
22、.1.1BreaKHis数据集乳腺癌组织病理学图像6,样本从乳腺组织(2)(3)(4)68活检玻片中提取,通过SOB活检方法得到并用苏木精-伊红染色法染色,选取厚度约3m的部分.通过免疫组织化学来评估乳腺肿瘤标本,分别使用不同的放大倍数获得乳腺肿瘤组织的显微图.数据集共包括来自8 2 位患者的7 9 0 9 张病理图像,其中良性样本2 48 0 张和恶性样本542 9 张,样本分布见表1.不同放大倍数的乳腺组织病理图像在VGG16网络上的分类性能差异并不大,故文中选用放大倍数为40 的所有样本为例,进行可视化分析.表1BreaKHis数据集中的样本分布Table 1Sample distrib
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 特征 可视化 医学 图像 分析
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,个别因单元格分列造成显示页码不一将协商解决,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。