基于EfficientNetV2和ASPP的脊柱MRI图像分割.pdf

现代计算机Modern Computer第 29 卷 第 13 期2023 年 7 月 10 日基于EfficientNetV2和ASPP的脊柱MRI图像分割蔡标1，杨成2，徐晴1，陆翼1，仇胥斌2*，常珊1*（1.江苏理工学院生物信息与医药工程研究所，常州 213001；2.苏州大学附属第三医院，常州 213001）摘要：脊柱是人体比较重要的器官。针对MRI数据对骨骼识别困难等缺点，提出一种基于简化的EfficientNetV2和ASPP的脊柱MRI图像分割方法。在特定的数据集上训练并进行测试，得到了DSC评价指标为84.61%和IoU评价指标为82.56%的医学图像分割模型。实验数据表明，该方法可以提高MRI图像脊柱分割精度。关键词：EfficientNetV2；脊柱；图像分割；ASPP文章编号:10071423（2023）13006905DOI:10.3969/j.issn.10071423.2023.13.012收稿日期：20230314修稿日期：20230322基金项目：国家骨科与运动康复临床医学研究中心、江苏省中以产业技术研究院“以临床应用为导向的医疗创新基金”（2021NCRCCXJJZH04）作者简介：蔡标（1993），男，安徽淮北人，硕士研究生，研究方向为医学图像分割；杨成（1996），男，江苏常州人，硕士研究生，研究方向为脊柱康复系统研究；徐晴（1998），女，江苏徐州人，硕士研究生，研究方向为生物信息学、脑电信号处理；陆翼（1998），女，江苏扬州人，硕士研究生，研究方向为生物信息学；*通信作者：仇胥斌（1979），男，江苏常州人，硕士生导师，研究方向为脊柱康复系统研究，Email：；*通信作者：常珊（1982），男，硕士生导师，教授，主要研究方向为分子对接、蛋白质结构预测，Email：0引言脊柱是由 26 块椎骨组成，包括颈椎 7 块、胸椎 12块、腰椎 5块、骶骨 1块和尾骨 1块1。在目前生活节奏快和工作压力大的情况，人群易发脊椎关节错位、椎间盘突出和骨质增生等疾病2-4。在脊柱疾病的预防和治疗中，因为电子计算机断层扫描（computed tomography，CT）和 核 磁 共 振 成 像（magnetic resonance imaging，MRI）技术的便捷性和可靠性，CT和MRI经常被使用5。针对脊柱的检查，在骨骼的临床诊断中，CT成像对骨骼比较敏感，但由于CT相较于MRI具有很强的辐射性，所以在针对特定人群如孕妇的临床治疗中，MRI 具有零辐射的优势6。目前针对脊柱MRI图像的分割任务较少，所以MRI图像的分割任务具有一定的意义7。随着医疗技术的发展，医学图像分割越来越被需要。利用计算机得到医学图像分割结果，很大程度上减少医学工作者的工作量和提高其工作效率。随着人工智能的发展，很多机器学习和深度学习方法用于脊柱图像分割中，其中UNet和FCN网络模型具有代表性。Kolak等8在UNet和3D UNet的基础上，增加了残差连接和密集连接，提出了 ResidualUNet 和 DenseUNet 网络用于分割大脑和脊柱图像，实验结果证明，残差连接和密集连接能较好地提高UNet的分割精度。Han等9结合空洞卷积和自动编码器在语义分割上的优势，提出 SpineGAN 实现对脊柱图像的分割任务，再对253名患者的脊柱MRI图像进行验证，SpineGAN实现了准确的分割，比传统的 UNet和 FCN 提高了近 10%的像素精度。Rak等10将卷积神经网络和残差连接相结合，在两个公开数据集上通过五折交叉验证，Dice系数分别为93.8%和96.0%。这个结果比之前工作的Dice提高了5.7%和8.6%，值得一图形图像 69现代计算机2023年提的是，新的网络在计算时间上也有很大的优势。Xie 等11为了解决医学二维图像分割领域中不同组织之间的低对比度、高相似性和不同比例等问题，提出CHINet上下文分层集成网络。CHINet主要由密集扩张卷积（DDC）和堆叠残差池（SRP）两个关键模块组成，在特定的数据集上，该网络优于主流的医学图像分割网络。2019 年，Tan 等12对图像分类模型的网络深度、网络宽度和输入图片分辨率大小三个方向进行了细致的研究，在EfficientNet的基础上提出EfficientNetV2网络，和当时比较流行的分类网络相比较，在参数量和模型精度上有很大的提升。网络中主要使用卷积层、BatchNorm层、激活函数、池化层和残差连接等，针对不同的图片分辨率大小设置不同的网络深度和网络宽度。2018年，Chen等13提出带孔空间金字塔池化模块（ASPP）和编码-解码结构的图像分割网络DeepLabV3+，ASPP通过使用不同比率的空洞卷积和1*1卷积，将网络的感受野扩大的同时又不增加过多的参数量。利用不同的特征提取网络作为编码器，使用双线性插值操作作为解码器，最终完成了医学图像分割任务，在没有任何后处理的情况下完成89%的测试集精度。1材料与方法1 1.1 1数据集数据集数据集是第二届中国图像与图形学会图像与图形技术挑战赛的公开数据集（https:/www.spinesegmentation-），共有172张带标签的脊柱MRI数据。由于数据集中数据的尺寸不一，只使用其中 119例数据，其尺寸均为12880880，这样可以避免对原始数据的尺寸调整导致分割精度的下降，如图1所示。最终，针对数据集中的骶骨 S、腰椎 L1L5、胸椎T11T12共八个分割对象进行脊柱MRI图像分割任务。1 1.2 2数据预处理数据预处理为了减少计算量，同时不降低精度，将数据和标签左右两侧的背景删除，并将脊柱原始数据尺寸由12880880统一为12464880。具体操作如图1所示，只保留脊柱图像中非零的数据。由于只有部分数据中存在 T9T10的图像和标签，忽略部分数据中存在的胸椎T9T10，将标签中的T9T10进行删除。图 1脊柱图像预处理示意图1 1.3 3算法流程算法流程为了解决脊柱 MRI 图像分割的部分问题，本文提出基于 EfficientNetV2 和 ASPP 的分割网络，用于脊柱图像的分割任务，如图2所示，原始脊柱图像数据首先经过上文的数据预处理后，经简化的 EfficientNetV2 网络后，利用 ASPP 和1*1卷积进一步提取特征并拼接起来，最后经过上采样操作得到与预处理后的数据尺寸一致，尺寸为12448880。由于EfficientNetV2在图像分类任务中的出色表现，所以本文使用EfficientNetV2网络完成特征提取任务，在 EfficientNetV2 网络家族中，EfficientNetV2（S/M/L）网络较为复杂，本文选择使用简化后的 EfficientNetV2_S 网络，保留 5 个Stage，将每个 Stage 的 Layers 设置为 1，具体的网络参数见表1。表 1简化的EfficientNetV2参数概述Stage01234OperatorConv3*3MBConvMBConvMBConvConv&FCStride2211Channels816243264Layers11111 70蔡标等：基于EfficientNetV2和ASPP的脊柱MRI图像分割第13期ASPP 模块具体结构如图 3 所示，主要由 1个1*1卷积、1个全局池化操作和3个空洞卷积组成，使用的空洞卷积比率为6、12、18，每个1*1卷积后都有BatchNorm层（BN）和ReLU激活函数。在上采样的过程中，上采样选择双线性插值而不是反卷积操作，可以减少学习参数量和计算时间。Input预处理1*1Conv改进的EfficientNetASPPupsamplePrediction图 2简化的EfficientNetV2和ASPP网络示意图InputConv1*1MConv3*3rate=6MConv3*3rate=12MConv3*3rate=18AdapitiveAVGPoolConv1*1BilinearInterpolateConcatOutputConv1*1图 3ASPP网络示意图1 1.4 4评价指标评价指标本文选用比较常见的评价指标，DSC 和IoU。公式如下：DSC=2Vgt VpreVgt+Vpre（1）IoU=Vgt VpreVgt Vpre（2）其中：Vgt为真实标签所包含的像素点的集合；Vpre为模型预测的像素点的集合。2实验设置2 2.1 1设备选择和模型参数设置设备选择和模型参数设置本文使用Python语言PyTorch框架编写，在8 张 Tesla K80 的电脑上进行训练模型并测试，模型选择交叉熵损失函数，使用随机梯度下降优化器（SGD），使用 ReLU 激活函数，批大小（Batch Size）为4。学习率为0.001，学习率按照公式（3）的策略变化，训练轮次（epoch）为100。Iri=Iri-1 0.99（3）其中：Iri为第i训练批次的学习率；Iri-1为第i-1训练批次的学习率。2 2.2 2实验结果实验结果为了和其他的分割方法进行比较，在119例MRI图像中我们随机选择19例作为测试集，对原始数据进行相同的数据预处理，执行UNet、DeepLabV3+和 nnUNet 模型后，我们得到了各个方法的DSC和IoU评价指标，见表2。在8个表 2各方法脊柱分割的平均DSC（%）和IoU（%）DSCIoUModelUNetnnUNetDeepLabV3+oursUNetnnUNetDeepLabV3+oursS87.5489.3087.3285.8081.3383.4583.1082.56L581.5186.4584.7185.0282.9584.3585.3284.24L479.6582.2581.0086.6780.1283.4581.5684.02L382.4581.7882.1286.5483.2584.2584.5685.21L278.3282.4384.5083.2080.8782.3480.6883.12L177.6585.9878.3484.2378.3580.3281.3280.56T1279.1781.4781.5082.3179.1580.5682.1481.67T1180.2982.5481.4583.1278.5679.2378.1579.14 71现代计算机2023年脊柱图像分割目标中，DSC评价指标中有4个取得最优成绩，IoU评价指标中有3个取得最优成绩。经过 5倍交叉验证后，得到各方法的平均DSC评价指标和IoU评价指标，如图4所示，本文方法在 DSC 评价指标和 IoU 评价指标均优于UNet、nnUNet和DeepLabV3+网络。图 4各方法的平均DSC评分3结语本文提出一种基于简化后的 EfficientNetV2和ASPP模块的脊柱MRI图像分割方法，利用双线性插值操作完成上采样操作，该方法与 U-Net、nnUNet 和 DeepLabV3+主流分割方法相比，具有较优的分割能力。参考文献：1 SILAGI E S，NOVAIS E J，BISETTO S，et al.Lactate efflux from intervertebral disc cells is required formaintenance of spine health J.Journal of Bone andMineral Research，2020，35（3）：550570.2 AABY A，RAVN S L，KASCH H，et al.The associations of acceptance with quality of life and mentalhealth following spinal cord injury：a systematic review J.Spinal Cord，2020，58（2）：130148.3 KIGERL K A，ZANE K，ADAMS K，et al.The spinal cordgutimmune axis as a master regulator ofhealth and neurological function after spinal cord injury J.Experimental Neurology，2020，323：113085.4 CHAMBERS G M，SETTUMBA S N，CAREY KA，et al.Prenusinersen economic and healthrelatedquality of life burden of spinal muscular atrophyJ.Neurology，2020，95（1）：e1e10.5 GEETHANATH S，VAUGHAN JR J T.Accessiblemagnetic resonance imaging：a review J.Journal ofMagnetic Resonance Imaging，2019，49（7）：e65e77.6 KNOLL F，HAMMERNIK K，ZHANG C，et al.Deeplearning methods for parallel magnetic resonance imaging reconstruction：a survey of the currentapproaches，trends，and issues J.IEEE Signal Processing Magazine，2020，37（1）：128140.7 DEVUNOORU S，ALSADOON A，CHANDANAP，et al.Deep learning neural networks for medicalimage segmentation of brain tumours for diagnosis：arecent review and taxonomy J.Journal of AmbientIntelligence and Humanized Computing，2021，12：455483.8 KOLAK M，BURGET R，UHER V，et al.Optimized high resolution 3D denseUNet network forbrain and spine segmentationJ.Applied Sciences，2019，9（3）：404.9 HAN Z，WEI B，MERCADO A，et al.SpineGAN：Semantic segmentation of multiple spinal structuresJ.Medical Image Analysis，2018，50：2335.10 RAK M，STEFFEN J，MEYER A，et al.Combiningconvolutional neural networks and star convex cutsfor fast whole spine vertebra segmentation in MRIJ.Computer Methods and Programs in Biomedicine，2019，177：4756.11 XIE X，PAN X，ZHANG W，et al.A context hierarchical integrated network for medical image segmentationJ.Computers and Electrical Engineering，2022，101：108029.12 TAN M，LE Q.Efficientnet：rethinking model scaling for convolutional neural networks C Proceedings of the International Conference on MachineLearning（PMLR），2019：61056114.13 CHEN L，ZHU Y，PAPANDREOU G，et al.Encoderdecoder with atrous separable convolutionfor semantic image segmentation C Proceedings oftheEuropeanConferenceonComputerVision（ECCV），2018：801818.（下转第84页）72现代计算机2023年Design of technology innovation integrated management platform forenterpriseChen Bo*(Ministry of Science and Technology Information,Tongfang Co.,Ltd.,Beijing 100083,China)Abstract:Facing the management needs of largescale grouplevel hightech companies for technological innovation,this paper proposes a design for an integrated management platform for enterprise technological innovation.By designing a technologymanagement platform based on data analysis and intelligent algorithms,it can effectively support daily work including report statistics,management of intellectual property rights,etc.,and the supervision for scientific research projects by different types and levels,and provide scientific and technological innovation with multisource and polymorphic data support.Evaluate and assistdecisionmaking,promote work collaboration,improve work efficiency,and achieve accurate services.Keywords:computer application technology;technology innovation management platform;architecture;comprehensive management;project management;assisted decisionmakingSpine MRI image segmentation based on EfficientNetV2 and ASPPCai Biao1,Yang Cheng2,Xu Qing1,Lu Yi1,Qiu Xubin2*,Chang Shan1*（1.Institute of Bioinformation and Medical Engineering,Jiangsu University of Technology,Changzhou 213001,China;2.The Third Affiliated Hospital of Soochow University,Changzhou 213001,China）Abstract:The spine is a relatively important organ in the human body.A spine MRI image segmentation method based onsimplified EfficientNetV2 and ASPP is proposed,aiming at the shortcomings of bone recognition difficulty in MRI data.The medical image segmentation model with DSC evaluation index of 84.61%and IoU evaluation index of 82.56%was obtained by trainingand testing on specific data sets.The experimental data show that this method can improve the accuracy of MRI spine segmentation.Keywords:EfficientNetV2;spine;image segmentation;ASPP（上接第72页）84