融合改进Transformer和卷积通道注意力模块的U-Net用于双心室分割.pdf

第41卷第1期-32-2024年1月D01:10.3969/j.issn.1005-202X.2024.01.005融合改进Transformer和卷积通道注意力模块的U-Net用于双心室分割中国医学物理学杂志Chinese Journal of Medical PhysicsVol.41 No.1January 2024医学影像物理陈沐萱，袁金丽，郭志涛，卢成钢河北工业大学电子信息工程学院，天津30 0 40 1【摘要】设计一种融合改进Transformer和卷积通道注意力模块的U-Net用于MRI图像双心室分割。通过在U-Net的高层卷积部分基础融合改进Transformer，有效增强全局特征信息的提取能力以应对右心室复杂的形态变化造成低分割性能的难题。改进的Transformer在自注意力模块部分中加入固定窗口注意力进行位置定位，随后对其输出特征图进行聚合以缩小特征图尺寸；同时通过改进多层感知器来加深网络深度以提高网络学习能力。为解决组织边缘模糊造成的分割性能不理想问题，引入特征聚合模块进行多层次底层特征的融合，利用卷积通道注意力模块对底层特征进行重标定，实现自适应地学习特征权重。此外，针对编解码结构中通道衰减造成特征丢失导致的低分割性能，网络集成一个即插即用的特征增强模块，保证空间信息同时增加有用通道信息的比重。在ACDC数据集对本文算法进行测试，结果表明本文方法对左右心室的分割精度均优于近年其他算法，尤其是右心室分割结果，相比于其他方法，DSC系数提高至少2.8 3%，证明本文方法对双心室分割的有效性。【关键词】双心室分割；图像处理；Transformer；注意力机制；特征提取【中图分类号】R318;TP391Biventricular segmentation using U-Net incorporating improved Transformer and convolutionalchannel attention moduleCHEN Muxuan,YUAN Jinli,GUO Zhitao,LU ChenggangSchool of Electronic Information Engineering,Hebei University of Technology,Tianjin 300401,ChinaAbstract:A U-Net incorporating improved Transformer and convolutional channel attention module is designed forbiventricular segmentation in MRI image.By replacing the high-level convolution of U-Net with the improved Transformer,the global feature information can be effectively extracted to cope with the challenge of poor segmentation performance dueto the complex morphological variation of the right ventricle.The improved Transformer incorporates a fixed windowattention for position localization in the self-attention module,and aggregates the output feature map for reducing the featuremap size;and the network learning capability is improved by increasing network depth through the adjustment of multilayerperceptron.To solve the problem of unsatisfactory segmentation performance caused by blurred tissue edges,a featureaggregation module is used for the fusion of multi-level underlying features,and a convolutional channel attention module isadopted to rescale the underlying features to achieve adaptive learning of feature weights.In addition,a plug-and-play featureenhancement module is integrated to improve the segmentation performance which is affected by feature loss due to channeldecay in the codec structure,which guarantees the spatial information while increasing the proportion of useful channelinformation.The test on the ACDC dataset shows that the proposed method has higher biventricular segmentation accuracy,especially for the right ventricle segmentation.Compared with other methods,the proposed method improves the DSCcoefficient by at least 2.83%,proving its effectiveness in biventricular segmentation.Keywords:biventricular segmentation;image processing;Transformer attention mechanism;feature extraction【文献标志码】A【文章编号】10 0 5-2 0 2 X（2 0 2 4)0 1-0 0 32-11前言【收稿日期】2 0 2 3-0 8-0 6【基金项目】河北省教育厅重点项目（ZD2022115）【作者简介】陈沐萱，硕士研究生，研究方向：计算机视觉、机器学习、医疗图像处理,E-mail:【通信作者】袁金丽，博士，副教授，研究方向：智能信息处理、计算机视觉、机器学习,E-mail:jinli_根据世界卫生组织数据显示，心脏病是人类的主要致死疾病之一。准确有效的早期诊断对心脏病的治疗以及降低死亡率有重要的意义。在早期诊断中，依据心脏磁共振图像（Magnetic ResonanceImaging,MRI)的心室功能评估技术起着至关重要的第1期作用 2 。为获取心室容积、射血系数、心肌质量等临床心脏指标以进行心室功能评估，准确的左右心室分割是十分必要的 3。然而，由于心室形状不规则、边界模糊不清且尺寸变化大，双心室分割仍是一项复杂且具有挑战性的任务 45。近年来，基于编解码器结构的网络已广泛应用于心脏分割领域。Ronneberger等 6 通过跳跃连接将编码器的特征图与解码器中具有相同分辨率的特征图连接起来，提出U-Net，为医学图像分割领域提供一种有前途的架构。随后,Baumgartner等 7 使用各种超参数测试2 DU-Net和3DU-Net以及训练Dice损失与交叉熵损失的影响,结果表明在ACDC心脏MRI数据集上，2 DU-Net在交叉损失训练下表现更好。自此,基于U-Net的改进在心脏分割领域中受到了许多研究者的青崃。改进方法包括重新设计跳跃连接 8-9 、将残差结构引人U-Net10、增加注意力模块 1-12 以及重新设计U-Net型网络 13-14。改进的方法在一定程度上改善心脏分割性能，却忽略卷积运算固有局限性对性能的影响。堆叠卷积、残差密集结构先后被用于扩大感受野以打破卷积固有局限，但造成较大的计算成本，进而导致计算效率低下和网络优化困难 15-16 。有研究使用扩张卷积来扩大感受野,然而,单一的扩张率可能只对一些大目标有效果，锯齿状结构的扩张率仍会导致计算成本增加 10,17 ；另外，扩张卷积仍无法从全局角度捕捉上下文信息。这些方法能在一定范围内扩大感受野以提取全局信息，改善分割性能，但仍无法完全跳出卷积的固有局限。Transformer结构能建模全局上下文信息，并且不受局部运算约束，在自然语言处理任务上有着出色的表现。Dosovitskiy等 18 提出ViT（Vi s i o nTransformer），成功地将Transformer引人计算机视觉领域，在下游任务中表现出优于卷积神经网络(Convolutional Neural Network,CNN)方法的性能。随后,Zheng等 19 根据基础ViT结构,实现将语义分割任务转化为序列形式的预测任务；但由于输出特征图的分辨率普遍较低且单一，模型丢失了大量局部信息。在心脏分割任务中，局部特征和全局特征同样重要，局部信息中物体的几何信息更充裕，而全局信息中物体的空间位置信息丰富。最近的研究倾向于结合CNN和Transformer,以充分发挥它们的优势,提高心脏分割性能。有研究在保持U-Net结构大致不变的情况下引人Transformer，造成较大的计算成本，进而影响图像处理速度 2 0-2 3。Swin-UNet使用基于窗口的自注意力机制完全替换U-Net中的卷积模块，降低原本自注意力模块机制的复杂度，以改善陈沐萱，等，融合改进Transformer和卷积通道注意力模块的U-Net用于双心室分割Enhancement Module,FEM)。1心脏分割算法本研究构建一个融合改进Transformer和注意力模块的U-Net结构用于MRI双心室分割。整体网络结构如图1所示，主要包含i-Trans模块、FAM、C C A模块以及FEM。该网络基于编解码结构,在解码时使用跳跃连接来增强底层特征。i-Trans模块仅用于较小分辨率的高层特征图，以降低计算成本，而底层仍然使用卷积运算。卷积部分使用FAM关注局部信息，其中包含更多高分辨率细节，同时向模型引人一些结构先验，这有助于处理较小尺寸的医学图像数据集。跳跃连接加人CCA模块，以增强底层特征信息中的边缘信息，提高底层特征的利用率。FEM用于级联上采样，以缓解解码器恢复特征时由于信道减半造成的信息丢失对分割性能的影响。对于给定的输人特征图FeRIxWC,网络的编码器部分每次通过卷积或i-Trans模块后，空间分辨率减半，信道数量加倍，最后得到skipleRIWc、skip2 RH2W/22C、s k i p 3 e R 4W 44C。编码器底层特征图被馈送到CCA模块，用于特征融合及增强，随后将其传输到相同分辨率的解码器以指导分割。解码器部分由i-Trans模块和级联的FEM组成。-33-心脏分割性能 2 4。Swin-UNet依赖于完备的预训练权重，导致实时应用受限，另外，滑动窗口存在重叠会造成特征信息穴余。基于上述问题，本研究构建一种融合改进Transformer和注意力模块的U-Net用于双心室分割。针对心室尺寸变化大的问题，提出采用改进的Transformer模块(i-Trans模块）取代原有U-Net中的高层次卷积模块，以平衡提取全局及局部信息，应对心室的变化大的问题。i-Trans模块首先令特征图进行固定窗口注意力计算以增加其位置定位能力，其输出特征图根据窗口大小聚合以减小特征图尺寸，随后进行自注意力计算，提取全局特征；另外，为增加网络深度，调整Transformer中多层感知器(MultilayerPerceptron,MLP)深度。其次，采用特征聚合模块(Feature Aggregation Module,FAM)提取边缘特征信息，增强不同底层特征信息之间的信息交互。卷积通道注意（Convolutional Channel Attention,CCA)模块增强了底层特征信息中的有用信息，为网络提供信息过滤能力，提高了底层特征的利用率。FAM与CCA模块的结合可以有效地解决由边缘模糊造成分割结果不理想的问题。另外，为解决编解码器结构在特征恢复过程中由于信道减半造成的信息丢失问题，在网络中加入特征增强模块(Feature-34中国医学物理学杂志SkiplCCASkip2CCASkip3CCA64128224112第41卷12864256256;5628512256AttenUPi-TransBlockx2512全i-Trans Blockx2AttenUPi-TransBlockx214141024i-Trans Blockx2+i-Trans BlockFEM28512FEM56FEM112FEM22454LNConvMaxPool2241121+Skipl+Skip2模块右上角为通道数，右下角为特征图尺寸i-attention1282580ConvConvMaxPoolMaxPool5628+Skip3(a)FAM图1网络结构模型Figure 1 Network structure modelLN+:Element-wise additionC:Element-wise concatenationMLP(b)i-Trans Blockx21.1U-Net结构全局信息中物体的空间位置信息丰富，而局部信息中物体的几何信息更充裕，因此将局部信息与全局信息进行融合能提高分割准确性。本研究结合i-Trans模块与U-Net,设计一种新的骨干网络，能有效提取全局信息及局部信息以应对心室尺寸变化大造成的分割性能不理想。鉴于之前诸多方法已经证明卷积结构提取底层特征信息的能力，因此本研究采用i-Trans模块替换U-Net的高层卷积部分，实现底层卷积模块提取底层纹理特征信息以及i-Trans模块提取高级语义信息传统Transformer模块包含两个主要部分，即自注意力模块和MLP。自注意力模块用来提取全局信息，首先对输入图像进行线性映射后得到query(q)、key(k)、v a lu e(v),其次根据q和k计算权重系数,最后根据权重系数对v进行加权求和。自注意力模块计算如下：Attention(q,k,v)=softmax(其中，kT表示k的转置，d,表示k的维度。当特征图尺寸较大时，传统的自注意力模块计算成本大。另外，单独的自注意力模块对特征图整体提取特征信息缺乏位置定位；而基于滑动窗口的自注意力模块存在窗口重叠，造成特征信息穴余。本研究基于传统Transformer模块设计i-Trans模块，其中i-Attention模块是i-Trans模块的核心（图2）。i-Attention模块融合固定窗自注意力模块以提供位置定位同时避免滑动窗口造成的特征穴余，按照固定窗口尺寸（win_size=4)对特征图进行聚合以减小特征图尺寸，随后进行全局自注意力计算。窗自注意力模块能为模型增加位置定位能力，有助于提取丰富有用信息。此外，i-Attention模块利用窗口融合方式，在一定程度上减小自注意力模块的计算复杂度，进而缩短推理时间。传统的多头自注意力模块复杂度 2 5 和i-Attention模块的复杂度见式(2)、（3)：Q(MSA)=4hwC2+2(hw)C(2)hwhwakQ(i-Attention)=4C(hw+-(1)其中，h、w 为特征图尺寸，C表示通道数，M表示窗口大小。自注意力模块的计算通常是巨大的，会导致)+2C(M?hw+M2(3)M4Input Feature imageSoftmaMean-Linear-SSofimaxSoftmax,MLPK+Out图2 i-Attention模块Figure2i-Attention module第1期模型推理速度缓慢,而i-Attention模块能在一定程度上降低计算复杂度，缓解计算压力。例如，针对尺寸为1414以及通道数为512 的特征图而言,i-Attention模块的复杂度比传统的自注意力模块复杂度下降10%。本研究的MLP与传统Transformer不同，使用了4层全连接层，实现非线性和深度叠加，使得模型能保持传统深度网络的优势。由于上述优势，与传统自注意力模块相比，i-Attention模块使模型在功能和计算性能方面更加友好，更有利于实际应用。整个网络结构为编解码对称结构，编码过程中使用卷积模块实现下采样，并使用注意力上采样模块（AttenUp模块)实现在解码过程中其对应的上采样。AttenUp模块能有效增加特征交互能力（图3)。将跳跃连接得到的Skip线性映射得到Query,将上一级i-Trans模块结果经过线性映射得到Key、Va l u e,并且进一步使用自注意力计算过程，以此实现上采样。Query(12,14,14,512)Linear(12,7,7,1024)FEMLinearValue(12,77,512)图3AttenUp模块Figure3AttenUpmodule1.2底层特征处理针对心脏MRI图像边缘模糊导致的分割性能不理想问题，本研究使用FAM和CCA模块对包含大量边缘信息的编码器底层特征图进行有效利用。FAM能提取边缘特征信息，同时实现不同底层特征信息之间的信息交互；CCA模块增强底层特征信息中的纹理信息，为跳跃连接提供信息过滤能力，以更好地指导编码器恢复分辨率。1.2.1FAM在卷积神经网络中,底层卷积提取的物体的几何信息中包含大量的轮廓边缘信息，对分割任务来说至关重要，充分利用底层纹理特征能有效解决边缘模糊造成的分割不理想问题。本研究的编码器底层卷积部分利用FAM有效融合不同大小的底层特征图，减小卷积层的参数误差，保留大量的边缘信息。另外，与传统卷积模块相比，FAM可以通过最大池化来弥补由于不同特征映射而产生的特征偏移。最大池化类似特征选择，选择辨识度更好的特征能为模型增加一定量的非线性映射能力。FAM通过不同池化窗口的池化操作,保留了不同尺寸的特征信息。其中第一层使用的池化窗口大小分别为2、4、8,第二层为2、4,第三层则为2。随后,采用拼陈沐萱，等.融合改进Transformer和卷积通道注意力模块的U-Net用于双心室分割(12,14,14,512)Key(12,77,512)-35-接操作对相同分辨率的特征图进行融合，以保存不同深度特征信息，进一步通过跳跃连接辅助分割。为提取更丰富的底层纹理信息，编码器底层特征提取部分加人FAM，通过对特征图进行不同尺度的池化以便进行特征融合。在特征融合过程中，FAM能加强不同层次的特征交互，以更好地保留并提取纹理信息。1.2.2CCA传统的跳跃连接结构将编码器提取的特征直接连接到解码器对应的同分辨率特征层，而由于缺乏多级信息交互以及特征筛选能力，因此在面对器官大小及形状多变的问题时，其性能有限。鉴于通道和空间注意力机制在特征提取上的良好表现，本研究在跳跃连接部分使用CCA模块，利用不同尺寸的卷积核进行多尺度特征融合，随后，使用注意力模块对特征进行通道维度的特征增强，让网络更关注有用的特征信息。如图4所示，CCA模块输人一个特征图F,该特征图来自底层编码器，包含丰富的纹理信息。为使解码器能充分利用有用的纹理信息进行特征恢复，(12,1414,77)CCA模块通过对输人特征图进行不同尺寸的卷积以Softmax融合多尺度空间信息，随后进行通道注意力计算实(12,14,14,512)现特征增强。首先，对输人特征图F,分别进行3x3和55的卷积以获得多尺度特征信息。卷积操作之后利用填充操作调整输出尺寸，使输出与输入尺寸一致，随后将卷积结果与输入进行像素级加法操作。其结果初步融合了多尺度底层纹理信息，如式(4)所示：CxHxX-3x3.Conv5x5.ConVFuFCxHxXGlobal poolingC11FC,C/rx11ReLUTC/rx1x1FCCx1x1SigmoidCACx1x1图4卷积通道注意力模块Figure 4 Convolutional channel attention module-36-Fu=F,+Ff,+Ft,s其中，F,表示编码器第i层特征图，Fi.3、Fi s 分别表示输入特征进行33、55卷积的结果，F表示特征进行像素级加法的结果。其次，对F进行通道注意力计算。先利用全局平均池化对输人沿着通道维度进行压缩，紧接着利用两个具有缩减比率r的全连接（FullyConnected,FC)层来限制模型复杂性并改进泛化，并且第一个FC层后跟随ReLU激活函数。FC层输出即为CA,，经过Sigmoid函数后分别与卷积结果和输入相乘,将得到的3个结果进行加法操作：Fo=CA,F,+CA,Ff,+CA,Fts中国医学物理学杂志(4)通过对融合的不同尺度底层特征图进行通道注意力增强,CCA为编码器提供更有辨别能力的特征信息，有利于提高心室分割的性能。1.3 FEM编解码结构网络试图在编码阶段提取尽可能多的特征信息，同时在解码阶段保留尽可能多的提取特征，并将它们恢复到输入图像的分辨率。然而，传统的编解码器结构在解码阶段由于信道数减半而导致特征丢失，进而影响心室分割结果。参考CBAM结构设计 2 6 ,并结合心室分割实际需求，本研究使用FEM以减少信道减半造成的特征损失，如图5(5)第41卷所示。1XHxXCxHxXC/211*2W*2-Mean1x11xCMax1x1xC-Sinmoid-FC/Relu/FC-l-GlobalpoolingDoubleConv2HxX-Conv1x1xXLxHxX-SinmoidCxHxXDoubleConv图5特征增强模块Figure5Feature enhancementmoduleFEM能在保证空间信息的基础上，减小通道减半造成信息丢失对分割性能的影响。FEM先对特征图的空间位置信息进行增强，以减少通道减半对空间信息的影响；进行通道信息增强后输人到卷积模块中进行通道减半。首先，输入特征图通过使用平均池化和最大池化操作来聚合特征图的空间信息，随后将融合特征图进行卷积，得到空间注意力图,其尺寸为（1,H,W)。对空间注意力图使用Sigmoid函数得到空间增强后的输出特征图。空间注意力增强过程见式(6：F,=Sigmoid(Conv(Mean(F)+Max(F)xF(6)其中，F表示输入特征图，F，表示空间注意力增强后的输出特征图。其次，对F，使用两个并行操作。一方面直接进行上采样；另一方面，进行通道维度增强，强调有用特征以减少通道减半造成的特征损失对分割性能的影响。在通道维度增强过程中,F,先进行全局平均池化，再通过两层全连接层得到通道注意力图，其尺寸为(C,1,1)。对通道注意力图使用激活函数得到通道增强后的输出特征图。最后，对F。进行卷积实现上采样。其中通道注意力增强过程见式(7)：F。=Si g mo i d(FC(G l o b a l _ Po o l i n g(F,)F,(7)其中，F。表示空间注意力增强后的输出特征图。FEM的输出即两个并行操作结果相加：F。=D o u b l e Co n v(F,)+D o u b l e Co n v(F.)其中,F。为FEM模块的输出,DoubleConv为串联两层33卷积操作。FEM利用空间注意力关注空间位置信息，同时，使用通道注意力强调高级语义信息。FEM基于空间和通道维度对特征细化后的结果进行上采样，能在保持开销较小的同时实现分割性能改进。1.4损失函数损失函数由Dice相似系数损失和交叉损失两部分组成，其中,Dice损失是为了增强医学图像中细小结构的分割能力，而交叉熵损失函数能针对每个像素点进行损失计算。总的损失函数表达式为：L=0.5 Lce+0.5 LDice交叉熵损失函数相对于传统的均方差损失而言，能避免Sigmoid导数造成的参数更新缓慢问题。)(8)(9)第1期另外，交叉熵损失函数逐像素地计算预测值与真值的距离，更适合像素级分类的语义分割问题。交又熵损失函数定义为：La-ZL.=-Z2y.log(p.)其中,M表示类别数;yi.表示符号函数,如果i的类别数为c,取1,否则取0;pic表示观测样本i属于类别c的概率。Dice相似系数损失能缓解样本中不平衡造成的负面影响。使用Dice相似系数损失训练时，模型更关注前景区域而忽略背景，有导致损失饱和的可能。因此Dice相似系数损失单独使用不能取得理想性能，常常与其他损失函数结合使用,本研究结合Dice相似系数损失与交叉损失函数。Dice相似系数损失函数定义为：2|XnYILice=1-X|+/Y|其中,X为真值，Y为预测值。2实验及分析所有实验都在 NVIDIA GeForce RTX 2080TiGPU上的Pytorch环境下运行。对模型均使用Adam优化器进行优化，其中学习率设置为le-4,batch_size为6,epoch为10 0。实验结果分析包括对损失函数以及模型相关参数的分析、本文网络与其他网络结构进行性能对比测试以及不同结构下的网络性能比较。2.1数据集及评价指标ACDC2017数据集采用两台不同磁强（1.5T和3.0T)的MRI扫描仪进行采集 2 7 。其中，一系列短轴切片覆盖心脏，从左心室基部到心尖，切片厚度为58mm,片间间隙为5 10 mm。短轴平面内空间分辨率为0.8 3 1.7 5mm/像素。该测试集包含10 0 例患者的心脏MRI公共数据集，包括3个标签，分别为右心室、心肌、左心室。实验中，将7 0 例患者（130 4张图像）用于训练，10 例（18 2 张图像）用于测试，其余2 0例（40 4张图像）用于验证。输入图像分辨率裁剪为224224。网络在训练过程中进行数据增强，包括随机翻转、随机旋转以及图像的比例缩放等操作,增强后的训练数据量为52 16 张。为准确地评估分割的准确性,本研究使用Dice相似系数(Dice Similariy Coefficient,DSC)28和豪斯多夫距离（Hausdorff Distance,HD)201作为主要评价指标，定义如下：HD=max(h(X,Y),h(Y,X)陈沐萱，等，融合改进Transformer和卷积通道注意力模块的U-Net用于双心室分割MC=-37-21XnYDSC=X+X其中,X为真值，Y为预测值。计算HD时，首先将点集合X中的每个点与集合(10)Y中离该点最近的点之间的距离排列,然后取该距离的最大值作为HD的值。HD对分割边界敏感,因此主要用于图像分割任务。HD越小，分割效果越好。为排除一些离群点造成的不合理距离，保持整体数值稳定性，本研究使用HD95值（从小到大排名前95%的距离)进行性能评估。DSCe0,1是医学图像分割中常用来评价地面真相与分割结果相似性的评价矩阵。DSC值越高，图像分割效果越好。2.2消融实验为评估本文方法并验证其在不同设置下的性能,设置一系列的消融实验,包括：CCA模块的数量(11)及位置、i-Trans模块数量、i-Trans结构有效性以及各个模块对于整体框架的必要性。2.2.1不同位置及数量的跳跃连接跳跃连接部分加人CCA模块,试图以特征增强的方式为模型添加特征筛选能力，进一步削弱医学图像中器官形状及大小多变对分割带来的影响。为测试不同位置的跳跃连接对模型的影响，在1/2、1/4、1/8 分辨率处依次添加CCA模块，进一步组合这3个位置的CCA,探索CCA的最优设置。表1展示了不同位置以及不同组合下的分割结果。结果表明分割结果与CCA模块的设置密切相关,改变其设置均呈现不同的变化。作为分割任务,DSC是衡量结果好坏的主要参考指标,在1/2、1/4、1/8 分辨率处同时添加CCA模块时，分割性能表现最佳。底层特征图中包含大量的边缘信息，然而边缘信息所占比重较小，为增大边缘信息比重，模型加入CCA模块能有效增加有用的边缘信息的比重，进一步帮助还原心室边界，从而取得良好的分割结果。表1不同位置加入CCA模块的实验结果Table 1 Experimental results of adding CCAmodules atdifferent locations序号位置1SkiplSkip2Skip32Skip1,2Skip1,3Skip2,33Skip1,2,3(12)(13)DSC/%HD95/mm91.381.2491.181.4491.481.2491.691.2391.531.2391.501.2891.821.22-_38-2.2.2i-Trans模块的数量i-Trans模块被用来替代U-Net高级卷积部分。为设置合理的i-Trans模块数量，本研究进行对应的消融实验，如表2 所示。结果表明两层i-Trans模块取得最佳性能,因此本实验中均使用两层i-Trans模块。表2 i-Trans模块不同数量实验结果Table2Experimental results with differentquantities of i-Trans modules数量DSC/%191.03291.82391.80476.382.2.3i-Trans模块的不同结构i-Trans模块由3部分组成，即基于窗的自注意力模块、自注意力模块以及MLP。对3个模块进行消融实验评估其性能，如表3所示。结果发现本研究的i-Trans模块取得了最佳的心脏分割性能。相比于传统的MLP,包含4个全连接层的MLP能取得更好的分割性能。全连接层能加深i-Trans模块的网络深度，进一步增加网络学习能力，但是全连接层的数量直接导致计算成本的增大，因此必须探索合理结构以达到最佳性能。针对i-Trans模块各个模块实验后发现，完整的i-Trans模块能取得最佳性能，证明了该模块的有效性。表3i-Trans模块的不同结构实验结果（%）Table 3 Experimental results with different structures ofi-Trans modules(%)方法W+S+DMW+MS+MW+S+MW表示基于窗的自注意力模块，S代表自注意力模块，M代表本研究提出的包括4个全连接层的MLP模块，DM代表传统的包括两个全连接层的MLP模块2.2.4各个模块对于整体框架的作用础，依次加人i-Trans模块、FAM、C C A 模块以及FEM,评估各个模块的必要性，如表4所示。随着各个模块的依次加入，分割结果有所改善，完整的方法取得最佳的平均DSC及HD结果,证明了各个模块对于改善分割性能的有效性。中国医学物理学杂志模块ViT Encoder20i-Transi-Trans+FAMi-Trans+FAM+CCAAllHD95/mm2.121.221.253.21DSC90.8791.0991.4891.82月以U-Net为基第41卷表4各个模块对整体网络的有效性实验Table 4 Effectiveness experiments of eachmodule on the whole network2.5491.332.1191.581.3591.711.2891.821.222.3实验结果分析2.3.1不同损失函数的对比分析本文模型的训练效果与损失函数的设置有关，因此为获得最合适的损失函数以及最好的训练效果，本研究针对交叉熵损失函数、Dice相似系数损失函数和组合损失函数进行对比实验。图6 第1行展示了在3种不同损失函数下的模型训练效果，采用组合损失函数可以达到最优的训练结果。其原因在于心室面积相对于MRI图像面积，占比较小，而使用单一的损失函数进行优化时，心室部分对应的梯度变化很容易受到其他背景区域梯度的影响，从而导致网络训练困难。组合损失函数综合了两种损失函数的特点，在网络反向传播过程中能对难以学习的样本进行稳定且有针对性的优化，从而缓解正负样本不平衡的问题，提高训练性能。图6 第2 行展示了3种损失函数情况下取得的验证数据集的平均Dice分数与迭代次数变化关系，进一步证明组合损失函数能取得更好的训练效果。在组合损失函数训练的情况下，验证数据集的平均Dice分数随着送代次数增加而增大；而交叉熵损失函数以及Dice相似系数损失函数训练下，验证集的平均Dice分数趋于稳定。2.3.2不同参数设置的对比分析为了寻找最佳参数设置，对不同窗口大小的窗自注意力模块进行分析，比较每秒10 亿次的浮点运算数（Giga Floating-pointOperations Per Second,GFLOPs)DSC以及HD值,其结果如表5所示。当窗口大小为4时，模型取得相对较小的参数量,同时HD值最小。相对于窗口为5时的结果,窗口为4时的模型参数量下降了0.0 9 GFLOPs，且HD95值下降了0.0 9 mm，同时DSC相差不大。参照实验环境，在保证计算量和分割性能的基础上，本研究选择大小为4的窗口进行实验。2.3.3底层特征处理结果分析为验证FAM以及CCA模块对底层特征信息加强的效果，本研究对底层特征图进行可视化对比，如图7 所示。第1行为未DSC/%HD95/mm89.38第1期0.050.040.030.020.01020送代次数L0.90.80.70.60.50.40陈沐萱，等.融合改进Transformer和卷积通道注意力模块的U-Net用于双心室分割L擅0.0 1550.0100.00540602040送代次数39LCELpic0.050.0200.04K0.030.020.018010050.8080.75-0.700.656080100Figure 6 Changes in loss value and validation dataset Dice score over epochs020选代次数LCE0.900.85020图6 损失值和验证集Dice分数与选代次数变化4040送代次数606080100801000.50.4002040送代次数0.90.80.70.6602040选代次数801006080100表5不同窗口大小结果对比Table 5 Comparison of the results at different window sizes窗口大小GFLOPs2103.683103.804103.755103.846104.06DSC/%91.8991.8791.8291.9191.51HD95/mm1.401.241.221.262.12112,112使用底层特征处理的特征图，第2 行则为本文方法提图7 底层特征处理前（上行）后（下行）特征图对比取的特征图。经过特征处理后,纹理特征更丰富清Figure 7 Comparison of feature maps before and after晰，证明特征处理能明显加强边缘特征信息。对于较深层次的特征图（第3列），特征处理能有效加强边缘特征对比度,增强特征可辨识度。因此,FAM和CCA模块结合可有效地增强边缘细节特征，以缓解由边缘模糊造成的分割结果不理想。2.3.4分割性能对比及分析图像上的分割性能，将本文方法与现有的方法（R50UNetl6、R 50 A t t U Ne t l 、Vi T-CU P 18 R 50 Vi T 18 TransUNet20、Sw i n-U n e t 2 4)进行对比。其对比结果如表6 所示(对比方法的数据来源于MT-UNet29)。本文方法在验证集上取得的平均DSC为91.82%，相比之前提出的一系列医学图像分割网络性能均有较大的提升。与原始的R50 UNet相比,平均DSC提高4.2 2%,其中右心室、心肌、左心室的DSC56,56underlying feature processing表6 不同分割方