基于TransUNet的甲状腺结节超声图像精准分割方法.pdf

第 卷 第 期 年 月北京生物医学工程 作者单位：解放军总医院京北医疗区（北京）通信作者：李翔。：基于 的甲状腺结节超声图像精准分割方法陈格 李翔摘 要 目的 甲状腺结节的精准分割在医学影像处理中具有重要意义，然而，超声图像中的结节通常具有尺寸多变和边缘模糊的特点，这为其准确分割带来了挑战。为有效应对这一挑战，本文提出了一种结合卷积神经网络（，）和 的分割网络，命名为，旨在实现对甲状腺结节超声图像的精准分割。方法 首先，使用卷积神经网络对超声图像进行编码，以生成特征图。接着，将特征图转换为序列向量，并利用 的编码机制来捕捉上下文信息。此外，为保持局部细节特征的完整性，研究组还引入了跳跃连接，将其用于在解码器中对编码特征进行上采样，这对于处理边缘模糊等问题尤为重要。结果 通过在甲状腺结节图像分割任务中进行广泛的实验，验证 的有效性。具体而言，骰子系数（，）为 ，交并比（，）为 ，分数（）为 ，准确率高达 ，（）为 。这些性能指标反映了该方法在处理尺寸多变和边缘模糊等挑战方面的出色表现。结论 本文提出的 为甲状腺结节超声图像分割任务带来了显著的性能提升。相较于传统的 方法，不仅更好地处理了尺寸多变和边缘模糊等挑战，而且在分割性能上具有更为出色的表现，为医学图像处理领域的进一步研究和临床应用提供了有力支持。关键词 甲状腺结节；超声图像分割；深度学习；全局自注意力；跳跃连接：中图分类号 文献标志码 文章编号（）本文著录格式 陈格，李翔 基于 的甲状腺结节超声图像精准分割方法北京生物医学工程，（）：，（）：，：（：）【】，（），（），（），（），【】；引言近年来，甲状腺结节发病率上升，特别是甲状腺癌率增加。超声诊断因其无创、低成本、便捷和实时性等优势，在临床中备受青睐。超声诊断医生根据结节的形态、边缘和回声等特征判断良性或恶性。年，美国放射学会发布了甲状腺结节分类诊断的白皮书，引入 标准，提高了恶性肿瘤的识别准确率，减少了穿刺检查，被广泛采用。然而，图像多样性和质量差异导致医生主观诊断一致性差，增加误诊和漏诊风险。超声图像分割已经成为甲状腺结节诊断的重要辅助工具，为超声医生在区分结节的良性与恶性方面提供了显著的临床帮助。当前，甲状腺结节的分割方法通常可以归纳为三大类：基于轮廓模型、基于区域特征以及基于深度学习的方法。基于轮廓模型试图通过分析结节的外轮廓来实现分割，但难以处理复杂的不规则边缘，特别是对于恶性结节。另一方面，基于区域特征使用局部区域的强度统计特征生成边缘轮廓，但在处理不均匀的灰度分布图像时受限。与传统的图像分割方法相比，基于深度学习的方法在准确性方面取得了显著进展，成为医学图像分割领域的主流。算法采用编码解码结构，通过逐级下采样和上采样逐渐还原原始输入图像的空间和边缘信息，从而实现像素级分割。虽然 在某些情况下表现出色，但在处理复杂边缘和低对比度的甲状腺结节图像时效果不佳。为了改进这一问题，文献引入了改进的 网络，包括残差结构和注意力机制，但仍然面临多结节情况下的分割挑战。此外，文献在 中引入了注意力机制，借助深层卷积权重图来引导浅层卷积，以优化分割效果，限制激活区域于待分割区域，并减小背景激活值。传统的 由于卷积操作的限制，存在难以展示建模远程依赖关系的问题。为应对这一挑战，专为序列到序列预测而设计的 架构引入了全局自我关注机制，成为一种替代选择。在文献中，将语义分割视为序列到序列的预测任务，采用了纯 架构（不包括卷积和分辨率降低），将图像编码为一系列补丁（），并在每个 层中依赖全局上下文建模。这与简单的解码器相结合，构建了一个强大的分割模型，将图像分割推向新的高度。然而，将输入视为一维序列，注重全局上下文建模，这导致低分辨率特征缺乏详细的位置信息，直接上采样难以有效恢复完整的分辨率，从而导致分割结果不够精细。本文的创新在于设计了 方法，它充分利用了卷积神经网络和 的融合优势，以实现高效而精准的甲状腺结节超声图像分割。这种方法结合了 的编码器解码器结构和 的自注意力机制，从而能够在增强局部细节信息的同时，高效地捕捉全局上下文信息。通过实验验证，本方法在分割精度方面表现出色，相北京生物医学工程 第 卷对于其他分割方法具有更高的准确性，为甲状腺结节诊断提供了有力支持。这一创新为甲状腺结节诊断领域带来了重要的进展，有望提高临床实践中的分割准确性，减少误诊和漏诊风险，为患者的诊断和治疗提供更可靠的支持。方法本文设计的 分割框架，旨在充分发挥卷积神经网络和 的联合优势，以实现对甲状腺结节超声图像的高精度分割。具体而言，该方 法 将 编 码 器 提 取 的 图 像 块，作 为 的输入序列，并运用多头自注意力机制来编码和提取全局上下文信息。同时，为了保留图像的局部细节特征，本方法采用了 框架的解码器，对编码的特征进行上采样，并通过跳跃连接将不同分辨率的 特征图级联融合。图像嵌入序列化将 编码的甲状腺结节超声二维图像的特征图重塑为序列。首先，将原始图像切片成 的 个图像块，其中每个图像块的尺寸大小为，是图像块的个数）。所有图像块经 编码嵌入为张量形式，进而将其重塑为序列作为 的输入序列，其中 为序列长度。位置嵌入采用线性映射操作（）将每个序列化的图像块进一步映射到一个潜在 维嵌入空间。在此基础上，为保留图像块的位置信息，对图像块空间信息进行编码，并将其添加到 编码的图像块 维嵌入空间中，具体如下：；（）式中：（）是补丁嵌入的投影；嵌入的位置。编码器为了捕捉超声图像的上下文信息和图像块之间的长距离交互关系，研究组采用了由多层（）和（）块组成的 编码器进行编码。在该过程图 分割框架示意图 中，第 层的输出表示为式（）：（）（）（）式中：，表示 编码器第 层的响应特征。总体结构 混合编码器 如上所述研究组设计的 不纯粹使用 作为编码器（参见 节），而是采用了 混合模型。首先，用作特征提取器，生成特征图作为输入。然后，从 特征图中提取的 图像块被用作图像块位置嵌入的输入，而不是从原始图像中提取。此组合设计旨在发挥 和 的互补优势。级联上采样器（，）通过多个上采样步骤，对隐藏特征进行解码以输出最终的分割掩码。将序列隐藏特征 重构为 的形状，然后通过级联多个上采样块来实现，以达到从 到 的全分辨率。每个块由一个 倍上采样算子、一个 卷积层和一个 层依次组成。和混合编码器形成了 形架构，通过跳跃连接在不同分辨率级别上实施特征聚合。的详细架构和中间跳跃连接可在图 中找到。第 期 陈格，等：基于 的甲状腺结节超声图像精准分割方法图 分割框架示意图 实验结果与分析 实验数据本文采用了来自日常工作中的甲状腺结节超声图像作为实验数据，总计包括 个样本。这些图像都经过了经验丰富的超声医师进行结节标注，并统一裁剪为 像素的大小。研究组将数据按照 的比例随机分为训练集、验证集和测试集。在训练集上，研究组进行了数据增强操作，包括旋转和尺度变换，以扩充数据量，最终形成了包含 个样本的训练集。网络参数设置对于 的编码器，研究组采用了 个 层，并在 上对所有主干进行了预训练。输入分辨率和图像块大小 分别设置为 和。研究组通过连续级联 个 上采样块来实现全分辨率恢复。研究组使用随机梯度下降（，）优化器对模型进行训练，学习率为 ，动量为 ，动量衰减为。所有的训练和测试都在一台配置有 的 计算机上进行。在之后，以逐个切片的方式推断所有 体积，并且将预测的 切片堆叠在一起以重建用于评估的预测。评价指标实验从分割结果准确性方面，将本文所提方法同、进行比较，选择代表性的评价指标包括 分数（）、准确率（）、交并比（，）、骰子系数（，）、（）以及（通过计算预测值和真值的前 之间的最大距离来确定分割边界的合格度量）。（）（）（）（）（）（）（）（）（）（）（）（）（）（）式中：、和 分别表示真阳性、假阳性、真阴性和假阴性。分数是精确率和召回率的调和平均。分割结果与分析研究组对提出的方法在测试集上进行了全面评估，性能对比结果见图，定量对比结果总结在表 中。通过与现有代表性的分割方法进行比较，研究组成功证明了本文方法的卓越性能。在训练过程中，和 采用了 预训练的北京生物医学工程 第 卷图 代表性方法的分割结果定性对比 作为骨干网络，而 和 则使用了 预训练的 作为骨干网络。在测试集上，在 指标方面相较于提高了约，相较于 提高了约，并且相对于其他测试方法也有了一定程度的提升。通过充分发挥卷积和 的综合优势，研究组的方法在各项指标上均超越了主流方法，甚至胜过了配备强大 预训练骨干网络的先进方法。表 代表性方法的定量对比 方法 本文 研究组与基线方法的分割结果进行了对比（图），性能方面表现出色，主要有以下原因。首先，研究组采用了 编码器，能够捕获图像中的长距离依赖关系，从而有助于处理遥远区域的信息，并全面利用周围上下文信息以提高分割边界的准确性。其次，研究组引入了 结构，允许低级和高级特征之间的多尺度融合，有助于捕获不同尺度的关键特征，从而增强了图像分割的精度。此外，的多头注意力机制使网络能够聚焦在关键区域，忽略与分割任务无关的区域，进一步提高了网络的效率和性能。因此，研究组的方法在测试集上展现出了卓越的性能。结束语本研究组提出了一种 的新甲状腺结节超声图像分割方法，充分利用了卷积神经网络和，通过 编码器捕获超声图像上下文信息和不同尺度特征，同时引入 结构进行多尺度特征融合，解决了尺寸和边缘模糊等问题，实现了更精确的分割。实验结果表明，研究组的方法相对于传统和其他方法在各项指标上表现更出色，有望提高临床分割准确性，减少误诊和漏诊，为患者提供更可靠的支持。未来，研究组计划使用大规模数据集，通过预训练和微调来提高模型的泛化性能。参考文献 ，：，（）：，（）：，（），（）第 期 陈格，等：基于 的甲状腺结节超声图像精准分割方法 ，（）：宋丹琳，郑静，倪志鹏，等 超声图像人工智能辅助对甲状腺结节定性诊断价值的研究 中国临床医学影像杂志，（）：，（）：邵蒙恩，严加勇，崔崤峣，等 基于 模型的甲状腺结节超声图像分割算法 生物医学工程研究，（）：，（）：，（）：，：，：，：，：，：王波，李梦翔，刘侠 基于改进 网络的甲状腺结节超声图像分割方法 电子与信息学报，（）：，（）：，（），：，：，：，（），：，：，（），：，：，：，：，（），：，：，：，（）：，：，：，：李佳松，曹洪帅，舒丽霞，等 基于 的血管内超声图像分割北京生物医学工程，（）：，（）：，（收稿，修回）北京生物医学工程 第 卷