一种基于改进U-net网络的视网膜血管分割方法.pdf

-121-CHINA SCIENCE AND TECHNOLOGY INFORMATION May.2024中国科技信息 2024 年第 10 期四星推荐视网膜血管特征的变化是心血管疾病和中风等严重疾病的先兆。因此，对视网膜血管特征的分析可以帮助检测这些变化，并让患者在疾病仍处于早期阶段时采取行动。传统的人工视网膜血管分割方法耗时耗力，且对操作人员技术要求较高。因此，视网膜血管分割的自动化是近年来研究的热点。目前视网膜血管分割的方法有很多，常见的有匹配滤波、形态学处理、深度学习方法等。其中深度学习因其优秀的性能成为主流的方法。随着计算机性能的快速发展以及大量数据集的出现，卷积神经网络 CNN（Convolutional Neural Networks）开始流行并取得了不俗的成绩，其中深度卷积神经网络在医学图像分析的许多语义分割任务中取得了接近放射科医生的性能，U-net（U-shaped-network）在电子显微镜堆栈中的神经元结构分割中实现了最高准确度，CNN 的其他变体在基准语义分割任务上实现了最先进的性能。在所有这些变体中，U-net 是医学图像分析中使用最广泛的结构，主要是因为它在没有足够大的数据集时表现良好。但当数据集很小时，其效果往往不佳，特别是在样本分辨率不高时，视网膜血管树末梢的细小血管往往难以分割。而公开的视网膜血管分割数据集较少且大部分数据集带标签的样本量很小，高分辨率的数据集也较少，属于小样本。针对这一问题，近年来许多研究者基于 U-net 进行了改进。金鹭等将残差块、循环卷积模块和空间通道挤压激励模块引入 U-net。吕佳等加入动态图卷积和边界注意力网络。江中川等结合位置感知循环卷积和多尺度分辨率输入。上述方法虽在一定程度上提升了 U-net 在小样本分割任务中的性能，但都不同程度地依赖于数据增强且提升效果不高。针对U-net网络在小样本数据集上分割效果不佳的问题，我们提出一种改进的 U-net 网络用于视网膜血管分割。该模型在 U-net 的基础上，对其进行了改进，同时引入通道注意力机制和空间注意力机制进一步提升分割效果。我们提出的网络在仅使用20个样本用于训练的情况下仍能取得较好的效果。通过在 DRIVE 数据集上进行实验表明，我们的网络在小样本视网膜图像血管分割任务上的性能优于 U-net 网络。模型改进改进的 U-net 网络模型U-net 网络模型主要由编码器以及解码器两部分组成。本文的模型在 U-net 网络的基础上进行了改进，其框架如图 1 所示。该模型在原本 U-net 的卷积模块中加入了填充操作解决了边缘数据缺失的问题。上采样模块使用双线性插值（Bilinear Interpolation）替换了转置卷积（Transpose Convolution）使上采样操作后输出的通道数与拼接操作输行业曲线开放度创新度生态度互交度持续度可替代度影响力可实现度行业关联度真实度一种基于改进 U-net 网络的视网膜血管分割方法戴佳雄 易胜秋 曾志高 袁鑫攀 朱文球 朱艳辉戴佳雄 易胜秋 曾志高 袁鑫攀 朱文球 朱艳辉湖南工业大学戴佳雄（1995），湖南长沙，硕士研究生，研究方向：医学图像分割。通信作者：易胜秋（1974），湖南株洲，硕士，讲师，研究方向：人工智能。曾志高（1973），湖南株洲，博士，教授，研究生导师，研究方向：计算机视觉与图像处理。基金项目：科技创新 2030“新一代人工智能”重 大 项 目（2018AAA0100400）；湖 南 省 自 然科学基金（2022JJ50051，2021JJ50058，2020JJ6088，2022JJ30231）；湖南省教育厅项目（21A0350，21C0439，22B0559）。本文针对 U-net 网络在小样本数据集上分割效果不佳的问题，提出改进 U-net 网络的解决方案。在视网膜血管分割领域起到提升分割效果的作用。中国科技信息 2024 年第 10 期CHINA SCIENCE AND TECHNOLOGY INFORMATION May.2024-122-四星推荐入的通道数一致。在卷积操作和激活函数之间加入了批归一化 BN（Batch Normalization），提升了网络训练的速度和稳定性。在每次下采样之前加入了注意力机制模块 CBAM（Convolutional Block Attention Module），提升了网络的性能。批归一化批归一化是由 Google 在 2015 年提出的一个深度神经网络训练技术，它不仅能加快模型训练的收敛速度，还在一定程度上缓解了深层网络中特征分布分散的问题，从而使得深层网络模型的训练变得更容易和稳定。如字面意思所示，批归一化就是对每一批数据进行归一化。对于训练中某一批次的数据，无论是输入还是网络中间的某一层输出都进行归一化。在批归一化被提出以前，通常归一化操作是在数据输入层通过计算均值和方差来对输入数据进行归一化。批归一化的出现使我们可以在网络中任意一层进行归一化处理。批归一化主要分为四步：求每一个训练批次数据的均值；求每一个训练批次数据的方差；使用求得的均值和方差对该批次数据做归一化，获得标准正态分布；最后进行尺度变换和偏移。其公式如下：（1）其中 x 表示输入的批处理数据，表示第一步计算所得均值，表示第二步计算所得方差，是为了避免除数为 0所使用的极小正数，是尺度因子，是平移因子。之所以要进行第四步的尺度变换和偏移则是为了让输出不被限制在正态分布下。尺度因子 和平移因子 则是在训练中网络自己学到的。注意力模块如图 2 所示，注意力模块由通道注意力模块（Channel Attention Module）和空间注意力模块（Spatial Attention Module）组成。输入特征先与通过通道注意力模块得到的通道特征相乘得到中间特征，中间特征再与通过空间注意力模块得到的空间特征相乘得到输出特征。通道注意力模块能让模型在特征提取过程中关注通道维度中的重要信息。在深度卷积神经网络中，不同的通道通常包含不同的特征表示。通道注意力模块通过学习权重向量对图 2 注意力模块图 3 通道注意力模块图 4 空间注意力模块图 1 改进的 U-net 网络模型示意图每个通道进行加权，使得模型能够更加关注重要的特征通道。如图 3 所示，首先使用全局平均池化 AvgPool（Average Pooling）和 全 局 最 大 池 化 MaxPool（Max Pooling）来获取每个通道的全局统计信息，并通过由两个全连接层组成的共享参数的多层感知器 Shared MLP（Multilayer Pereptron）学习通道权重，然后将两个处理结果相加，并使用 Sigmoid 函数对每个通道进行缩放，将权重归一化在 0和 1 之间，得到通道特征 Mc。空间注意力模块使模型能够在特征提取过程中关注图像中的特定位置。它学习一个权重矩阵来对不同位置的特征进行加权和求和，使模型能够更加关注图像中的重要区域。如图 4 所示，首先使用最大池化和平均池化来获取每个空间位置的最大值和平均值矩阵。然后将两个矩阵进行拼接，最后通过卷积层 conv layer 和 Sigmoid 函数学习每个空间位置的权重，得到空间特征 Ms。实验实验环境实 验 环 境 如 表 1 所 示，集 成 开 发 工 具 使 用 的 是Pycharm。表 1 实验环境配置项目环境操作系统WindowsCPUCore i7-12700HGPUGeForce RTX3070Ti内存16GBPython 版本1.12.1数据集我们在常用的公开数据集 DRIVE 数据集上进行实验。此数据集包括 40 组图片，每组图片包括一张彩色视网膜图片，一张眼眶掩码图片，两张血管分割标签图片。每组的血管分割标签图分为两类，我们选择第一类作为标签。每张图-123-CHINA SCIENCE AND TECHNOLOGY INFORMATION May.2024中国科技信息 2024 年第 10 期四星推荐的分辨率为 565584。实验时使用 20 组图片进行训练，10 组进行验证，10 组进行测试。网络的训练我们选择了DRIVE数据集第2140组图片用于训练，第 11 20 组图片进行验证，第 1 10 组图片进行测试。使用戴斯相似性系数 Dice（Dice similarity coefficient）构建损失函数（DiceLoss）。训练的轮次（epochs）设为200，初始学习率设为 0.01，批处理大小（batch size）设置为 4。评价指标我 们 使 用 多 个 指 标 来 评 估 改 进 的 U-net 网 络 的性 能，包 括 戴 斯 相 似 性 系 数（DC，Dice similarity coefficient）、杰卡德相似系数（JC，Jaccard similarity coefficient）、准确性（AC，accuracy）、灵敏度（SE，sensitivity）、特异性（SP，specificity）。由于分割的效果主要由对应于血管的前景部分决定，所以 DC、JC、SE将作为主要的评判指标，SE 与 SP 作为辅助评判指标。我们将前景的像素点视为正样本，背景的像素点视为负样本，首先计算出真阳性TP（True Positives）、真阴性TN（True Negatives）、假阳性 FP（False Positives）和假阴性FN（False Negatives），并依此计算上述五个指标。这五个指标计算如下：（2）（3）（4）（5）（6）实验结果与分析图 5 是两组图片分割结果的展示。从图中可看出我们的方法在细小血管上的分割优于传统的 U-net 方法，且整体分割效果更好。定量分析如表 2 所示，从表中可看出改进的 U-net 性能在 DC，JC，SE 这三个指标上均优于 U-net，提升幅度分别为 1.86%、2.57%、7.15%。而 AC 和 SP 这两个指标也仅仅只低了 0.09%以及 0.59%。DC 与 JC 能很好地表示分割结果与标签间的相似性，SE 则能反映血管分割出来的程度。这三个指标可作为判断分割性能的主要指标，改进的模型在这三个指标上都有明显的提升。AC 反映的是血管和背景像素点的分类能力，SE反映的是背景分割的程度，并不能很好地反映分割的效果，且改进的模型在这两个指标上与 U-net 相差无几。综上所述，改进的 U-net 在小样本的视网膜血管分割任务中相较于 U-net 有更好的分割能力。表 2 评价指标对比模型DCJCSEACSP本文方法0.812 70.684 80.819 40.967 20.981 6U-net0.794 10.659 10.747 80.966 30.987 5结语针对 U-net 网络在小样本数据集上分割效果不佳的问题，本文提出了一种改进的U-net网络用于视网膜血管分割。该模型在 U-net 的基础上，加入批归一化，使用双线性插值代替转置卷积，并加入通道注意力模块和空间注意力模块。通过对比实验表明，本文的方法在小样本数据集上比原本的U-net 网络有更好的分割性能。图 5 分割结果对比。从左至右依次为：彩色视网膜图、血管分割标签图，改进的 U-net 的分割结果图，U-net 的分割结果图