深度迁移学习在青光眼自动分类中的应用_赵琳娜.pdf

哈尔滨工程大学学报 Journal of Harbin Engineering University ISSN 1006-7043,CN 23-1390/U 哈尔滨工程大学学报网络首发论文哈尔滨工程大学学报网络首发论文 题目：深度迁移学习在青光眼自动分类中的应用 作者：赵琳娜，徐曦，李建强，赵青 收稿日期：2021-12-14 网络首发日期：2022-12-29 引用格式：赵琳娜，徐曦，李建强，赵青深度迁移学习在青光眼自动分类中的应用J/OL哈尔滨工程大学学报.https:/ 网络首发网络首发：在编辑部工作流程中，稿件从录用到出版要经历录用定稿、排版定稿、整期汇编定稿等阶段。录用定稿指内容已经确定，且通过同行评议、主编终审同意刊用的稿件。排版定稿指录用定稿按照期刊特定版式（包括网络呈现版式）排版后的稿件，可暂不确定出版年、卷、期和页码。整期汇编定稿指出版年、卷、期、页码均已确定的印刷或数字出版的整期汇编稿件。录用定稿网络首发稿件内容必须符合出版管理条例和期刊出版管理规定的有关规定；学术研究成果具有创新性、科学性和先进性，符合编辑部对刊文的录用要求，不存在学术不端行为及其他侵权行为；稿件内容应基本符合国家有关书刊编辑、出版的技术标准，正确使用和统一规范语言文字、符号、数字、外文字母、法定计量单位及地图标注等。为确保录用定稿网络首发的严肃性，录用定稿一经发布，不得修改论文题目、作者、机构名称和学术内容，只可基于编辑规范进行少量文字的修改。出版确认出版确认：纸质期刊编辑部通过与中国学术期刊（光盘版）电子杂志社有限公司签约，在中国学术期刊（网络版）出版传播平台上创办与纸质期刊内容一致的网络版，以单篇或整期出版形式，在印刷出版之前刊发论文的录用定稿、排版定稿、整期汇编定稿。因为中国学术期刊（网络版）是国家新闻出版广电总局批准的网络连续型出版物（ISSN 2096-4188，CN 11-6037/Z），所以签约期刊的网络版上网络首发论文视为正式出版。哈 尔 滨 工 程 大 学 学 报 Journal of Harbin Engineering University 深度迁移学习在青光眼自动分类中的应用 赵琳娜,徐曦,李建强,赵青（北京工业大学 信息学部，北京 100124）摘 要：针对现有青光眼诊断方法严重依赖于训练数据集规模的问题，本文提出一种深度迁移网络来进行青光眼自动诊断，能够在有限监督下捕获更好地描述与青光眼相关的判别特征。采用卷积神经网络从相似的眼科疾病数据集中迁移一般特征，并采用最大平均差异方法来缩小特征差距并细化特异特征。在真实场景数据集上进行实验，验证所提方法的有效性。与其他模型相比，本文方法取得 91.15%的准确率，90.13%的灵敏度，92.25%的特异性，其方法对青光眼的早期筛查具有一定的医学价值和意义。关键词：迁移学习；眼病诊断；青光眼；自动分类；卷积神经网络；深度学习；分类；疾病筛查 Doi：10.11990/jheu.202112033 中图分类号：TP311 文献标识码：A Exploiting deep transfer learning for automatic glaucoma detection ZHAO Linna，XU Xi，LI Jianqiang，ZHAO Qing(Beijing University of Technology,Beijing,China)Abstract：Recently,deep learning models based on fundus images have been proposed for automatic glaucoma detection.The performance of these methods heavily depends on the size of the training set.However,it is expensive and time-consuming to obtain a large number of labeled images in the medical field.In this paper,we propose a deep transfer learning network to automatically diagnose glaucoma,which can better capture the discriminant glaucoma-related features under limited supervision.Specifically,we first adopt convolutional neural network(CNN)to transfer the general features from similar ophthalmic datasets,and then use the maximum mean discrepancy(MMD)loss to reduce the feature gap and refine the specific features.To verify the effectiveness of the proposed method,we conducted experiments on real-world datasets.Compared with other models,our method has achieved better classification performance(Accuracy of 91.15%,sensitivity of 90.13%,specificity of 92.25%and AUC of 0.93),which has great significance for the early glaucoma screening.Keywords：transfer learning;ophthalmic disease diagnosis;glaucoma;automatic classification;CNN;deep learning;classification;disease screening 1 引言 青光眼是一种复杂的眼科疾病，因其高发病率而备受医学界的关注1。到 2010 年为止全世界有4470 万人患有青光眼，并预计这一数字在十年内将增加约 50%2，青光眼的致盲率接近 1/3，仅次于白内障3。为了防止疾病进一步恶化（导致视力模糊或失明），对青光眼患者进行早期筛查是十分必要的。目前，在临床上普遍使用彩色眼底数字图像进行青光眼筛查4：眼科医生通常观察眼底图像，并根据某些症状来判断受试者是否患有青光眼5-6，包括大杯盘比、视神经损伤和高眼压。然而，这种基于专业的眼科知识的人工筛查方法对于患者而言，成本昂贵又费时。计算机视觉技术为自动青光眼诊断任务提供了有效的解决方案。目前青光眼自动分类方法主要分为 2 类：基于机器学习的传统方法和深度学习方法。对于基于机器学习的传统方法，大多数工作首先基于医生先验知识来预定义特定眼底特征，再构建分收稿日期收稿日期：2021-12-14.基金项目基金项目：国家自然科学基金项目（81970844）.作者简介作者简介：赵琳娜,女,博士研究生；李建强,男,教授,博士生导师 通信作者：通信作者：李建强,E-mail:bjut_.网络首发时间：2022-12-29 11:26:43网络首发地址：https:/ 哈 尔 滨 工 程 大 学 学 报 Journal of Harbin Engineering University 类器进行训练。例如，Yadav 等人7提取视盘区域的纹理特征并训练神经网络来识别青光眼。Nayak等人8则是通过人工设计的几何特征，包括杯盘比和视盘中心距离比等，来训练青光眼分类器。为了进一步改善分类的性能，Mookiah 等人9利用基于高阶谱和纹理的特征组合来构建支持向量机模型。除了以上工作，研究者发现其他特征，如基于能量的特征10、局部结构模式特征11、快速傅立叶变换特征12-13和基于熵的特征14也可用于青光眼的自动分类。由于这些特征符合病理信息，它们在一定程度上能够完成对青光眼的自动诊断。然而，由于疾病的复杂性，这些预先定义的特征对于青光眼的识别可能并不全面。近年来，深度学习在医学领域得到了迅速发展，尤其是基于卷积神经网络（convolutional neural network,CNN）15-18。CNN 通过自身深层次的网络结构能够自主地从高维数据中挖掘全面的隐藏特征，有助于解决传统青光眼分类方法的缺点。陈翔宇等人18首先对原始眼底图像进行预处理，然后训练用于青光眼检测的 CNN 结构。为了获得更好的结果，Shibata 等人19进一步提出了一种基于 ResNet的更深层次的 CNN 模型。在文献20中，付华柱等人提出了一种结合全局图像和局部光盘区域的多流CNN。尽管 CNN 方法在图像任务上能够获得优异的分类结果，仍需要大量的标记数据来训练整个模型，在医学领域受到限制。深度迁移学习方法通过共享不同数据集之间的可迁移特征，将 CNN 的优势推广到有限监督的应用场景下21。虽然目前深度迁移学习在图像任务中的应用非常广泛，但大多数仍然是关于自然图像领域；而在医疗领域中，尤其是对于眼底图像分析的相关工作仍然十分匮乏。本文提出一种深度迁移网络来提取相似的眼科疾病之间的眼底特征，从而在有限监督的情况下达到最佳的青光眼分类性能。将 CNN 网络分为可迁移层和不可迁移层：在可迁移层中，从相似的眼底图像中共享通用特征从而保证通用特征之间的一致性；在不可迁移层中，利用最大平均差异（maximum mean discrepancy,MMD）减小特异特征之间的差异。使得通用特征平稳过渡到特异特征，最终保证在有限的监督下更优越地提取青光眼眼底特征。2 深度迁移网络 在本节中，我们将描述本文提出方法的详细步骤，包括实验数据及相关的预处理方法，眼底特征提取过程以及模型的损失函数。本文提出的基于深度迁移网络的青光眼自动分类模型整体结构如图 1 所示。图 1 青光眼自动分类任务的深度迁移学习方法整体结构 Fig.1 The model architecture of a deep transfer network for the glaucoma detection task 2.1 数据及预处理 本文共采用 2 类数据集，分别为用于目标网络训练的青光眼数据集和用于源网络训练的白内障数据集。2 类数据集都来自北京同仁医院，标签均由专业的眼科医生手动标记给出，患者的年龄分布为2080 岁，其中男性患者占比 47%，女性患者占比53%。第 1 类青光眼数据集共包含 1 093 张眼底图像，其中非青光眼样例有 587 张，青光眼样例有 506张，图像分辨率统一为 2196*1740 像素。图 2 为非青光眼和青光眼患者的眼底图像。白内障数据集共包括 18 923 张视网膜眼底图像，其中非白内障样例有 8 923 张、白内障样例有 10 000 张。图 3 为不同程度白内障患者的示例：如图 3(a)所示，非白内障 赵琳娜，等：深度迁移学习在青光眼自动分类中的应用 -3-患者的眼底图像可以清晰地观察到视盘和大小血管的分布；与之相比，白内障患者的眼底图像中（在图 3(b)）则是包含的血管细节十分稀疏。图 2 非青光眼和青光眼的眼底图像 Fig.3 Fundus images of non-glaucoma and glaucoma 图 3 非白内障和白内障的眼底图像 Fig.3 Fundus images of non-cataract and cataract 由于数据自身和深度学习网络对输入有一定的要求，本文对上述数据集进行了一系列的预处理操作，主要包括：1）隐私信息处理。本文通过矩形切割和颜色覆盖删除图像上的患者个人信息，以保护其个人隐私；2）图像尺寸统一调整。由于不同数据集之间图像分辨率并不一致，本文统一将所有图像分辨率大小调整为 227*227；3）图像归一化。本文基于 Z-score 的方法对图像进行归一化：式中：x 与代表所有图像像素点的均值和方差。2.2 眼底特征提取 CNN 作为一种深度学习网络的代表，已经被广泛应用于图像识别领域。类似于生物神经网络结构，CNN 拥有权重共享机制可以有效降低模型的复杂度。当网络输入为多维数据，CNN 的这种优势就更加明显。和传统识别方法相比，CNN 可以直接把图像作为输入并且能够自动提取高维特征，从而避免复杂的特征提取和数据重构过程。本文采用经典的CNN 模型作为迁移学习的基础网络。基础 CNN 共拥有 8 层网络结构，包含 5 个卷积层（每一卷积层后面连接一个池化层）、2 个全连接层和一个输出层。卷积层中，前一层计算所得到的特征图与该层的卷积核进行卷积计算。假定，和分别表示输入特征图和输出特征图，则卷积变换为：式中表示卷积核集合（表示第 i 个卷积核）。为了简化，此处省略了偏差项，生成的特征图经过 RELU 激活函数后，进入池化层。在池化层中，每个特征图都在相邻区域上进行下采样。经历总共 5 层的卷积和池化操作之后，特征图将输入全连接层进行最终的分类。在 CNN 网络中，浅层到深层的特征提取是逐步语义信息递增的过程：浅层提取的是通用特征，例如类似于 gabor 特征、局部边缘特征等等；深层提取特异特征，这类特征往往是包含复杂语义信息；而中间层则是二者之间的过渡。根据以上 CNN 网络结构的特性，在对 CNN 进行网络迁移时，可以对通用特征进行迁移，从而保证相关特征可以顺利过渡到特异特征。然而，从相关性较低的数据集进行迁移时，往往会降低被迁移（目标）网络的模型性能。因此，与以往工作选择非医疗数据集作为迁移对象不同，设计从相似眼底疾病数据集中迁移浅层的通用特征，从而保证迁移前后通用特征的一致性。然后设计了新的损失函数，通过青光眼数据集重新训练网络来保证通用特征到特异特征之间的平稳过渡。在二者的共同作用下，设计的网络能够在有限监督信息的情况下，更加准确地挖掘到青光眼的眼底特征。2.3 损失函数 在目标数据集数量有限的情况下，使用相似眼科疾病数据进行特征迁移，可以保证通用特征的一致性。然而，当浅层通用特征过渡到到深层特异特征时，如何平稳过渡是需要考虑的问题。本文使用MMD 损失来减小特异特征之间的差异从而保证特异特征的可迁移性：（3）式中：和表示源数据集和目标数据集；和分别表示其样本数；表示到 RKHS 的映射。最终，确定了最终的损失函数 Loss 如下：式中：为预测标签与其对应的真实标签之间的交叉熵损失函数，是非负正则化参数。本文作为损失函数去预训练分类模型。当网络进行特征迁移时，采用新的函数式(4)来更新模型参数。3 青光眼自动分类实验和结果 训练网络时，采用分步学习的策略设置参数。-4-哈 尔 滨 工 程 大 学 学 报 初始阶段将所有层的学习率设置为 10-2。将所有模型均训练100个轮次。批大小设置为16，动量为0.9。采取 L2 权重衰减进行正则化，将惩罚乘数分别设置为 10-4，丢失率设置为 0.5。对于青光眼检测任务，采用 4 种常用的评估标准来评估分类模型的性能，包括准确性、敏感性、特异性和曲线下面积（area under curve,AUC）。其中准确性（Acc）、敏感性（SE）和特异性（SP）指标定义如下：式中：TP、TN、FP 和 FN 分别是真阳性青光眼、真阴性青光眼、假阳性青光眼和假阴性青光眼的数量。为了充分评估本文提出方法的性能，选择传统方法和深度学习 2 种基准模型进行验证实验。对于传统方法的模型，分别基于高阶谱（higher order spectra,HOS）、离散小波变换（discrete wavelet transform,DWT）和 尺 度 不 变 特 征 变 换（scale-invariant feature transform,SIFT）特征训练了 3 个逻辑回归（logistic regression,LR）模型。对于经典的深度学习模型，我们选择了 3 个代表网络，分别是 AlexNet22、GooLeNet-2223、ResNet-5024和 VGGt25。表 1 展示了本文方法与其他传统青光眼自动分类模型之间识别性能的对比。分析实验的对比结果后发现传统分类策略驱动的青光眼识别模型在青光眼检测任务中表现的性能较差。基于高阶谱特征的逻辑回归模型仅获得了 75.23%的准确率。而基于离散小波变换的逻辑回归模型虽然较其他传统方案来说取得了最高的准确率 78.90%，但是在敏感性上仅达到了 70.85%，这样的性能无法令人满意。推断这可能是由于此类启发式方法中预定义的特征并不是青光眼和非青光眼病例的典型区分特征，无法支撑模型做出准确的分类决策。而对于本文提出的方法，其获得了 91.15%的准确率、90.13%的敏感性，92.25%的特异性和 0.93 的 AUC 值（见图 4 所示），在各项指标上都明显优于其他的传统分类模型。表 1 与传统青光眼分类模型之间的性能比较 Table 1 Comparison of performance with traditional glaucoma classification models 模型 准确率/%敏感性/%特异性/%HOS-LR 75.23 77.91 73.23 DWT-LR 78.90 70.85 81.09 SIFT-LR 77.21 73.46 80.21 本文 91.15 90.13 92.25 表 2 展示了本文方法和其他基于深度学习的青光眼自动分类模型的识别结果。结合表 1 和图 4 分析可得，深度学习模型在青光眼检测任务中表现的各项性能要显著优于传统方法。他们所获得的准确率、敏感性以及特异性均在 85%以上，而传统方法基本仅维持在 75%82%。图 4 中柱状图高度的差异也印证了这一发现，深度学习方法的 AUC 值也要普遍高于传统分类模型。这阐释了深度学习方法在特征表达方面较启发式方法的明显进步。对比本文方法与其他深度学习模型在青光眼检测任务上的性能，本文方法在各项指标上都取得了最佳的性能。其中，在准确率方面比性能第 2 的 GooLeNet-22 分类模型高出 2.94%，敏感性比性能第 2 的 ResNet-50分类模型高出 0.59%，特异性方面比性能第 2 的AlexNet 分类模型高出 1.82%，证明了本文方法在青光眼检测任务上的优势。图 4 不同模型的 AUC 值比较 Fig.4 Comparison of AUC among different models 表 2 与深度学习分类模型之间的性能比较 Table 2 Comparison of performance with deep learning-based classification models 模型 准确率/%敏感性/%特异性/%AlexNet 86.23 85.21 90.43 GooLeNet-22 88.21 87.43 89.52 ResNet-50 87.74 89.54 85.39 VGG 86.35 85.72 88.46 Ours 91.15 90.13 92.25 为了进一步证明该方法的有效性，对比了原始AlexNet（无迁移学习）和提出的方法的损失和精度波动。如图 5 和图 6 所示，本文提出的方法收敛速度更快（约 20 轮 vs 80 轮），更稳定，同时测试集的准确度也更好，平均提高了 4.92%到 91.15%。所有的实验结果都表明了该方法的优越性。赵琳娜，等：深度迁移学习在青光眼自动分类中的应用 -5-图 5 AlexNet 网络的成本和精度波动 Fig.5 Cost and accuracy fluctuations of AlexNet 图 6 本文提出方法的成本和精度波动 Fig.6 Cost and accuracy fluctuations of our proposed method 4 结论 1）本文的基于迁移学习的青光眼自动检测网络方法，能够共享和集成各类眼底疾病的知识。从不同但相似的眼科数据集中迁移一般特征，并基于最大均值差异提取特定特征。2）通过整合迁移学习机制和深层 CNN 结构，本文提出的方法可以实现从一般到特定的稳定特征提取，从而节省大量的训练成本。3）在有限的训练样本下，本文提出的模型优于传统的计算机视觉算法和经典的深度学习模型。参考文献:1 郑嘉琦,俞莹.中医治疗青光眼的研究进展J.中国中医眼科杂质,2021,31(05):362-364+377.ZHENG Jiaqi,YU ying.Research progress in the treatment of glaucoma with traditional Chinese medicine J.China Journal of Chinese Ophthalmology,2021,31(05):362-364+377.2 陈思源,刘姗姗,范晓军,彭俊杰,王一涵,杨蕾,王继兵.原发 性 青 光 眼 患 者 虹 膜 变 化 的 研 究 J.医 学 信息,2021,34(08):53-56.CHEN Siyuan,LIU Shanshan,FAN Xiaojun,PENG Junjie,WANG Yihan,YANG Lei,WANG Jibing.Study on iris changes in patients with primary glaucoma J.Medical Information,2021,34(08):53-56.3 梁远波,江俊宏,王宁利.中国青光眼流行病学调查研究回顾J.中华眼科杂志,2019,55(8):7.LIANG Yuanbo,JIANG Junhong,WANG Ningli.Review of epidemiological investigation of glaucoma in China J.Chinese Journal of Ophthalmology,2019,55(8):7 4 梁苹,赵本富,王斌.人工智能眼底图像识别与人工识别的一致性分析J.中国研究型医院,2020,7(06):50-53.LIANG Ping,ZHAO Benfu,Wang Bin.The Consistency Analysis of Artificial Intelligence Fundus Image Recognition and Artificial Recognition J.Journal of Chinese Research Hospitals,2020,7(06):50-53.5 尹雅晴,郭莹.基于深度学习的青光眼诊断方法研究J.微处理机,2021,42(06):41-46.YIN Yaqing,GUO Ying.Research on glaucoma diagnosis method based on depth learning J.Microprocessors,2021,42(06):41-46.6 吕鹏飞,王莹,王思齐,于晓升,吴成东.视觉显著性的眼底图 像 视 盘 检 测 J.中 国 图 象 图 形 学报,2021,26(09):2293-2304.LYU Pengfei,WANG Ying,WANG Siqi,YU Xiaosheng,WU Chengdong.Optic disc detection of eyeground image based on visual saliency J.Journal of Image and Graphics,2021,26(09):2293-2304.7 YADAV D,SARATHI M P,DUTTA M K.Classification of glaucoma based on texture features using neural networksC/2014 Seventh International Conference on Contemporary Computing(IC3).IEEE,2014:109-112.8 NAYAK J,ACHARYA R,BHAT P S,et al.Automated diagnosis of glaucoma using digital fundus imagesJ.Journal of medical systems,2009,33(5):337-346.9 MOOKIAH M R K,ACHARYA U R,LIM C M,et al.Data mining technique for automated diagnosis of glaucoma using higher order spectra and wavelet energy featuresJ.Knowledge-Based Systems,2012,33:73-82.10 许莉莉,梁歌,杨智.糖尿病视网膜病变筛查中的眼底图像质量控制J.北京生物医学工程,2019,38(02):166-170.XU Lili,LIANG Ge,YANG Zhi.Fundus image quality control in diabetes retinopathy screening J.Beijing Biomedical Engineering,2019,38(02):166-170.11 ACHARYA U R,BHAT S,KOH J E W,et al.A novel algorithm to detect glaucoma risk using texton and local configuration pattern features extracted from fundus imagesJ.Computers in biology and medicine,2017,88:72-83.12 BOCK R,MEIER J,NY L L G,et al.Glaucoma risk index:automated glaucoma detection from color fundus imagesJ.Medical image analysis,2010,14(3):471-481.13 崔栋,刘敏敏,张光玉.BP 神经网络在眼底造影图像分割中的应用J.中国医学物理学杂志,2011,28(01):2395-2398.CUI Dong,LIU Minmin,ZHANG Guangyu.Application-6-哈 尔 滨 工 程 大 学 学 报 of BP neural network in fundus angiography image segmentation J.Chinese Journal of Medical Physics,2011,28(01):2395-2398.14 MAHESHWARI S,PACHORI R B,ACHARYA U R.Automated diagnosis of glaucoma using empirical wavelet transform and correntropy features extracted from fundus imagesJ.IEEE journal of biomedical and health informatics,2016,21(3):803-813.15 张悦,庞睿奇,杜一帆,等.基于深度学习辅助诊断青光眼病灶检测算法及应用J.眼科,2020,29(01):9-14.ZHANG Yue,PANG Ruiqi,DU Yifan,et al.Detection algorithm and application of glaucoma lesions based on depth learning assisted diagnosis J.Ophthalmology in China,2020,29(01):9-14.16 杨爱萍,陆翔,赵永旺.人工智能在视网膜疾病中的应用J.国际眼科杂志,2021,21(11):1905-1908.YANG Aiping,LU Xiang,ZHAO Yongwang.Application of Artificial Intelligence in Retinal Diseases J.International Eye Science,2021,21(11):1905-1908.17 郭璠,李伟清,赵鑫,邹北骥.语义特征图引导的青光眼筛查 方 法 J.计 算 机 辅 助 设 计 与 图 形 学 学报,2021,33(03):363-375.GUO Fan,LI Weiqing,ZHAO Xin,ZOU Beiji.A semantic feature map guided glaucoma screening method J.Journal of Computer-Aided Design and Computer Graphics,2021,33(03):363-375.18 CHEN X,XU Y,YAN S,et al.Automatic Feature Learning for Glaucoma Detection Based on Deep LearningC/International Conference on Medical Image Computing and Computer-Assisted Intervention.Springer International Publishing,2015.19 SHIBATA N,TANITO M,MITSUHASHI K,et al.Development of a deep residual learning algorithm to screen for glaucoma from fundus photographyJ.entific Reports,2018,8(1).20 FU H,CHENG J,XU Y,et al.Disc-aware Ensemble Network for Glaucoma Screening from Fundus ImageJ.IEEE Transactions on Medical Imaging,2018,37(11):2493-2501.21 庄福振,罗平,何清,等.迁移学习研究进展J.软件学报,2015,26(01):26-39.ZHUANG Fuzhen,LUO Ping,HE Qing,et al.Research progress of transfer learning J.Journal of Software,2015,26(01):26-39.22 KRIZHEVSKY A,SUTSKEVER I,HINTON G E.Imagenet classification with deep convolutional neural networksJ.Communications of the ACM,2017,60(6):84-90.23 SZEGEDY C,LIU W,JIA Y,et al.Going deeper with convolutionsC/Proceedings of the IEEE conference on computer vision and pattern recognition.2015:1-9.24 HE K,ZHANG X,REN S,et al.Deep residual learning for image recognitionC/Proceedings of the IEEE conference on computer vision and pattern recognition.2016:770-778.25 SIMONYAN K,ZISSERMAN A.Very deep convolutional networks for large-scale image recognitionJ.arXiv preprint arXiv:1409.1556,2014.