基于AS-OCT图像的核性白内障多级排序分类算法研究.pdf

临床研究基于 图像的核性白内障多级排序分类算法研究方利鑫 周愉 顾愿愿 蒋紫园 牟磊 王阳 刘芳 赵一天浙江工业大学机械工程学院杭州 同济大学附属第十人民医院眼科上海 宁波慈溪生物医学工程研究所慈溪 中国科学院宁波材料技术与工程研究所宁波中国科学院空天信息创新研究院北京 通信作者:顾愿愿:.刘芳:.【摘要】目的 探讨基于眼前节光学相干断层扫描()图像的核性白内障智能辅助分级算法对白内障分级的诊断价值 方法 采用诊断试验研究方法收集 年 月至 年 月间同济大学附属第十人民医院电子病例系统中核性白内障患者 例 眼的 图像资料所有资料均符合临床阅片清晰度要求 其中男 例 眼女 例 眼年龄 岁平均年龄()岁 由 名经验丰富的临床医生基于晶状体混浊分类系统(分级系统)对所收集的 图像进行 级人工标注 构建一种基于多级排序的全局局部白内障分级算法该算法包含 个基本的二元分类全局局部网络()每个 聚合白内障核区域、原始图像等多尺度信息进行核性白内障分级 基于消融实验和模型对比试验采用准确率、精确率、灵敏度、指标及 系数对模型性能进行评价且所有结果均通过五折交叉验证 结果 模型在核性白内障数据集上的准确率、精确率、灵敏度、分别为 、消融实验结果表明 结合局部特征和全局特征进行多级排序分类模型在准确率、精确率、灵敏度、指标上均有提升 与、模型比较本研究模型各性能指标均有提升 结论基于深度学习的 核性白内障图像多级排序分类算法对白内障分级具有较高的准确度有望辅助提高眼科医生对核性白内障的诊断精度以及效率【关键词】深度学习 眼前节光学相干断层扫描 核性白内障分级 多尺度融合 多级排序算法基金项目:浙江省博士后科研项目()上海市科委项目()上海市级医院临床研究培育项目()上海市第十人民医院临床研究中心资助项目():./.:.:.().().().中华实验眼科杂志 年 月第 卷第 期 .().().:()()()():./.白内障是全球首位致盲眼病预计至 年我国白内障患者将超过 亿白内障早期分级诊断对有效防止白内障病情恶化意义重大 由于国内医疗资源分布不均、患者比例不均衡以及医生经验水平不同等因素临床亟需一种快速、精准且客观的分级诊断方法以提高白内障分级诊断的患者覆盖率同时提升分级诊断准确率 白内障临床表现为晶状体混浊根据混浊的位置不同可大致分为核性白内障、皮质性白内障和后囊性白内障其中核性白内障最常见 临床上通常应用晶状体混浊分类系统()来评估核性白内障的严重程度(级)核心区域的混浊对视力影响很大且核性白内障发展的不同阶段需要采取的干预措施不同 因此核性白内障的精准分级可辅助医生决策最佳治疗时机和方案也有助于监测患者晶状体核性区域混浊程度发展情况 目前临床上主要通过比对测试者的裂隙灯显微镜图像和标准裂隙灯显微镜图像来确定核性白内障的级别 该方法不仅受临床医师经验水平的影响导致分级结果存在较大的主观差异性而且相邻级别的核性白内障图像高度相似进一步增加了分级的难度 近年来为了提高核性白内障分级诊断的准确率和筛查效率基于裂隙灯显微镜图像和眼部超声图像的核性白内障分级诊断的人工智能方法研究取得了长足进步眼前节光学相干断层扫描()因其高灵敏度、高分辨率和快速响应等优势广泛应用于眼科疾病的临床检测诊断 相较于裂隙灯显微镜、眼底照相机等设备 等 相关设备使眼科医生可以观察到整个眼部的纵向截面既能精确测量人工晶状体度数又能测量晶状体的密度为进一步将晶状体密度客观分级提供支撑 近年来基于 图像的核性白内障分级诊断系统的研究已陆续开展 这类系统主要利用 图像通过线性拟合技术分析晶状体核性白内障区域像素密度均值间的相关性辅助临床辨别核性白内障的严重程度 章晓庆等通过提取 图像中晶状体的核性区域采用皮尔逊相关技术方法分析核性区域像素特征与白内障严重程度之间的关联利用随机森林构建分级模型成功实现了核性白内障的三分类且该模型的分类准确率达到了约 随后章晓庆等进一步设计了一种基于深度学习的多区域融合注意力网络该网络能够融合不同核性区域的特征从而显著提高核性白内障的分类准确率该模型的三分类准确率高达 然而目前基于 图像的核性白内障分级方法仍无法完全对标 分级系统 因此本研究提出一种基于多级排序的全局局部白内障分级算法通过多级排序二分类算法扩大类间差异再通过对核性白内障 图像进行全局与局部特征提取进一步扩大毗邻核性白内障级别间核性区域差异以期实现核性白内障的精准分级诊断 资料与方法.一般资料中华实验眼科杂志 年 月第 卷第 期 .U n e t 分割网络A S?O C T 图像晶状体核性区域编码器解码器图 晶状体核性区域自动分割通过 分割网络从 图像中分割出晶状体核性区域:眼前节光学相干断层扫描 :采用诊断试验研究方法收集 年 月至 年 月于同济大学附属第十人民医院眼科中心确诊的核性白内障患者 例 眼的电子病例系统中患眼 (德国 公司)拍摄的 图像其中男 例 眼女 例 眼年龄 岁平均()岁 所有图像均符合临床阅片清晰度要求 纳入标准:()诊断为核性白内障()无眼部疾病瞳孔活动正常()眼压为()()眼轴长度为 排除标准:()有角膜病变、葡萄膜炎、玻璃体相关疾病、视网膜脱离硅油注入术等原因引起的屈光间质混浊者()皮质性、后囊下性混浊度 级者 本研究遵循赫尔辛基宣言研究方案经同济大学附属第十人民医院伦理委员会批准(批准文号:).方法.数据集的标注与预处理 由于现阶段临床缺少 图像的核性白内障分类临床诊断标准因此本研究中核性白内障分级数据集中的核性白内障级别通过裂隙灯显微镜图像映射得到 每例患者同时拍摄了 图像和裂隙灯显微镜图像由同济大学附属第十人民医院的 名经验丰富的医师根据 将每例患者的核性白内障严重程度划分为 级并四舍五入将其映射为 级从而得到 图像的分级标准 剔除眼睑遮挡晶状体的不完整图像最终获得 图像 张鉴于核性白内障仅与晶状体核性区域有关利用分割算法得到晶状体核性区域作为模型的输入(图).分级模型构建本研究分级模型算法总体框架主要由聚合二值排序分类算法与全局局部网络()个部分组成其中聚合二值排序分类算法通过多个二元模型对不同白内障级别之间的序数特性进行提取有效区分毗邻核性白内障级别 通过融合核性白内障 图像的全局特征与局部特征捕获相邻级别之间更具有区分性的特征(图).聚合二值排序分类算法传统的核性白内障分级忽略了核性白内障级别的顺序信息将核性白内障的分级过度简化成线性模型 因此为了在核性白内障分级模型中融合核性白内障不同级别的毗邻关系本算法模型采用思想来针对不同核性白内障级别的图像进行独立特征提取使得学习的特征能更有效区分毗邻核性白内障级别整个算法详细步骤如下:首先将训练集和测试集中的 级核性白内障作为一类把 级当作另一个类构成一个二元分类数据集 并将该数据集上训练的第 个二分类网络记为 然后把等级为 级的核性白内障图像从训练集和测试集中删去并将训练集和测试集中的 级核性白内障归为一类其余 到 级作为另一类以此构成第 个二元分类数据集并将该数据集训练的第 个二分类网络记为 依次类推最终将 级白内障与 级白内障各自分成单独的一类并训练第 个分类网络记为(图)在得到 个二分类网络后首先将测试集数据送入到 中得到第 级与其他级的分级结果 然后将得到的第 级预测结果从测试集中删去得到新的测试集并把新的数据集送入到 网络中得到第 级与其他级的预测结果 以此类推在最后的 中得到第 级与第 级的分级结果 最后把各个级别的分级结果进行聚合得到最后的分级结果.为了能够更好地提取 图像的全局和局部特征本研究提出了 对于图 中的特征提取网络本研究采用 作为骨干网络来学习不同核性白内障之间的区别性特征 首先 将分割出的晶状体核性区域输入到特征提取网络中获得高级语义特征再送入到全局平均池化层最后得到特征向量 之后 将 原始图像送入到另一特征提取器 中得到全局的特征 最后 将 与分别输入到 层得到输出结果后相加取均值通过全连接层后可得到二分类结果计算公式为()()/)其中代表中华实验眼科杂志 年 月第 卷第 期 .1 6 级2 6 级5 6 级G L?N e tL e v e l?1二值分类1 级2 6 级L e v e l?2L e v e l?5二值分类二值分类2 级5 级6 级3 6 级G L?N e tG L?N e t图 分级模型算法总体框架 该算法由多个二分类子网络构成通过二分类网络依次提取、级最后聚合得到核性白内障分级结果:全局局部网络 :A S?O C T 图像晶状体核性区域全局特征提取网络局部特征提取网络二分类S i g m o i dE l e m e n t?w i s e s u m图 网络框架图 该网络主要由晶状体核性区域和原始 图像的特征提取网络组成:眼前节光学相干断层扫描 :二分类结果 代表全连接层代表局部特征向量代表全局特征向量.损失函数设计 在网络训练过程中采用带有标签平滑的交叉熵损失 对网络进行优化公式为()()()其中()表示 的标准交叉熵损失 是一个很小的正数 是正确的类 是类的数量.模型训练参数设置与图像预处理本研究所提出 的 方 法 是 在 的 平台上使用单个 ()实现的 训练模型批量大小设置为 使用随机梯度下降优化器作为优化器并采用默认参数设置初始学习率为 使用余弦退火算法对学习率进行衰减共进行 次数据训练为了扩充数据集对训练集中的图像进行随机的上下翻转、左右翻转、旋转等增强操作最后将图像统一缩放至 像素大小并输入到模型中进行训练.模型评价.消融实验 本研究提出的算法包括聚合二值排序分类法、局部特征提取、全 局 特 征 提 取 以 作为白内障分级基础框架采用消融实验逐步测试各模块的有效性.模型对比实验 以 模 型 为 评 价 基线 与 经 典 分 类 算 法、排序思想起源算法 及领域内最新的核 性 白 内 障 分 级 算 法进 行 性 能 对比并通过混淆矩阵详细展示本研究中的算法与 算法各级分类性能差异.评价指标 根据消融实验与模型对比实验通过准确率、灵敏度、精确率、指标、系数等评价指标对比本文方法与其他模型性能以上指标均应用 库统计计算.五折交叉验证 采用五折交叉验证来评估模中华实验眼科杂志 年 月第 卷第 期 .A 16 级5 级4 级3 级2 级1 级A 2A 3A 4B 1B 2B 3B 4C 1D 1E 1F 1C 2C 3C 4D 2D 3D 4E 2E 3E 4F 2F 3F 4核性白内障图像核性白内障图像激活图核性区域图像核性区域图像激活图图 模型预测级别激活图 型性能:()将数据集随机平分成 个小的子集()随机挑选其中的 个子集作为测试集将其他 个子集作为训练集然后训练 个核性白内障分级模型()重复第二步 次每个子集都有 次机会作为测试集其余作为训练集()取 组测试结果的平均值作为模型精度的估计并作为五折交叉验证下模型的分类性能 结果.数据集的划分及标注临床医生根据核性白内障的严重程度将白内障划分为 个级别并随机等分为 个小的子集其分级及性别构成信息见表.模型评价.各模块消融实验将核性白内障的序列信息协同全局特征或局部特征融入到 白内障分级中时模型分类的准确率分别提升 与 系数分别提升约 与 相较于仅使用局部或全局特征的分类网络本研究模型的准确率分别提高了 和 (表)通道加权类激活映射能够通过加载模型参数对特征图权重进行梯度的加权平均从而生成热图因此能够将网络诊断时所依赖的病灶区域可视化 图 展示了本研究的方法对 种不同级别的核性白内障 图像及其核性区域 ()可视化结果 可以看出热图所定位的病灶区域集中于核性区域且聚焦于白内障核性区域上的不透明区域.各模型对比实验与传统的 深 度 卷 积 网 络、相比本研究模型在准确率、精确率、灵敏度和 上 均 获 得 了 提 升 相 较 于本研究模型的灵敏度和精确率分别提升了约 和 相较于其他 个模型本研究模型在 系数评价指标上获得了最佳结果(表)表 数据集子集划分情况 数据集分类眼数性别构成()不同白内障分级眼数()男性女性 级 级 级 级 级 级子集 子集 子集 子集 子集 表 各模块消融实验结果 方法准确率精确率灵敏度 系数 本研究算法 注:排序算法:全局特征:局部特征:中华实验眼科杂志 年 月第 卷第 期 .真实标签预测结果预测结果预测结果1234561234560.80.60.40.20.0真实标签123456真实标签1234560.80.60.40.20.00.80.60.40.20.0123456123456ABC图 各模型的混淆矩阵 每一行数据表示该类别数据实例在预测值中所占的比例:模型:模型:本研究模型 :表 各模型对比实验结果 模型准确率精确率灵敏度 系数 本研究模型 混淆矩阵结果(图)显示本研究模型在每个级别的预测上均获得了提升其中第 级的预测准确率相较于 和 均提升了 第 级的预测准确率分别提升了 和 本研究模型对第 级的预测准确率较低分别有 和 概率被分为 级和 级但相较于另外 种对比方法本研究模型仍达到了最优分类效果 讨论本研究提出的模型将白内障分级转化为排序问题在临床数据集上实现了 级白内障的精准分级本研究模型在核性白内障分级任务上的准确率达到了 精确率、灵敏度、系数和 系数分别为 、和 分级结果显示本研究提出的分级方法对于核性白内障的分级具有较高的准确性和客观性证明其在临床场景中的实用性且在现阶段毗邻级别难以分级的核性白内障分级中也取得较好表现 此外本研究通过引入热力图对模型的预测关注度进行了可视化结果显示本模型对于晶状体核性区域以及核性区域中的不透明区域给予了相对更大的关注度这也很好地模拟了临床医师实际诊断核性白内障的方式 通过热力图可以帮助临床医生快速定位核性白内障的病灶可作为临床医师进行临床诊断和随访观察评估治疗效果的有效工具 此外本研究提出的分级算法在核性白内障分级上的速度为 张/与人工分级相比本研究的自动化分级方法在速度上优势明显这也展示了该算法应用于大规模白内障筛查的可能本研究提出的方法存在一定的局限性 第一深度学习的性能与训练数据的数量、标注的准确性以及数据的分布均密切相关 本研究中一些特定级别核性白内障的图像较少其中 级的数量相对于 级少了近 由于深度学习的性能与训练集的数量密切相关因此 级的准确率较 级的准确率也有所下降第二本研究提出的方法现阶段仅能对核性白内障进行分级未来需向实现多类型的白内障分级进行改进第三本研究仅使用 拍摄的 图像作为训练数据未纳入其他 设备拍摄的图像模型的泛化性较差 而在真实的医疗场景中每家医院使用的 设备可能不同因此后续研究需要使用多种型号 设备采集图像从而提升模型在不同模态图像下的分级性能利益冲突 所有作者均声明不存在利益冲突作者贡献声明 方利鑫、顾愿愿:试验设计、研究实施、数据分析与文章撰写周愉、蒋紫园:数据纳入及排除标 准 制 定、数 据 收 集 与 分 析牟磊:算法技术支持与数据校准分析王阳:本研究涉及的算法与计算资源支持刘芳:参与试验设计、研究指导及论文定稿赵一天:参与数据分析与论文修改参考文献 .:.()().:./.王婷汪瑞昕林浩添.基于人工智能的白内障新诊疗模式.中华实验眼科杂志().:./.().:./.:.().:./.().:./.中华实验眼科杂志 年 月第 卷第 期 .().:./.().:././.:/././.:.().:./.章晓庆方建生肖尊杰等.基于眼前节相干光断层扫描成像的核性白内障分类算法.计算机科学().().章晓庆肖尊杰东田理沙等.多区域融合注意力网络模型下的核性白内障分类.中国图象图形学报().().:/:.:./.:./.:./.:/././.:./.(收稿日期:修回日期:)(本文编辑:张宇 骆世平)读者作者编者眼科常用英文缩略语名词解释:年龄相关性黄斑变性():方差分析():泪膜破裂时间():糖尿病视网膜病变():实验性自身免疫性葡萄膜炎():表皮生长因子():酶联免疫吸附测定():视网膜电图():荧光素眼底血管造影():成纤维细胞生长因子():绿色荧光蛋白():干扰素():白细胞介素():人工晶状体():光间受体视黄类物质结合蛋白():准分子激光角膜原位磨镶术():吲哚菁绿血管造影():晶状体上皮细胞():微小():基质金属蛋白酶():哺 乳 动 物 类 雷 帕 霉 素 靶 蛋 白():四甲基偶氮唑盐():核转录因子():光相干断层扫描():优势比():原发性闭角型青光眼():聚合酶链式反应():视网膜节细胞():原发性开角型青光眼():视网膜母细胞瘤():视网膜色素上皮():视网膜新生血管():视网膜色素变性():基础泪液分泌试验():短发夹():小干扰():平滑肌肌动蛋白():甲状腺相关眼病():转化生长因子():肿瘤坏死因子():超声生物显微镜():血管内皮生长因子():视觉诱发电位()(本刊编辑部)中华实验眼科杂志 年 月第 卷第 期 .