基于深度学习的CT-MR图像联合配准分割方法.pdf
《基于深度学习的CT-MR图像联合配准分割方法.pdf》由会员分享,可在线阅读,更多相关《基于深度学习的CT-MR图像联合配准分割方法.pdf(12页珍藏版)》请在咨信网上搜索。
1、第 49卷 第 9期2023年 9月Computer Engineering 计算机工程基于深度学习的 CT-MR图像联合配准分割方法洪犇1,2,钱旭升2,申明磊1,胡冀苏2,耿辰2,戴亚康2,周志勇2(1.南京理工大学 电子工程与光电技术学院,南京 210094;2.中国科学院 苏州生物医学工程技术研究所,江苏 苏州 215163)摘要:医学图像配准和分割是医学图像分析中的两项重要任务,将其相结合可以有效提升两者的精度,但现有的单模态图像联合配准分割框架难以适用于多模态图像。针对以上问题,提出基于模态一致性监督和多尺度邻域描述符的 CT-MR 图像联合配准分割框架,包含一个多模态图像配准网络
2、和两个分割网络。联合配准分割框架利用多模态图像配准产生的形变场在两种模态的分割结果之间建立对应的形变关系,并设计模态一致性监督损失,通过两个分割网络互相监督的方式提升多模态分割的精度。在多模态图像配准网络中,构建多尺度模态独立邻域描述符以增强跨模态信息表征能力,并将该描述符作为结构性损失项加入配准网络,更加准确地约束多模态图像的局部结构对应关系。在 118 例肝脏 CT-MR 多模态图像数据集上的实验结果表明,在仅提供 30%分割标签的情况下,该方法的肝脏配准 Dice相似系数(DSC)达到 94.66(0.84)%,目标配准误差达到 5.191(1.342)mm,CT 和 MR 图像的肝脏分
3、割 DSC达到 94.68(0.82)%和 94.12(1.06)%,优于对比的配准方法和分割方法。关键词:多模态图像;配准;分割;模态一致性监督;多尺度邻域描述符开放科学(资源服务)标志码(OSID):中文引用格式:洪犇,钱旭升,申明磊,等.基于深度学习的 CT-MR 图像联合配准分割方法 J.计算机工程,2023,49(9):234-245.英文引用格式:HONG B,QIAN X S,SHEN M L,et al.Joint registration and segmentation method of CT-MR images based on deep learning J.Comp
4、uter Engineering,2023,49(9):234-245.Joint Registration and Segmentation Method of CT-MR Images Based on Deep LearningHONG Ben1,2,QIAN Xusheng2,SHEN Minglei1,HU Jisu2,GENG Chen2,DAI Yakang2,ZHOU Zhiyong2(1.School of Electronic Engineering and Optoelectronic Technology,Nanjing University of Science an
5、d Technology,Nanjing 210094,China;2.Suzhou Institute of Biomedical Engineering and Technology,Chinese Academy of Science,Suzhou 215163,Jiangsu,China)【Abstract】Medical image registration and segmentation are important tasks in medical image analysis.The accuracy of the tasks can be improved effective
6、ly by their combination.However,the existing joint registration and segmentation framework of single-modal images is difficult to apply to multi-modal images.To address these problems,a Computed Tomography-Magnetic Resonance(CT-MR)image-based joint registration and segmentation framework based on mo
7、dality-consistent supervision and a multi-scale modality-independent neighborhood descriptor is proposed.It consists of a multimodal image registration network and two segmentation networks.The deformation field generated by the multi-modal registration is used to establish the corresponding deforma
8、tion relationship between the segmentation network results of the two modalities.Modality consistency supervision loss is constructed,which improves the accuracy of multi-modal segmentation because the two segmentation networks supervise each other.In the multimodal image registration network,a mult
9、i-scale modality-independent neighborhood descriptor is constructed to enhance the representation ability of cross-modal information.The descriptor is added to the registration network as a structural loss term to constrain the local structure correspondence of multimodal images more accurately.Expe
10、riments were performed on a dataset of 118 CT-MR multimodal liver images.When 30%segmentation labels are provided,the Dice Similarity Coefficient(DSC)of liver 基金项目:中国科学院青年创新促进会项目(2021324);江苏省重点研发计划项目(BE2022049-2,BE2021053,BE2020625,BE2021612);江苏省卫生健康委医学科研项目(M2020068);苏州市医疗卫生科技创新项目(SKY2021031);苏州市科技计
11、划项目(SS202054);丽水市科技计划项目(2020ZDYF09)。作者简介:洪 犇(1997),男,硕士,主研方向为图像处理;钱旭升,硕士;申明磊,副研究员、博士;胡冀苏、耿 辰,博士;戴亚康、周志勇(通信作者),研究员、博士。收稿日期:2022-09-05 修回日期:2022-10-20 Email:图形图像处理文章编号:1000-3428(2023)09-0234-12 文献标志码:A 中图分类号:TP391.41第 49卷 第 9期洪犇,钱旭升,申明磊,等:基于深度学习的 CT-MR图像联合配准分割方法registration of this method reaches 94.6
12、6(0.84)%,and the Target Registration Error(TRE)reaches 5.191(1.342)mm.The DSC of liver segmentation of this method reaches 94.68(0.82)%and 94.12%(1.06)%in CT and MR images.These results are superior to those of the comparable registration and segmentation method.【Key words】multi-modal images;registr
13、ation;segmentation;modality consistency supervision;multi-scale neighborhood descriptorDOI:10.19678/j.issn.1000-3428.00656780概述 人工智能技术已经成功应用到许多医学领域中,如手术计划导航、辅助诊断、图像引导的消融等。作为医学图像分析中最基本的两项任务,图像配准和图像分割对于辅助解决医学领域的各种问题具有重要意义1-2。图像配准的目的是得到两幅图像之间的逐像素转换参数,利用这组转换参数使两幅图像在解剖结构上保持一致3。不同于单模态配准,多模态配准在不同模态图像的灰度和纹理
14、上差异较大4,以往基于灰度的测度方式无法有效匹配多模态图像之间的特征5。基于生成对抗网络(Generative Adversarial Network,GAN)的方法将图像从一种模态转换到另一种模态,从而将多模态配准转换成更为简单的单模态配准6。文献 7 进一步扩展了该工作,同时实现单模态和多模态的配准。生成对抗网络的方法往往难以训练,且不可避免地带来一些人工特征的干扰8。通过构造特征描述符,文献 9 基于邻域描述子(Modality Independence Neighborhood Descriptor,MIND)设计损失函数,以人工构造特征对配准进行监督。然而,无监督学习的方法缺少解剖学
15、的语义信息,难以达到更加准确的配准效果10-11。弱监督学习的配准方法使用组织分割标签描述不同模态图像之间相同的器官边界或病灶区域,引导配准网络从分割标签推断解剖结构对应关系,从而实现多模态配准。例如,文献 12 利用分割标签作为弱监督信息,在 MR-TRUS图像对上实现了多模态配准。为了解决分割标签覆盖面积不足的问题。文献 13 在配准的同时对图像和分割标签进行形变操作,形成全局和局部相结合的配准网络。医学图像分割的目的是得到感兴趣区域的分割标签14,并提取出边界信息进一步执行图像分析与计算机辅助诊断等任务。2015 年,文献 15 提出了U-Net分割网络,利用 U 型结构和跳跃连接融合了
16、不同层次的信息,在图像分割领域得到了广泛的应用。通过设计不同深度的嵌套子网络,UNet+16的提出解决了 U-Net 网络深度设计的问题,并通过深监督机制大幅缩减了参数量,使得网络分割精度进一步提升。文献 17 将 U-Net中传统卷积替换为内卷操作,进一步提升了局部特征学习能力。然而,上述方法都依赖于真实标注的组织分割标签,并且容易受到不同标注者的主观影响。针对这一问题,文献18 利用两个协同模型组成协同训练框架,分别预测未标记数据的伪标签来互相指导,通过互补性避免了单个模型无法保证伪标签质量的问题。配准和分割网络在各自的领域已经达到了一定的效果,然而它们却被视为相互独立的任务。但是,分割和
17、配准任务存在一定的关联性,即配准和分割都可以通过分割标签的辅助解剖信息来提高任务的精度19。具体地说,分割可以通过将带有分割标签的图像配准到待分割图像上以得到对应的分割标签20,配准可以通过将辅助分割标签信息加入损失函数21实现多模态配准。因此,通过分割和配准网络的联合优化,可以进一步提升两者的精度22-24。文献 25 利用硬参数共享的方式提出联合配准分割网络 U-ReSNet,通过最小化均方误差和局部互相关来同时约束配准和分割网络。文献 26 利用软参数共享的方法,提出一种“十字绣”网络结构,同时在编码和解码阶段共享配准和分割网络参数,实现更好的泛化性能。以上多任务学习的方法虽然很好地将配
18、准与分割相结合,但是需要对网络结构进行大量修改,难以适应最新的配准和分割算法。为此,一些无须改动网络结构的联合配准分割框架被提出。文献 27 提出一种联合配准分割网络框架 DeepAtlas,为缺少标签时分割和配准的联合训练提供了一个通用的解决方案,该方案将已知的概率图谱通过逆形变场进行形变,并将得到先验的已形变概率图谱作为分割的真实标签。文献 28 实现了无监督联合配准分割模型 U-RSNet。文献 29 提出了联合学习框架 RsegNet,通过正逆形变场的双一致性监督实现解剖一致性,并在 4个公共数据集上进行验证,效果均优于单独训练的网络。然而,目前的各种联合配准分割方法大都局限于单模态数
19、据。由于分割网络难以适应不同模态的图像,因此无法同时得到不同模态的图像分割标签,导致联合配准分割方法难以应用到多模态数据中。此外,联合配准分割网络大都需要大量的分割标签来保证训练的进行,如果缺少标签则难以完成联合过程27。2352023年 9月 15日Computer Engineering 计算机工程本文提出一种基于深度学习的联合配准分割算法,并构建基于多尺度邻域描述符和一致性监督的联合配准分割网络(Multi-scale neighborhood descriptor and Consistency supervision based joint Registration and Segm
20、entation Network,MC-RSNet)框架,该框架包含两个分割网络和一个多模态配准网络,通过配准-分割迭代优化的方式同时实现两项任务,利用模态一致性监督通过配准产生的形变场使两个独立的分割网络互为监督,进而提升多模态图像分割的精度,并在此基础上设计一种多尺度模态独立邻域描述符,通过构建多个尺度的邻域范围扩充描述符的上下文信息,为多模态图像配准提供更准确的不同模态之间的特征对应关系,以提高配准精度。1联合配准分割方法 定义 Im和 If分别表示浮动图像(MR)和固定图像(CT),Lmseg和 Lfseg分别表示 MR 图像的分割标签和CT 图像的分割标签,在所有 M 对 CT-MR
21、 图像对中提供了 N(NM)对真实分割标签 Lmgt和 Lfgt。多模态配准的目的是找到一组最优的空间变换参数(形变场),使得不同模态的图像在解剖结构上对齐;分割的目的是在图像中分离出器官等感兴趣区域。对于上述两项任务,通过最小化相似性度量来训练网络,以学习最优网络参数,从而得到最优网络模型。根据本文中损失函数的具体设计,将图像配准和分割的过程表示如下:reg=argmin(EmsMIND(IfIm)+Econsistency(Lm,seg Lf,seg)+Esmooth)(1)seg=argmin(Econsistency(Lmseg Lfseg)(2)其中:EmsMIND是基于多尺度模态独
22、立邻域描述符构造的 图 像 相 似 性 测 度,用 于 计 算 图 像 结 构 相 似 度;Econsistency用于约束分割标签图像中的图像轮廓对齐程度;Esmooth表示对形变场不平滑的惩罚;表示由配准形变场对浮动图像 Im进行空间变换。1.1配准-分割联合优化的深度学习网络结构为了解决目前联合配准分割算法难以应用于多模态数据的问题,本文提出一种基于多尺度邻域描述符和模态一致性监督的联合配准分割框架(MC-RSNet),通过模态一致性监督将两个分割网络和一个多模态配准网络联合起来,两个分割网络串行运行,分割和配准并行运行,实现配准和分割的同时提升。联合配准分割网络框架如图 1 所示,该框
23、架包括分割子网络和配准子网络两个分支。在整体上,以 M 对浮动图像 Im和固定图像 If及 N 对真实分割标签 Lmgt和 Lfgt作为输入(NM),输出优化后的配准和分割模型。对于图像配准,采用 Im和 If作为输入,输出形变场;对于图像分割,以两种模态的原始图像Im和 If作为输入,输出两种模态图像的分割结果 Lmseg和 Lfseg。其中,虚线框是本文设计的模态一致性监督损失,用于在缺少分割标签时为配准和分割提供监督信息。图 1基于配准与分割的联合优化网络框架Fig.1Joint optimization network framework based on registration a
24、nd segmentation236第 49卷 第 9期洪犇,钱旭升,申明磊,等:基于深度学习的 CT-MR图像联合配准分割方法具体而言,在进行联合训练之前,首先利用配准子网络在无监督情况下4进行预训练,然后利用分割子网络在含有 N 对分割标签的 M 对数据上进行预训练,得到预训练模型之后进入联合训练阶段。在联合训练过程中先后执行配准、分割,交替训练两种网络中的一种,同时保持另一种固定,形成完整的训练过程。在该过程中,分割为配准提供标签辅助配准,配准为分割提供形变场实现模态间一致性约束。利用两者互补的特性,在循环交替的过程中传递互补的约束,实现互相提高,交替过程如图 2所示。需要注意的是,只在
25、第一轮训练时使用了预训练模型,此后交替训练使用的网络均为上一步训练优化的结果。具体训练步骤如下:步骤 1 利用配准子网络单独对所有 M 对 CT-MR图像进行预训练;利用分割子网络对 N对含有分割标签的 CT-MR 图像进行预训练。将预训练网络作为联合框架中的初始网络。步骤 2 将所有 M 对 CT-MR 图像输入到联合框架的配准部分中,使用 EmsMIND约束结构对齐,分别通过 Edice和 Econsistency在有无真实标签的两种情况下约束分割标签对齐。步骤 3 将所有 M 对 CT-MR 图像输入到联合框架的分割部分,在有无真实标签的两种情况下分别使用 Edice和 Econsist
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 深度 学习 CT MR 图像 联合 分割 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。