一种新的术中X线与术前CT图像配准方法.pdf

第 卷 第 期 年 月北京生物医学工程 一种新的术中 线与术前 图像配准方法崔家礼 王杰 郭曦 陈彧 舒丽霞摘 要 目的 本研究旨在配准胸主动脉血管内修复术（，）术中 线与术前 图像，为 支架植入提供精确安全的导航。然而，现有配准算法存在无法有效弥合投影 图像生成的数字重建影像（，）与 线图像之间的域间差异和难以获得图像分割标签的问题。因此，需要提出新的方法来改善这一问题。方法 本文提出了一种新的配准框架，该框架结合了基于生成对抗网络（，）的域自适应网络和基于 的配准网络。基于 的域自适应网络将 线图像的风格迁移到 图像上，使两者在图像风格上更接近。基于 的配准网络采用 与跨模态变换器（，）相结合的模式，直接配准 线与 图像，无需进行图像分割。结果 本文在 对标定的 术中 线与 图像对上对新的配准方法进行了验证。与其他域适应方法相比，本文所采用的 网络作为风格转换模块，有效减小了 图像与 线图像之间的域间差异。消融实验结果进一步证实，配准网络中的全局局部感知模块（，）对提高配准精度具有明显作用，而空间缩减（，）则有效缩短了配准时间。通过对比现有方法和本文方法在真实患者 线与 图像对上的配准效果，本文的方法在配准精度和成功率方面均表现出最佳性能。结论 本文提出的新的 线与 图像配准方法有效克服了现有方法存在的域间差异以及难以获得分割标签的问题。关键词 线图像；图像；配准；域自适应；跨模态变换器：中图分类号 文献标志码 文章编号（）本文著录格式 崔家礼，王杰，郭曦，等 一种新的术中 线与术前 图像配准方法 北京生物医学 工 程，（）：，（）：，；，；，：（：）【】（），（），（），（），（）（），【】；基金项目：北京市公益性科研院所行业定额项目资助作者单位：北方工业大学信息学院（北京）首都医科大学附属北京安贞医院大血管中心（北京）首都医科大学附属北京安贞医院 北京市心肺血管疾病研究所（北京）通信作者：舒丽霞。：引言胸主动脉血管内修复术（，）目前是治疗胸主动脉扩张性疾病的首选方法，手术通常依赖术中 线图像导航覆膜支架，由于术中 线图像无法显示血管，需多次注射碘造影剂，增加患者肾毒性风险。通过实时配准术中 线和术前 图像，为 提供更为精确安全的导航，消除对碘造影剂的依赖。线与 图像配准方法主要分为两类：基于优化的方法和基于学习的方法。基于优化的方法使用系列投影变换将三维 数据投影到二维平面生成 图像。通过迭代搜索 图像库，确定最相似的 图像及其对应的投影变换，实现 线与 图像的精准配准。基于优化的传统方法配准精度较高，但是配准速度慢，鲁棒性差，难以满足临床配准的要求。基于深度学习的方法有效克服了传统算法的不足，被越来越多地应用到 线与 图像配准领域。等首次使用卷积神经网络（，）对配准 线与 图像投影变换的 个参数进行分级回归，随后又利用全卷积神经网络（，）和注意力机制的多代理系统，采用强化学习的方式实现 线与 图像配准。等提出了基于 的 线与 图像配准算法，为减少计算量，该算法首先分割 线和 图像中的骨骼，然后利用交叉 进行配准。相比，更擅长捕捉全局信息，因此提升了配准精度。然而，该算法存在两个问题：（）图像与 线图像存在域间差异，简单的直方图灰度调整难以弥合；（）术中 线图像难以获得分割标签，术中 线图像是对原始 线图像经过处理后得到的，无法采用公共 线图像标准数据集进行分割训练。考虑到现有方法存在的不足，本文提出了一种新的术中 线与术前 图像的配准网络框架。框架组合了基于生成对抗网络（，）的域自适应网络和基于 的配准网络；基于 的域自适应网络将 线图像的风格迁移到 图像上。基于 的配准网络采用 与跨模态变换器（，）相结合的模式，直接配准 线与 图像。本文将详细描述北京生物医学工程 第 卷提出的配准网络框架，以及在训练和推理过程中使用的不同组件，并详细介绍配准网络框架的训练和推理过程。方法 线与 图像配准网络框架组合了基于 的域自适应网络和基于 的配准网络。首先，利用域自适应网络，对 线图像和由 投影得到的 图像进行域自适应，将 线图像的风格迁移到 图像上；然后，利用域自适应后得到的 图像和其对应的术前 图像，对配准网络进行训练。生成本文利用射线追踪方法模拟 射线从源头穿过 图像到探测器的过程，生成 图像。与传统方法不同，本研究提出的方法融合了等中心定角照射技术，充分利用术中采集的 线图像中的投影参数信息，加快了 图像库的构建速度。形臂血管造影系统具有 线机和探测器平面，将机架的旋转中心放置在患者病灶区域。线束从点光源发出，穿过患者病灶区域，在探测器平面上生成影像。通过 形臂血管造影系统的说明书以及采集的 手术中的 线图像数据，可以获得以下投影参数：臂旋转角、枢轴旋转角、形臂旋转角、光源到平板探测器中心点 的距离、光源到等中心点 的距离。移动支架带动 线机，以等中心点为球心，绕 臂、枢轴、形臂各自的旋转轴依次旋转。假设旋转顺序为 臂、枢轴、形臂，旋转角度依次为、并根据式（）计算三维矩阵，、分别是绕 臂、枢轴、形臂旋转的旋转矩阵。（）需要强调的是，无论 线机绕机臂旋转的先后次序如何，所得到的旋转矩阵始终一致。在本文中，规定以等中心点 为原点，垂直地面向上为 轴正方向，患者头部指向足端为 轴正方向，采用右手法则确定 轴正方向。初始光源点 被设定位于 轴的负半轴上，而初始探测器中心点 则位于 轴的正半轴上。初始探测器上所有点，在、轴方向上的坐标则由探测器尺寸和输出图像分辨率来确定。根据式（）、式（）、式（）计算绕等中心点旋转的光源点 及探测器上像素点，的坐标以及光源到探测器对应点的投影向量：（），（），（）式中：为等中心点 的坐标；为旋转前光源点坐标；，、，分别代表旋转前后探测器上像素点的坐标；，为光源到探测器对应点的投影向量。最后根据式（）计算生成的 图像的每个点的像素值，。，（）式中：表示 射线光源强度；表示射线穿过的不同组织；表示不同组织的线性衰减系数；，表示射线，穿过衰减系数为 的组织的深度。域自适应网络本文采用 网络完成 线和 图像的域自适应，实现无监督风格迁移，减小模拟数据与真实数据之间的差异。网络以两个域的数据为输入，无需严格对应关系。网络结构如图 所示，和 是两个生成器，分别用来完成 图像到 线图像的风格转换和 线图像到 图像的风格转换。和 是两个判别器，用来估算生成图像的真实程度。网络损失函数定义如式（）所示。（）图 网络结构 用 函数计算生成图像和真实图像之间的距离，训练中最小化该损失值保证生成器能产生更真实的图片。图像经过生成器、得到重构的 图像，损失采用 函数，训练中最小第 期 崔家礼，等：一种新的术中 线与术前 图像配准方法化该损失值保证整个网络的输出与输入内容不变，风格得到转换。生成器 用来生成 线风格的图像，那么把 线图像送入 应该仍然生成 线图像，这样才能证明 具有生成 线图像风格的能力，这里采用 函数计算（）和 的距离，即。训练中最小化该损失值保证网络的生成结果的真实性。配准网络配准网络如图 所示。该网络包括跨模态融合模块和参数嵌入模块。输入为 图像和 图像，经过卷积后调整到合适大小，再经过跨模态融合模块和参数嵌入模块，最终回归得到一组向量。跨模态融合模块本文使用叠加的卷积层将 和 图像调整到适合跨模态特征融合的大小。整个融合过程分为 个阶段，每个阶段包含两个 ，如图 所示。图 线与 图像配准网络结构 在每个阶段之后，特征图会缩小，同时维度增加，使得整个融合模块呈现出 的倒金字塔结构。每个 由两个 块组成，跨模态交叉注意力能够将来自不同源的信息有效地组合在一起。为了弥补 因采用全局注意力机制在局部建模能力的不足，本文引入卷积信息，通过加入全局局部感知模块（，），为模型提供一定的局部表征能力。由空洞卷积和残差结构构成，结构如图 所示。空洞卷积通过在卷积核中引入间隔，在保持卷积层尺寸不变的情况下，增加每个卷积核的感受图 交叉模态 模块结构 图 全局局部感知模块结构 野。这意味着神经网络能够在不增加参数数量的前提下，捕捉到更大范围内的特征。另外由于空洞卷积可以通过膨胀因子来控制感受野的大小，因此可以更好地处理不同尺度的对象。本文使用 个膨胀因子不同的卷积叠加，在实现卷积信息的融入的同时避免网格效应。接着使用 卷积，实现特征通道的调整，并与原特征相加。此外，注意力操作的计算复杂度与序列长度的平方呈线性关系。这意味着当序列长度增加时，注意力的计算量将变得非常庞大。为了解决这个问题，本文引入图 所示的 模块。该模块采用最大池化保留关键信息，同时削减特征序列，以减少注意力操作的计算量，加快网络的训练和推理速度。跨模态交叉注意力具体计算如式（）、式（）所示。到 的融合以及 到 的融合分别北京生物医学工程 第 卷图 空间缩减模块结构 从两个支路出发，式中：和 分别代表从 到 融合得到的特征序列以及从 到 融合得到的特征序列；、表示相应的线性变换。（）（）（）（）（）（）（）（）参数嵌入模块 形臂的 线机投影患者时共有 个参数。其中的 个参数可以从 线图像以及 形臂说明书中获得，个参数未知。本文将 个已知参数经过全连接层与跨模态融合模块的输出相乘，以此约束融合模型的输出结果。嵌入模块经过全连接层回归出 个未知参数（，）。网络损失函数定义如式（）所示。（）（）式中：为网络预测值（，）；为标签值（，），该损失函数就是计算预测值与真实值的均方根误差。实验结果及分析 实验配置 数据集研究组收集了首都医科大学附属北京安贞医院的 例胸主动脉瘤和 型主动脉夹层患者的术前 图像，用于训练配准网络。图像采集获得受试者同意并通过伦理审查，获得授权使用相关数据伦理编号：（首都医科大学附属北京安贞医院伦理委员会）。本文利用预先确定的多组投影参数投影 个 图像，生成 张 图像。一张 图像，其对应的 图像，生成此 图像的 个参投影数（、）、生成此 图像的 个投影参数（，）构成一组训练数据。组数据中，组作为训练数据，组作为验证数据，组作为测试数据。开始训练前将 和 图像分辨率调整到 和。训练配置研究组在 框架下利用 加速，实现了所提出的方法。首先独立地训练域自适应网络，使用初始学习率为 的 优化器，然后用训练好的域自适应网络，将投影生成的 图像全部转换成模拟 线图像。配准网络采用 优化器，并设定初始学习率为 。每经过 个，将学习率降为原来的 倍，总共进行 个。所有的网络训练和推理都在 上完成。评价指标使用在首都医科大学附属北京安贞医院采集的 对 术中 线和术前 图像进行测试，这 对 线和 图像上都有对应的人工标记点。组合网络预测的（，）与 个已知投影参数，构成完整的投影变换，再对 上的标记点进行投影，得到标记点在配准后 图像上的位置。使用配准后 图像中标记点与 线图像中对应标记点之间的平均均方根距离（，）作为配准精度的评价指标。同时，把配准成功率（，）作为衡量实验结果的评价指标，表示 的测试用例数与总测试用例数之比。实验结果在实验部分，首先验证域自适应转换对配准性能的影响，然后对配准框架的相关组件进行消融实验，最后，比较本文的方法与其他方法的配准效果。域自适应本研究训练了一个 网络作为域自适应网络，实现了 图像到 线图像的风格转换，结果如图 所示。视觉上，转换后的 图像与 线图像更为相似。另外，研究组将基于 域自 适 应 网 络、基 于 的 域 适 应、基 于 的域适应、基于 的域适应分别与前述配准网络组合在一起进行配准实验，结第 期 崔家礼，等：一种新的术中 线与术前 图像配准方法果如表 所示。图 域自适应结果 表 基于 种域适应方法的配准性能 域自适应方法 可以看出，本研究训练的 网络作为风格转换模块，使得配准网络获得了最佳的配准性能，其 值最小，同时 值最高。消融实验为了研究不同模块对于配准网络性能的影响，在训练阶段调整网络结构，分别使用本文提出的不同网络组件进行消融实验，结果如表 所示。表 不同网络组件的消融表现 模型设置 可以看到，对配准精度有较大提升，相对于单独使用 模块，使得 减少了 ；而 模块则有效缩短了配准时间，相对于无 模块，使用 模块使配准时间缩短了 。配准方法比较采用基于互信息（，）的配准、基于 的配准、基于局部描述算子（）的配准以及本文所提出的配准方法，分别配准 对标记的 线和 图像对，并将配准结果进行了比较。图 以棋盘格的形式交错显示了其中一对配准后叠加在一起的 和 线图像。在分析效果图时，需要注意忽略由于 成像和 线成像时患者摆位不同而导致的肱骨和锁骨位置的差异，以及术中器械置入主动脉前后引起的内容差异等因素。通过观察图中箭头指示的肋骨边缘，可以看到在 个配准方法中，本文的方法取得的配准效果最好。图 不同配准方法结果比较 另外，本文对不同配准方法的性能进行了定量分析，结果如表 所示。可以看到，相对于其他三种方法，本文提出的方法获得了最高的配准精度和成功率。讨论本研究采用了新提出的融合了 域自适应模型和 模型的配准框架，用于对 术中 线与术前 图像进行配准。在真北京生物医学工程 第 卷实临床数据上取得了显著成效，值为 ，配 准 成 功 率 达 到 。本 研 究 使 用 网络实现 线与 图像的域自适应，在原有 的结构中加入了 和 模块，增强对图像局部特征的表征能力和加速网络训练推理。此外，本文使用跨模态交叉注意力机制增强不同源数据之间的特征匹配，有助于提升模型的配准性能。表 不同配准方法性能对比 方法 本文 由于原始数据在训练中对配准算法的实现效果至关重要，因此下一步，将探讨如何重建更高质量的 图像以及如何实现更好的域适应效果。此外，在后续研究中，将通过进一步改进网络结构，并与更多更新的方法进行对比，以验证本文提出的方法在实现最佳配准性能方面的有效性。结论本文提出了一种新的 术中 线与 图像配准框架，综合了基于 的域自适应网络和基于 的配准网络。通过 将 线图像的风格转移到 图像上，实现图像风格的逼近。基于 的配准网络采用了 与 结合的模式，直接实现 线与 图像的配准，无需进行图像分割。实验结果表明，该框架能够直接配准 线与 图像，并且在配准性能上优于现有方法，同时也为未来的模型设计提供了有力参考。参考文献 ，（）：，（）：，：，：，：，：，：？，：，：，（）：，：，（）：，：，：，（）：，：，（）：，：，：，：，：（），：，：，：，：（下转第 页）第 期 崔家礼，等：一种新的术中 线与术前 图像配准方法 李宝林，李博诚 我国医用氧气及分子筛制氧设备监管要求和对策 中国医药导报，（）：，（）：国家药品监督管理局 医用电气设备 第 部分：氧气浓缩器的基本安全和基本性能专用要求 北京：中国标准出版社，中华人民共和国国家质量监督检验检疫总局，中国国家标准化管理委员会 工业铂热电阻及铂感温元件 北京：中国标准出版社，赵松玲，韩昕彤，桑艺珂 基于扩散硅压阻压力传感器的压差测量 南方农机，（）：，（）：赵迪，张征 基于 现场总线的气体质量流量控制器设计 自动化与仪表，（）：，（）：衣哲 顺磁式氧分析仪在肟化反应中的应用 石油化工自动化，（）：史清清，廖跃华，尚昆，等 压力抗血栓装置气泵性能测试系统设计 北京生物医学工程，（）：，（）：王炳忠，邹开凤 基于氧的顺磁性的氧气纯度分析仪 军民两用技术与产品，（）：，（）：高捷，郭振铎，王树德，等 微量氧分析仪的使用及维护化工设计通讯，（）：，（）：，肖贝 数字系统中模拟量的线性拟合校准 现代商贸工业，（）：叶瑀，刘浩明，张开帆，等 医用分子筛制氧机的性能与安全检测及常见不合格项分析 科技与创新，（）：邵先军，谢成，丁五行，等 质量流量转换系数测定方法 高电压技术，（）：，（）：丁攀，戚路宽，郭伟，等 氧气浓度检测方法发展现状及展望 中国医学装备，（）：，（）：（收稿，修回）（上接第 页），：，（）：，：，：，：，：，：，：，：，：（收稿，修回）北京生物医学工程 第 卷