![点击分享此内容可以赚币 分享](/master/images/share_but.png)
基于Transformer...IVOCT导丝伪影去除方法_郭劲文.pdf
《基于Transformer...IVOCT导丝伪影去除方法_郭劲文.pdf》由会员分享,可在线阅读,更多相关《基于Transformer...IVOCT导丝伪影去除方法_郭劲文.pdf(10页珍藏版)》请在咨信网上搜索。
1、2023-05-10计算机应用,Journal of Computer Applications2023,43(5):1596-1605ISSN 1001-9081CODEN JYIIDUhttp:/基于Transformer的结构强化IVOCT导丝伪影去除方法郭劲文1,马兴华1,骆功宁1,王玮1,曹阳2,王宽全1*(1.哈尔滨工业大学 计算学部,哈尔滨 150001;2.哈尔滨医科大学附属第一医院,哈尔滨 150001)(通信作者电子邮箱)摘要:为去除导丝伪影以提高血管内光学相干断层扫描(IVOCT)的图像质量,辅助医师更加准确地诊断心血管疾病,降低误诊及漏诊的概率,针对IVOCT图像结构信
2、息复杂且伪影区域占比大的难点,提出一种采用生成对抗网络(GAN)架构的基于Transformer的结构强化网络(SETN)。首先,GAN的生成器在提取纹理特征的原始图像(ORI)主干生成网络的基础上,并联了RTV(Relative Total Variation)图像强化生成网络用于获取图像的结构信息;其次,在ORI/RTV图像的伪影区域重建过程中,引入了分别关注时/空间域信息的Transformer编码器,用于捕获IVOCT图像序列的上下文信息以及纹理/结构特征之间的关联性;最后,利用结构特征融合模块将不同层次的结构特征融入ORI主干生成网络的解码阶段,配合判别器完成导丝伪影区域的图像重建。
3、实验结果表明,SETN的导丝伪影去除结果在纹理和结构的重建上均十分优秀。此外,导丝伪影去除后IVOCT图像质量的提高,对于IVOCT图像的易损斑块分割及管腔轮廓线提取任务均具有积极意义。关键词:生成对抗网络;Transformer;结构强化;血管内光学相干断层扫描;伪影去除中图分类号:TP183;TP391.4 文献标志码:AGuidewire artifact removal method of structure-enhanced IVOCT based on TransformerGUO Jinwen1,MA Xinghua1,LUO Gongning1,WANG Wei1,CAO Ya
4、ng2,WANG Kuanquan1*(1.Faculty of Computing,Harbin Institute of Technology,Harbin Heilongjiang 150001,China;2.The First Affiliated Hospital of Harbin Medical University,Harbin Heilongjiang 150001,China)Abstract:Improving the image quality of IntraVascular Optical Coherence Tomography(IVOCT)through gu
5、idewire artifact removal can assist physicians in diagnosing cardiovascular diseases more accurately,which reduces the probabilities of misdiagnosis and missed diagnosis.Aiming at the difficulties of complex structure information and a large proportion of artifact areas in IVOCT images,a Structure-E
6、nhanced Transformer Network(SETN)using Generative Adversarial Network(GAN)architecture was proposed for guidewire artifact removal of IVOCT images.Firstly,based on the ORiginal Image(ORI)backbone generation network for extracting texture features,the generator of GAN was combined with RTV(Relative T
7、otal Variation)image enhanced generation network in parallel to obtain image structure information.Next,during the artifact area reconstruction of ORI/RTV image,Transformer encoders focusing on the temporal/spatial domain information respectively were introduced to capture the contextual information
8、 and the correlation between texture/structure features of IVOCT image sequence.Finally,the structural feature fusion module was used to integrate the structural features of different levels into the decoding stage of the ORI backbone generation network,so that the generator was cooperated with the
9、discriminator for completing the image reconstruction of the guidewire artifact area.Experimental results show that the guidewire artifact removal results of SETN are excellent in both texture and structure reconstruction.Besides,the improvement of IVOCT image quality after guidewire artifact remova
10、l is positive for both vulnerable plaque segmentation and lumen contour extraction tasks of IVOCT image.Key words:Generative Adversarial Network(GAN);Transformer;structure enhancement;IntraVascular Optical Coherence Tomography(IVOCT);artifact removal 0 引言 心血管疾病(CardioVascular Disease,CVD),亦称循环系统疾病,是
11、一系列涉及循环系统的疾病,通常由粥样动脉硬化导致。据最新公开的心血管疾病数据统计,国内身患心血管疾病的人口数量已达 3.30亿,且患病人数依然在不断增文章编号:1001-9081(2023)05-1596-10DOI:10.11772/j.issn.1001-9081.2022040536收稿日期:2022-04-21;修回日期:2022-07-05;录用日期:2022-07-08。基金项目:国家自然科学基金资助项目(62001141,62001144);哈尔滨工业大学第七批教学发展基金资助项目(XYSZ2021048)。作者简介:郭劲文(1997),男,宁夏银川人,硕士研究生,主要研究方向:
12、医学图像处理、计算机视觉;马兴华(1998),男,黑龙江哈尔滨人,硕士研究生,主要研究方向:计算机视觉、医学图像分析;骆功宁(1989),男,山东烟台人,副教授,博士,主要研究方向:计算心脏学、医学图像分析;王玮(1989),女,四川达州人,助理教授,博士,主要研究方向:虚拟心脏、医学图像处理;曹阳(1984),男,黑龙江人,教授,博士,主要研究方向:冠心病诊疗、冠脉介入治疗;王宽全(1964),男,四川达州人,教授,博士,CCF会员,主要研究方向:虚拟现实与仿真、计算心脏学、人工智能与智慧医疗。第 5 期郭劲文等:基于Transformer的结构强化IVOCT导丝伪影去除方法长。在国内主要疾
13、病死亡人数的统计中,CVD占城市居民主要疾病死亡的 43.81%,而在农村居民主要疾病死亡的占比更是高达 46.66%1。随我国日益严重的老龄化趋势,CVD的死亡率依然在不断攀升,已对国民健康和社会发展造成了巨大影响。有效的预防、检查及治疗可显著降低CVD的死亡率,血管 内 光 学 相 干 断 层 扫 描(IntraVascular Optical Coherence Tomography,IVOCT)技术凭借它针对心血管的良好成像已成为医生诊断CVD的重要手段。IVOCT是迄今最前沿的现代化血管成像技术之一,通过近红外光反射的血管内成像模式成像,在生物组织的成像领域展现了可靠的性能2-3。该
14、技术以弱相干光干涉仪的基本原理作为理论基础,检测入射弱相干光在生物组织深浅层面背向反射或散射信号的差异,生成生物组织的结构影像。具体而言,IVOCT基于迈克尔逊干涉测量法并使用超高亮度二极管发射器作为光源。光源射出的光通过光纤进入光纤耦合器后形成两束光束,其中一束进入待观察物体,而另一束则进入图像信号接收系统。由两条路径反射或反向散射的光通过光纤耦合器重新集成到光束中并由检测器接收。随后测量光散射的辐射能和通过生物组织时间在不同深度组织之间的差异,进而通过显示伪色的灰度值得到生物组织影像,其中:浅色(如浅黄色和浅绿色)代表辐射较强的区域;暗色(如蓝色和黑色)代表辐射较弱的区域;绿色代表辐射平均
15、的区域4-6。在 临 床 IVOCT 系 统 中,数 据 采 集 使 用 了 包 括 定 位(Position)、清洗(Purge)、喷入(Puff)以及回撤(Pullback)在内的4P方法7-9。在数据采集过程中:定位用于确定目标位置;清洗利用造影剂清洗成像导管的管腔血液;喷入确保指引导管与冠脉同轴;回撤将近红外光传输到探头并通过导丝拖拽采集连续的截面反射信号实现管腔内影像的采集。高反射的人造物导丝会导致探头发射的近红外光发生反射,因而在拖拽的过程中,极坐标图像的导丝区域会形成高亮的月牙形伪影,且导丝的遮掩将导致所成影像的导丝后方存在贯穿整个图像的黑色矩形伪影,如图1所示。IVOCT检查的
16、所有成像均会不可避免地出现上述导丝伪影,其中伪影面积约占单张影像的10%并且贯穿整个图像,伪影区域的管腔内壁组织信息无法被获取。医生在观察IVOCT序列时,可根据临床经验结合序列上下帧之间的影像信息和导丝伪影运动轨迹,推测导丝伪影区域的影像信息,进而分析管壁与斑块的表征并诊断CVD。但临床经验的差异可能导致不同医生对于导丝伪影区域图像信息的推测不一致。去除导丝伪影能够促进医疗影像系统的现代化和 IVOCT 影像诊断 CVD 的标准化,有助于医生更加准确地诊断CVD,减小误诊与漏诊的概率。为去除IVOCT导丝伪影,本文提出了基于Transformer的结 构 强 化 网 络(Structure-
17、Enhanced Transformer Network,SETN),以生成器(Generator)和判别器(Discriminator)构成的生成对抗网络(Generative Adversarial Network,GAN)架构重建导丝伪影区域图像,以提高 IVOCT 图像的连续性与完整性。根据IVOCT图像管壁结构复杂以及序列上下帧具有关联性的特点,SETN 的生成器关注序列上下文信息且针对IVOCT的管壁结构进行了强化设计。为关联上下帧特征并通过邻帧信息强化待复原区域的语义描述,SETN使用了能够同时分析单帧空间位置和序列时序的 Transformer模块挖掘 序 列 的 上 下 文
18、关 联 性。此 外,在 原 始 图 像(ORIginal image,ORI image)主干生成网络的基础上,SETN引入了并联的 RTV(Relative Total Variation)10图像强化生成网络完成ORI图像和与之对应 RTV 图像导丝伪影区域的重建。RTV重建获取的结构特征被融入ORI图像的纹理特征,用于辅助ORI主干生成网络对导丝伪影区域的图像重建。本文的主要工作为:1)首次提出了一种基于Transformer的结构强化网络 SETN 用于去除 IVOCT 图像中结构信息复杂且区域占比大的导丝伪影;2)结合IVOCT图像结构复杂的特点,提出了在 RTV 图像上提取结构特征
19、的 RTV 强化生成网络,用于在ORI重建图像时强化IVOCT的图像结构以提高导 丝 伪 影 去 除 性 能;3)设 计 了 关 注 时/空 间 域 信 息 的Transformer编码器,分别从单帧空间域和序列时间域的角度挖掘IVOCT序列图像特征的上下文关联性;4)分别从伪影区域重建性能和计算机辅助诊断(易损斑块分割以及管腔轮廓线提取)的角度验证了本文导丝伪影去除方法的实效性。1 相关工作 通过伪影去除技术提高医疗图像的成像质量在医疗影像的临床应用中具有重要意义。在放射影像检查中,由金属物植入导致X光线衰减形成的放射状伪影可以通过去噪技术消除11。而 IVOCT 为光学成像技术,它的伪影由
20、近红外光的导丝反射导致部分区域无法成像。图像补全技术能有效处理区域较大且集中的图像缺失,因此本文基于图像补全技术提出IVOCT导丝伪影去除方法。1.1基于传统方法的图像补全基于传统方法的图像补全技术主要分为两类:基于补丁的方法和基于扩散的方法。基于补丁的方法依次搜索缺失区域并填充高匹配度的补丁。Liu等12使用了马尔可夫随机场模型估计并结合单应性变换以增强修复与周围区域的一致性和结构的连贯性;Ding等13提出了一种利用非局部纹理匹配和非线性滤波的图像补全方法以兼顾图像强度和纹理的一致性。基于扩散的方法将图像信息从边界扩散到缺失区域以实现缺失区域的填充。Li等14提出了一种基于扩散的图像补全方
21、法,通过定位补全区域后利用通道内和通道间变化的局部方差实现数字图像的补全;Sridevi等15提出了一种基于分数阶导数和傅里叶变换的扩散图像补全方法,以解决补全中阶梯状和散斑伪影的问题。基于传统方法的相关技术初步探索了图像补全的技术路线,并为该任务提供了清晰的解决思路,但与后续发展的深度学习技术相比,传统方法普遍存在难以应对复杂图像和高占比缺失的缺陷。图1IVOCT图像与导丝伪影Fig.1IVOCT image and guidewire artifact1597第 43 卷计算机应用1.2基于深度学习的图像补全随着近年来深度学习算法的不断发展与完善,图像补全技术得到长足的发展,基于深度学习方
22、法的图像补全技术主要采用卷积神经网络(Convolutional Neural Network,CNN)和Transformer两种网络构架。1.2.1CNN深度学习首先以普遍适用于计算机视觉(Computer Vision,CV)任务的CNN架构引入图像补全任务。基于CNN的图像补全方法使用编码器-解码器的网络结构提取图像特征并复原图像信息。Xie 等16提出了一种自动编码预训练的深度网络修复模型,利用无监督特征学习实现了图像的修复;Favorskaya等17使用全连接网络对去除视频序列中的伪影后的纹理进行重建;Khler等18通过卷积层学习像素破坏图像块到完整图像块的映射,进而修复特定掩码
23、区域。基于 CNN 的方法擅长细节的重建,但受限于修复区域的尺寸等因素。随着深度学习技术的发展,以 CNN 为图像生成基础的GAN架构19被提出应用于图像的生成和补全任务,此类方法利用随机产生的噪声逐渐生成待修复对象,克服了CNN方法受限于修复区域的缺点。GAN是一个包含生成器G和判别器D(两个前馈网络)的博弈学习模型。其中,G通过真实图像训练模型参数并生成全新的图像,而D通过训练鉴别真实图像与生成图像的差异。若D无法区分生成图像与真实图像,则认为G的性能满足要求,这种关系可认为是 G 和 D 竞争的最小最大博弈。综上所述,G(D)试图最小化(最大化)对抗损失V(D,G)作为损失函数,如式(1
24、)所示:minGmaxDV(D,G)=Ex Pdata(x)logD(x)+Ez Pz(z)log(1-D(G(z)(1)其中:z和x分别表示噪声Pz(z)和真实数据分布Pdata(x)采样的随机噪声向量和真实图像。在图像补全相关方法中,G通过学习完整图像特征生成缺失区域图像信息,D鉴定生成的图像信息的可信度。Kim等20提出了一种聚合相邻帧时间特征的循环神经网络(Recurrent Neural Network,RNN),实现了 VINet模型修复视频;Chang 等21使用了改进 3D 门控卷积以及 T-Patch GAN(Temporal Patch GAN),提 出 了 LGTSM(L
25、earnable Gated Temporal Shift Module),最终实现了自由形式遮掩的视频补全;Lee等22提出了复制并粘贴参考帧相应内容的深度学习网络框架CAP(Copy-And-Paste)以补全目标帧中缺失区域。尽管堆叠卷积层能够使CNN提取较抽象的高级语义特征,但依然存在全局信息获取有限、图像不同区域间语义信息相对独立等局限性。而近年提出的 Transformer23网络架构使用注意力机制实现全局上下文信息的捕获,能获取目标相关的长距离关联性特征。1.2.2TransformerTransformer是一种基于注意力机制的网络构架,最先应用于自然语言处理(Natural
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 Transformer IVOCT 导丝伪影 去除 方法 郭劲文
![提示](https://www.zixin.com.cn/images/bang_tan.gif)
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。