光流法修正的时序图像语义分割模型.pdf
《光流法修正的时序图像语义分割模型.pdf》由会员分享,可在线阅读,更多相关《光流法修正的时序图像语义分割模型.pdf(9页珍藏版)》请在咨信网上搜索。
1、 光流法修正的时序图像语义分割模型*邱晓梦1,2,王 琳3,谷文俊1,2,宋 伟1,田浩来4,胡 誉4(1.郑州大学河南省大数据研究院,河南 郑州 4 5 0 0 5 2;2.郑州大学计算机与人工智能学院,河南 郑州 4 5 0 0 0 1;3.北京唯迈医疗设备有限公司,北京 1 0 0 0 0 0;4.中国科学院高能物理研究所,北京 1 0 0 0 4 9)摘 要:医学成像技术的发展带来了海量的医学图像数据,这些图像反映了生物体的内部结构特征,医学图像分割技术可以提高医疗人员的诊断效率,从而成为现代医疗诊断的重要辅助手段之一。然而成像过程中不可避免地会出现噪声或伪影,它们给分割工作带来了极大
2、的挑战。现有的分割模型中,单帧医学图像语义分割模型未考虑图像帧与帧之间的关系,视频语义分割模型虽利用了时序信息,但在边缘提取上有所欠缺。为了解决以上问题,提出了一种以U-N e t为骨干,用光流法进行修正的时序语义分割模型。该模型能够提取视频前后帧之间的光流信息,并对当前帧与光流进行特征提取与权重分配,以达到修正的效果。实验结果表明,在果蝇电镜图、腹部综合器官图和冠状动脉造影图这些不同类型的数据集上,该模型在相似性系数、像素准确率和交并比这3个评价指标上都获得了最优结果,验证了所提模型的有效性和泛化性。关键词:U-N e t;光流;医学图像;语义分割;深度学习中图分类号:T P 3 9 1.4
3、 1文献标志码:Ad o i:1 0.3 9 6 9/j.i s s n.1 0 0 7-1 3 0 X.2 0 2 4.0 1.0 1 1A t i m e s e r i e s i m a g e s e m a n t i c s e g m e n t a t i o n m o d e l m o d i f i e d b y o p t i c a l f l o wQ I U X i a o-m e n g1,2,WANG L i n3,GU W e n-j u n1,2,S ONG W e i1,T I AN H a o-l a i4,HU Y u4(1.H e n a n
4、 A c a d e m y o f B i g D a t a,Z h e n g z h o u U n i v e r s i t y,Z h e n g z h o u 4 5 0 0 5 2;2.S c h o o l o f C o m p u t e r a n d A r t i f i c i a l I n t e l l i g e n c e,Z h e n g z h o u U n i v e r s i t y,Z h e n g z h o u 4 5 0 0 0 1;3.B e i j i n g W e i m a i M e d i c a l E q u
5、 i p m e n t C o.,L t d.,B e i j i n g 1 0 0 0 0 0;4.I n s t i t u t e o f H i g h E n e r g y P h y s i c s,C h i n e s e A c a d e m y o f S c i e n c e s,B e i j i n g 1 0 0 0 4 9,C h i n a)A b s t r a c t:T h e d e v e l o p m e n t o f m e d i c a l i m a g i n g t e c h n o l o g y h a s g e n
6、 e r a t e d a m a s s i v e a m o u n t o f m e d i-c a l i m a g e d a t a,w h i c h r e f l e c t s t h e i n t e r n a l s t r u c t u r a l f e a t u r e s o f t h e h u m a n b o d y.M e d i c a l i m a g e s e g-m e n t a t i o n t e c h n o l o g y c a n i m p r o v e t h e e f f i c i e n c
7、 y o f m e d i c a l d i a g n o s i s,m a k i n g i t a n i m p o r t a n t a s s i s t i v e t o o l f o r m o d e r n m e d i c a l d i a g n o s i s.H o w e v e r,n o i s e o r a r t i f a c t s t h a t a r e i n e v i t a b l y p r e s e n t i n t h e i m a g i n g p r o c e s s b r i n g g r e
8、 a t c h a l l e n g e s t o t h e s e g m e n t a t i o n w o r k.I n e x i s t i n g s e g m e n t a t i o n m o d e l s,s i n g l e-f r a m e m e d i c a l i m a g e s e m a n t i c s e g m e n t a t i o n m o d e l s d o n o t c o n s i d e r t h e r e l a t i o n s h i p b e t w e e n i m a g e
9、 f r a m e s,w h i l e v i d e o s e m a n t i c s e g m e n t a t i o n m o d e l s u t i l i z e t e m p o r a l i n f o r m a t i o n b u t h a v e s o m e l i m i t a t i o n s i n e d g e e x t r a c t i o n.T o a d d r e s s t h e s e i s s u e s,t h i s p a p e r p r o p o s e s a U-N e t-b a
10、 s e d t e m p o r a l s e m a n t i c s e g m e n t a t i o n m o d e l m o d i f i e d b y o p t i c a l f l o w.T h i s m o d e l c a n e x t r a c t o p t i c a l f l o w i n f o r m a t i o n b e t w e e n c o n s e c u t i v e f r a m e s a n d p e r f o r m f e a t u r e e x t r a c t i o n a
11、 n d w e i g h t a l l o c a t i o n o n t h e c u r r e n t f r a m e a n d o p t i c a l f l o w f o r c o r r e c t i o n.E x p e r i m e n t s s h o w t h a t t h e m o d e l o b t a i n s o p t i m a l r e s u l t s o n t h r e e e v a l u a t i o n m e t r i c s,n a m e-*收稿日期:2 0 2 3-0 2-2 0;修
12、回日期:2 0 2 3-0 4-1 1基金项目:河南省科技攻关计划国际合作项目(1 7 2 1 0 2 4 1 0 0 6 5);河南省高等学校重点科研项目(2 2 A 5 2 0 0 1 0);基于人工智能的高能物理大数据技术研究与示范(E 2 2 9 5 1 S 3 1 1)。通信作者:宋伟(i e w s o n g z z u.e d u.c n)通信地址:4 5 0 0 5 2 河南省郑州市二七区大学北路7 5号郑州大学河南省大数据研究院A d d r e s s:H e n a n A c a d e m y o f B i g D a t a,Z h e n g z h o u
13、U n i v e r s i t y,7 5 U n i v e r s i t y N o r t h R o a d,E r q i D i s t r i c t,Z h e n g z h o u 4 5 0 0 5 2,H e n a n,P.R.C h i n a C N 4 3-1 2 5 8/T PI S S N 1 0 0 7-1 3 0 X 计算机工程与科学C o m p u t e r E n g i n e e r i n g&S c i e n c e第4 6卷第1期2 0 2 4年1月 V o l.4 6,N o.1,J a n.2 0 2 4 文章编号:1 0
14、0 7-1 3 0 X(2 0 2 4)0 1-0 1 0 2-0 9l y D i c e s i m i l a r i t y,p i x e l a c c u r a c y a n d c r o s s-m e r g e r a t i o,o n d i f f e r e n t t y p e s o f d a t a s e t s,n a m e l y D r o s o p h-i l a e l e c t r o n m i c r o g r a p h s,c o m b i n e d h e a l t h y a b d o m i n a l o
15、 r g a n s e g m e n t a t i o n a n d c o r o n a r y a n g i o g r a m,w h i c h v a l i d a t e t h e e f f e c t i v e n e s s a n d g e n e r a l i z a t i o n o f t h e p r o p o s e d m o d e l.K e y w o r d s:U-N e t;o p t i c a l f l o w;m e d i c a l i m a g e;s e m a n t i c s e g m e n t
16、 a t i o n;d e e p l e a r n i n g1 引言医学图像处理非常重要且应用性极强,其中对医学图像中的器官、病灶和感兴趣区域进行分割是医疗诊断和手术计划等任务的重要辅助手段。医学图像分割在医学研究中的作用与价值主要体现在以下几个方面:(1)提取感兴趣的区域,从而忽略其他区域的干扰;(2)用于人体器官或病灶尺寸的测量,有助于医生诊断或修改病人的治疗方案;(3)获取解剖图谱信息,为医学图像的三维重建和可视化等提供原始数据。然而,受成像设备以及患者体位等因素的影响,医学图像不可避免地会出现伪影和噪声,且在传输过程中图像的质量也会受到不同程度的影响。以上这些给图像分割及诊断工
17、作造成了一定的困扰和挑战,故本文对医学图像分割方法进行研究,以寻求更佳的分割效果。传统图像分割方法包括阈值法、区域生长法和边缘检测法1等。其中,阈值法只考虑像素点灰度值本身的特征,不考虑空间特征;区域生长法需要人为选取种子,往往会导致区域内产生空洞,并且这2种方法对噪声比较敏感。边缘检测法不能保证边缘的连续性和封闭性,并且在高细节区存在大量碎边缘。为了解决以上问题,研究人员将深度学习方法应用于图像分割任务中,利用相关网络的学习功能弱化噪声对分割的影响,从而改善分割效果。语义分割作为图像分割的一个分支,它为输入图像的每个像素分配一个语义类别,以得到像素化的密集分类2。当前语义分割被广泛应用于地理
18、信息系统、无人驾驶、医学影像分析和机器人等多个领域,并取得了较好的效果。L o n g等3在2 0 1 5年提出了全卷积神经网络F C N(F u l l y C o n v o l u t i o n a l N e t w o r k),首次将深度学习应用于图像语义分割领域,成为语义分割的开山之作,但F C N在对各个像素进行分类时没有充分考虑到像素与像素之间的关系。R o n n e b e r g e r等4提出了U-N e t(U-s h a p e N e t w o r k),其编码、解码和跳跃连接结构充分地融合了不同尺度之间的信息,得到了更具鲁棒性的分割结果。U-N e t+5
19、通过不同深度的U-N e t有效集来降低未知的网络深度,它们可以部分共享一个编码器,通过深度监督同时进行学习。而后T r a n s UN e t6使用了一个结合卷 积 神 经 网 络C NN(C o n v o l u t i o n a l N e u r a l N e t w o r k)和T r a n s f o r m e r7的结构作为编码器,同时采用一个级联的上采样来确保预测的准确率,解决了T r a n s f o r m e r低 级 细 节 不 足 的 问 题。D S-T r a n s UN e t(D u a l S w i n T r a n s f o r m
20、e r U-N e t)8网络构建了一个双分支的T r a n s f o r m e r结构,缓解了分割时像素级信息丢失的问题。上述图像语义分割主要针对单帧图像,对带有时序特征的图像,即视频流,可以充分利用相邻帧之间的关系,将上一帧图像的分割结果作为先验知识传入到下一帧图像中,或者利用光流传递时序信息,进行消息传递,从而获取更多的分割信息。已有相关研究中,S T F C N(S p a t i o-T e m p o r a l F C N)9模型将长短期记忆网络和F C N相结合,构成了一种端到端的时空卷积神经网络。N e t w a r p1 0模型利用光流信息,把经过卷积层的上一帧特征
21、传递到当 前 帧 的 对 应 位 置 上。D F F(D e e p F e a t u r e F l o w)1 1 模型指定关键帧,计算其他帧到该帧之间的光流信息,减少了计算开销。D V S N e t(D y n a m i c V i d e o S e g m e n t a t i o n N e t w o r k)1 2使用轻量级决策网络来评估每个区域的置信度得分,在分割效率和质量之间取得了平衡。T D N e t(T e m p o r a l l y D i s-t r i b u t e d N e t w o r k)1 3是一种时间分布的视频语义分割网络,在每个时间
22、步中,只需执行轻量级计算就可从单个子网络中提取子特征组,然后用一种新的注意传播模块来补偿帧间的几何形变,最终收获了更快的速度和更短的延迟。C S AN e t(C r o s s a n d S e l f-A t t e n t i o n N e t w o r k)1 4是一种将自注意力和交互注意力并行的孪生神经网络,它不仅能在相邻帧之间传播时域空间特征,还能聚合当前帧内的空间语义信息。然而,医学图像的血管比较细,分割部分往往与周围组织的对比度低,因此,在对医学图像分割的过程中往往存在边缘提取效果不佳,且容易出现血管断裂的问题。在单帧语义分割中,U-N e t以其独特的网络结构较好地解决
23、了边缘提取问题,但并未充分利用时序信息中的先验知识,故无法进一步提高分割的精确度。同时,现有的视频语义分割模301邱晓梦等:光流法修正的时序图像语义分割模型型虽利用了时序信息,但在边缘提取上有所欠缺。本文结合了光流、U-N e t和能获取更多信息并进行特征提取的I n c e p t i o n1 5结构,提出了一种既考虑医学图像特征又兼顾时序信息的网络模型。该模型首先采用光流模块获取相邻2帧之间的运动信息,然后使用U-N e t网络和I n c e p t i o n结构分别对当前帧和光流信息进行特征提取,最后使用修正模块对当前帧和光流信息的特征进行权重分配,实现利用光流对当前帧的修正作用,
24、从而改善图像分割的效果。在相关数据集上的实验结果表明,本文模型取得了优于对比模型的预测结果。2 模型结构本文提出的模型结构如图1所示。模型包括数据预处理和模型训练2部分。数据预处理部分对应光流模块,用来获取相邻2帧之间的运动信息。模型训练部分包括特征提取模块和修正模块,特征提取模块使用2种方式对当前帧和光流信息进行特征提取,得到初步的分割图像。修正模块进行权重分配,使用光流信息对当前帧进行修正,从而使得分割结果通过获取上一帧的信息,得到更多的分割细节。F i g u r e 1 S t r u c t u r e o f t h e p r o p o s e d m o d e l图1 本文
25、所提模型结构2.1 光流模块模型预处理部分使用光流来获取图像的运动信息。光流是用来描述场景中的物体运动在连续2帧间产生动态变化的方法,其本质是一个二维向量场1 6。模型使用光流法有3个假设前提:(1)前后帧光照能量保持不变;(2)相邻帧之间同一像素点运动较小;(3)相邻像素点运动相似。设某一点在第1帧中的光照能量表示为f(x,y,t),该点经过时间为d t,运动的距离为(d x,d y),得到式(1):f(x,y,t)=f(x+d x,y+d y,t+d t)(1)其中,x、y为像素坐标,t为时间。为求解d x和d y,对式(1)右边进行一阶泰勒展开并去除余项,再对两边同除d t得到光流方程,
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 光流法 修正 时序 图像 语义 分割 模型
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。