结合坐标注意力与生成式对抗网络的图像超分辨率重建.pdf
《结合坐标注意力与生成式对抗网络的图像超分辨率重建.pdf》由会员分享,可在线阅读,更多相关《结合坐标注意力与生成式对抗网络的图像超分辨率重建.pdf(10页珍藏版)》请在咨信网上搜索。
1、 结合坐标注意力与生成式对抗网络的图像超分辨率重建*彭晏飞,孟 欣,李泳欣,刘蓝兮(辽宁工程技术大学电子与信息工程学院,辽宁 葫芦岛 1 2 5 1 0 0)摘 要:针对现有生成式对抗网络GAN的图像超分辨率重建模型中存在着特征信息利用不充分、VG G式判别器对局部细节的判断能力较弱以及训练不稳定的问题,提出了一种结合坐标注意力与生成式对抗网络的图像超分辨率重建模型。首先,以嵌有坐标注意力的残差块构建生成器,沿通道和空间2个维度聚合特征,更充分地提取特征。然后,调整D r o p o u t加入网络的方式使其作用于生成器中,提高模型的泛化能力。接着,以U-N e t结构构造判别器,输出详细的逐
2、像素反馈,以获取真假图像间的局部差异。最后,在判别器中引入谱归一化正则化,稳定GAN的训练。实验结果表明,当放大因子为4时,在基准测试集S e t 5和S e t 1 4上取得的峰值信噪比平均提高了1.7 5 d B,结构相似性平均提高了0.0 3 8,能够重建出更加清晰且真实的图像,重建图像具有良好的视觉效果。关键词:超分辨率重建;生成式对抗网络;坐标注意力;U-N e t式判别器中图分类号:T P 3 9 1.4文献标志码:Ad o i:1 0.3 9 6 9/j.i s s n.1 0 0 7-1 3 0 X.2 0 2 4.0 1.0 1 3C o m b i n i n g c o
3、o r d i n a t e a t t e n t i o n a n d g e n e r a t i v e a d v e r s a r i a l n e t w o r k f o r i m a g e s u p e r-r e s o l u t i o n r e c o n s t r u c t i o nP E NG Y a n-f e i,ME NG X i n,L I Y o n g-x i n,L I U L a n-x i(S c h o o l o f E l e c t r o n i c s a n d I n f o r m a t i o n
4、E n g i n e e r i n g,L i a o n i n g T e c h n i c a l U n i v e r s i t y,H u l u d a o 1 2 5 1 0 0,C h i n a)A b s t r a c t:A n i m a g e s u p e r-r e s o l u t i o n r e c o n s t r u c t i o n m o d e l c o m b i n i n g c o o r d i n a t e a t t e n t i o n a n d g e n e r-a t i v e a d v e
5、r s a r i a l n e t w o r k s i s p r o p o s e d t o a d d r e s s t h e p r o b l e m s o f i n a d e q u a t e u t i l i z a t i o n o f f e a t u r e i n f o r-m a t i o n,w e a k j u d g m e n t o f l o c a l d e t a i l s b y VG G d i s c r i m i n a t o r s,a n d u n s t a b l e t r a i n i n
6、 g i n t h e e x i s t i n g i m-a g e s u p e r-r e s o l u t i o n r e c o n s t r u c t i o n m o d e l o f g e n e r a t i v e a d v e r s a r i a l n e t w o r k s.F i r s t l y,a g e n e r a t o r i s c o n s t r u c t e d w i t h r e s i d u a l b l o c k s e m b e d d e d w i t h c o o r d i
7、 n a t e a t t e n t i o n t o a g g r e g a t e f e a t u r e s a l o n g b o t h c h a n n e l a n d s p a t i a l d i m e n s i o n s t o e x t r a c t f e a t u r e s m o r e a d e q u a t e l y.T h e D r o p o u t i s a l s o a d j u s t e d t o j o i n t h e n e t w o r k i n s u c h a w a y t
8、 h a t i t a c t s i n t h e g e n e r a t o r t o i m p r o v e t h e g e n e r a l i z a t i o n a b i l i t y o f t h e m o d e l.S e c o n d l y,t h e d i s c r i m i n a t o r i s c o n s t r u c t e d w i t h U-N e t s t r u c t u r e t o o u t p u t d e t a i l e d p i x e l-b y-p i x e l f e
9、 e d-b a c k t o o b t a i n t h e l o c a l d i f f e r e n c e b e t w e e n t h e t r u e a n d f a l s e i m a g e s.F i n a l l y,s p e c t r a l n o r m a l i z a t i o n r e g u l a r i z a t i o n i s i n t r o d u c e d i n t o t h e d i s c r i m i n a t o r t o s t a b i l i z e t h e t r
10、 a i n i n g o f GAN.T h e e x p e r i m e n t a l r e-s u l t s s h o w t h a t w h e n t h e a m p l i f i c a t i o n f a c t o r i s 4,t h e p e a k s i g n a l-t o-n o i s e r a t i o o b t a i n e d o n t h e b e n c h-m a r k t e s t s e t s S e t 5 a n d S e t 1 4 i s i n c r e a s e d b y 1
11、.7 5 d B o n a v e r a g e,a n d t h e s t r u c t u r a l s i m i l a r i t y i s i n-c r e a s e d b y 0.0 3 8 o n a v e r a g e,w h i c h c a n r e c o n s t r u c t c l e a r e r a n d m o r e r e a l i s t i c i m a g e s w i t h g o o d v i s u a l e f f e c t s.K e y w o r d s:s u p e r-r e s
12、 o l u t i o n r e c o n s t r u c t i o n;g e n e r a t i v e a d v e r s a r i a l n e t w o r k;c o o r d i n a t e a t t e n t i o n;U-N e t d i s c r i m i n a t o r*收稿日期:2 0 2 3-0 3-0 6;修回日期:2 0 2 3-0 5-1 6基金项目:国家自然科学基金(6 1 7 7 2 2 4 9);辽宁省高等学校基本科研项目(L J K Z 0 3 5 8,L J KQ Z 2 0 2 1 1 5 2)通信作者
13、:孟欣(8 4 4 4 9 1 2 4 4q q.c o m)通信地址:1 2 5 1 0 0 辽宁省葫芦岛市辽宁工程技术大学电子与信息工程学院A d d r e s s:S c h o o l o f E l e c t r o n i c s a n d I n f o r m a t i o n E n g i n e e r i n g,L i a o n i n g T e c h n i c a l U n i v e r s i t y,H u l u d a o 1 2 5 1 0 0,L i a o n i n g,P.R.C h i n a C N 4 3-1 2 5 8/
14、T PI S S N 1 0 0 7-1 3 0 X 计算机工程与科学C o m p u t e r E n g i n e e r i n g&S c i e n c e第4 6卷第1期2 0 2 4年1月 V o l.4 6,N o.1,J a n.2 0 2 4 文章编号:1 0 0 7-1 3 0 X(2 0 2 4)0 1-0 1 2 2-1 01 引言图像超分辨率S R(S u p e r-R e s o l u t i o n)重建技术旨在将给定的低分辨率L R(L o w-R e s o l u t i o n)图像经过一系列过程恢复出其对应的高分辨率HR(H i g h-R
15、e s o l u t i o n)图像,是一种底层的计算机视觉任务,被广泛应用于卫星遥感1、人脸识别2和医学成像3等领域。早期,图像S R重建分为基于插值4的方法、基于重建5的方法和基于学习6的方法,主要依赖约束项的构造以及图像之间配准的精确度实现重建效果,因此难以恢复出HR图像原本的细节信息。随着深度学习的迅速发展,传统S R重建方法中的瓶颈问题迎刃而解。目前,基于卷积神 经 网 络C NN(C o n v o l u t i o n a l N e u r a l N e t-w o r k)的方法已经成为主流。D o n g等人7最先将C NN应用于图像S R重建问题中,提出了具有里程
16、碑式意义的S R C NN(S u p e r-R e s o l u t i o n C o n v o-l u t i o n a l N e u r a l N e t w o r k),仅使用3个卷积层就实现了从L R图像到HR图像的重建过程。受这一开创性工作的启发,K i m等人8提出了具有深层网络的V D S R(S u p e r_R e s o l u t i o n u s i n g V e r y D e e p c o n v o l u t i o n a l n e t w o r k),首次将残差学习9应用于图像S R重建问题中,实验结果表明该网络取得了更好的重建
17、效果。同年,K i m等人1 0在V D S R的基础上进行改进,提出了D R C N(D e e p l y R e c u r-s i v e C o n v o l u t i o n a l N e t w o r k),该网络使用1 6个递归层,通过递归监督和跳跃连接的方法提高了模型的性能。由于将经过插值的L R图像作为输入增加了计算复杂度,因此S h i等人1 1提出了E S P C N(E f f i c i e n t S u b-P i x e l C o n v o l u t i o n a l N e u r a l n e t-w o r k),直接将L R图像作为输
18、入,采用亚像素卷积层代替反卷积层实现上采样过程,大大缩短了模型的运行时间。近年来,注意力机制被广泛应用于图像S R重建模型中,Z h a n g等人1 2将通道注意力集成到残差块中,提出了R C AN(R e s i d u a l C h a n n e l A t t e n t i o n N e t w o r k),注重特征通道之间的相互依赖性,提高了网络的表达能力。通道注意力机制只是在通道层面选择感兴趣的特征,忽略了空间中的位置信息,而位置信息是视觉任务中捕获目标结构的关键,因此造成了位置特征利用不充分的问题。上述 方 法 都 是 采 用 最 小 化 均 方 误 差MS E(M e
19、 a n S q u a r e E r r o r)的优化思想,虽然在峰值信噪比P S NR(P e a k S i g n a l-t o-N o i s e R a t i o)上取得了较优的结果,但是生成的图像往往过于平滑和模糊。G o o d f e l l o w等人1 3提出的生成式对抗网络GAN(G e n e r a t i v e A d v e r s a r i a l N e t w o r k),将S R重建技术推向了一个新的高度,有效缓解了重建图像的平 滑 和 模 糊 问 题。L e d i g等 人1 4提 出 了S R-GAN(S u p e r-R e s
20、o l u t i o n G e n e r a t i v e A d v e r s a r i a l N e t w o r k),首次将GAN应用于S R任务,通过生成器和判别器的相互迭代训练实现图像的重建。随后,W a n g等人1 5对S R GAN进行改进,提出了E S R GAN(E n h a n c e d S u p e r-R e s o l u t i o n G e n e r a t i v e A d v e r s a r i a l N e t w o r k),将残差块中的批量归一化B N(B a t c h N o r m a l i z a t i
21、 o n)层去掉,使用残差中嵌入残差的结构构建生成器,使得重建图像具有丰富的纹理细节。L i等人1 6提出了用于高质量图像S R重建的B e b y-GAN,采用区域感知的对抗学习策略,使重建图像具有更丰富和更合理的纹理。以上网络均使用了经典的VG G(V i s u a l G e o m e t r y G r o u p)式判别器,其输出是对图像整体结构进行真假判断,没有对局部纹理进行细致的判断,因此重建图像的纹理细节不够逼真。Y a n等人1 7提出了F A S R GAN,使 用 了 类U-N e t(U-s h a p e N e t-w o r k)判别器,并将判别器的其中一个输
22、出作为细粒度注意力反馈给生成器,提升了重建图像的纹理逼真程度。由于U-N e t判别器对复杂的训练输出具有更强的鉴别能力,W a n g等人1 8将其应用于盲S R任务中,重建出了清晰且真实的图像。但是,GAN模型仍然面临着因不易收敛和梯度消失而导致的训练不稳定问题。针对S R重建的现有问题,本文提出了结合坐标注意力和生成式对抗网络的图像超分辨率重建模 型。将 坐 标 注 意 力C A(C o o r d i n a t e A t t e n-t i o n)1 9嵌入到残差块中作为构建生成器的基本单元,可以将通道注意力分解为2个一维特征编码过程,分别沿通道和空间产生注意力特征图,增强模型对
23、特征信息的利用率。引入高级视觉任务中的随机失活层(D r o p o u t)正则化,调节其加入网络的方式,并应用于S R重建任务中,防止过拟合并提高模型的泛化能力。将GAN模型中经典的VG G式判别器改为U-N e t式判别器,对局部纹理产生精确的梯度反馈,以生成清晰且逼真的S R图像。并在相匹配的分辨率之间加入跳跃连接,弥补连续下采样和上采样造成的细节损失。最后在判别器中加入谱归一化S N(S p e c t r a l N o r m a l i z a t i o n)操作,以稳定GAN的训练。通过以上方法充分挖掘特征信息,使重建图像的局部纹理细节更加逼真,进一步提升图像的视觉效果。3
24、21彭晏飞等:结合坐标注意力与生成式对抗网络的图像超分辨率重建2 工作基础2.1 坐标注意力机制通道注意力广泛应用于S R重建任务中,对重要通道即高频特征赋予更大的权重,对图像质量提升幅度较小的通道赋予低权重,从而提升模型的性能。但是,通道注意力忽略了对生成空间选择性注意映射很重要的位置信息,使得特征图中局部空间层面上的信息没有被合理利用。而C A机制将位置信息嵌入到通道注意力中,可以捕获方向感知、位置感知和跨通道的信息。C A机制的实现包括2个部分。第1部分是坐标信息的嵌入,对输入X(设其高度为H,宽度为W,通道数为C)使用池化核的2个空间范围(H,1)和(1,W)分别沿水平和垂直方向对每个
25、通道进行编码,池化后的特征图的高度为h(0hH),宽度为w(0wW),因此,第c(0cC)个通道在高度为h时的输出可表示为式(1),同样地,第c个通道在宽度为w时的输出可表示为式(2):zhch =1W0iWxch,i (1)zwcw =1H0jHxcj,w (2)其中,xc(h,i)表示输入特征图中通道为c,坐标为(h,i)的分量;xc(j,w)表示输入特征图中通道为c,坐标为(j,w)的分量。以上编码过程分别沿着2个空间方向聚合特征,得到一对方向感知特征图。第2部分是坐标注意力的生成,将聚合的特征映射进行级联,并将其送入共享的11卷积变换函数F1()中,得到编码水平和垂直2个方向空间信息的
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 结合 坐标 注意力 生成 对抗 网络 图像 分辨率 重建
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。