基于参考的Transformer纹理迁移深度图像超分辨率重建.pdf
《基于参考的Transformer纹理迁移深度图像超分辨率重建.pdf》由会员分享,可在线阅读,更多相关《基于参考的Transformer纹理迁移深度图像超分辨率重建.pdf(7页珍藏版)》请在咨信网上搜索。
1、2023 年 10 月 图 学 学 报 October2023第 44 卷 第5期 JOURNAL OF GRAPHICS Vol.44No.5 收稿日期:2023-01-31;定稿日期:2023-05-08 Received:31 January,2023;Finalized:8 May,2023 基金项目:国家自然科学基金项目(11872069);四川省中央引导地方科技发展专项(2021ZYD0034);四威高科-西华大学产学研联合实验室项目(2016-YF04-00044-JH)Foundation items:National Natural Science Foundation of
2、 China(11872069);Central Government Funds of Guiding Local Scientific and Technological Development for Sichuan Province(2021ZYD0034);Siwei Hi-tech-Xihua University Industry-University-Research Joint Laboratory(2016-YF04-00044-JH)第一作者:杨陈成(1998),女,硕士研究生。主要研究方向为图像处理、深度学习。E-mail: First author:YANG Chen
3、-cheng(1998),master student.Her main research interests cover image processing and deep learning.E-mail: 通信作者:董秀成(1963),男,教授,硕士。主要研究方向为智能信息处理、计算机视觉等。E-mail: Corresponding author:DONG Xiu-cheng(1963),professor,master.His main research interests cover intelligent information processing,computer vision
4、,etc.E-mail: 基于参考的 Transformer 纹理迁移深度 图像超分辨率重建 杨陈成1,董秀成1,2,侯兵1,张党成1,向贤明1,冯琪茗1(1.西华大学电气与电子信息学院,四川 成都 611730;2.四川大学锦江学院,四川 眉山 620860)摘要:深度图像包含场景深度信息,对颜色和光照的变化具有较强的鲁棒性,使得深度图像在立体视觉等领域广泛应用。由于深度传感器性能的局限性以及深度图像成像环境相对复杂,很难直接获取高质量、高分辨率的深度图像。针对重建出现的边缘细节特征不清晰问题,提出一种基于参考的 Transformer 纹理迁移深度图像超分辨率重建方法。对预处理后的低分辨率
5、深度图像(LR_D)以及参考图像(Ref)特征块,利用归一化内积进行相似度计算,融合 Transformer 计算相似位置置信度,并结合注意力机制进行纹理迁移,最后与低分辨率深度图像特征结合,提高图像细节清晰度,进一步精确重建结果。实验结果表明,相较于其他方法,该方法结构相似性(SSIM)值更高,主观视觉效果和客观评价指标均得到了明显的改善,重建效果良好。关键词:深度学习;超分辨率重建;深度图像;Transformer;注意力机制 中 图 分 类 号:TP 391 DOI:10.11996/JG.j.2095-302X.2023050861 文 献 标 识 码:A 文 章 编 号:2095-3
6、02X(2023)05-0861-07 Reference based transformer texture migrates depth images super resolution reconstruction YANG Chen-cheng1,DONG Xiu-cheng1,2,HOU Bing1,ZHANG Dang-cheng1,XIANG Xian-ming1,FENG Qi-ming1(1.School of Electrical Engineering and Electronic Information,Xihua University,Chengdu Sichuan 6
7、11730,China;2.Jinjiang College,Sichuan University,Meishan Sichuan 620860,China)Abstract:Depth images contain scene depth information and exhibit strong robustness to variations in color and lighting,making them widely used in fields such as stereo vision.However,due to the limitations in depth senso
8、r performance and the complexity of imaging environments,it is challenging to directly obtain high-quality,high-resolution depth images.To address the problem of unclear edge details in reconstructed depth images,a reference-based Transformer texture transfer method for deep image super-resolution r
9、econstruction was proposed.For the preprocessed low-resolution depth images(LR_D)and reference images(Ref)feature blocks,similarity 862 图像处理与计算机视觉 2023 年 1 calculation was performed using normalized inner product.The method integrated Transformer to calculate the confidence of similarity positions,a
10、nd combined it with an attention mechanism for texture transfer.Finally,the method combined the features of the low-resolution depth images to improve image detail clarity and further accurately reconstruct the results.The experimental results demonstrated that compared to other methods,the proposed
11、 method could achieve higher structural similarity(SSIM)values,and that both subjective visual effects and objective evaluation indicators have been significantly improved,indicating the excellence of the reconstruction performance.Keywords:deep learning;super-resolution reconstruction;depth image;T
12、ransformer;attention mechanism 随着计算机视觉技术的发展,深度信息在自主导航、三维重建、虚拟现实等诸多应用中发挥着重要作用。但由于深度传感器性能的局限性以及深度图像成像环境相对复杂,很难直接获取高质量、高清晰度的深度图像。深度图像超分辨率重建方法(depth super resolution,DSR)按照实现技术手段主要分为 2 类:基于非学习的 DSR 和基于学习的 DSR。基于非学习的 DSR 包括:基于滤波1-2的重建方法和基于优化3-4的重建方法。基于滤波的 DSR,文献2针对低分辨率深度图(low resolution depth image,LR-D)
13、可能受到噪声的破坏,提出了一种深度图像上采样滤波器。利用深度图像的局部和非局部区域关系,逐个评估高分辨率深度值,运算复杂度较低,但生成的目标图像常出现边缘平滑、纹理特征清晰度较低等现象5。基于优化的 DSR,先验知识是解决深度图像重建问题不可缺少的一环。MAC AODHA 等6学习低分辨率补丁的高度字段,并且利用马尔科夫随机场(Markov random field,MRF)模型标记问题。文献3利用 MRF 优化重建过程,并通过边缘构建的高分辨率边缘图引导重建任务。利用深度图像退化模型和各种先验知识,将重建问题转换为代价函数最优化的问题,这种方式虽适用于多种退化模型,但运算复杂度较高,先验知识
14、如何选取影响很大5。基于学习的 DSR,利用大量的训练数据,采用深度学习等策略学习不同分辨率图像之间的映射关系,构建映射模型,此类方法重建性能较好,目前应用最广泛。DONG 等7成功的在超分辨率重建任务中引入深度学习,提出 SRCNN 网络直接学习高、低分辨率图像之间的映射关系,此种方法重建图像相较于传统方法效果更好。LI 等8采用卷积神经网络(convolutional neural networks,CNN)学习端到端网络,借助高分辨率彩色图像信息,引导低分辨率深度图重建高分辨率深度图。HUI 等9采用多尺度引导的方式对深度图像进行上采样,探究深度结构与颜色纹理之间的相关性。ZHAN 等1
15、0提出了一种基于图像相似性和特征的图像超分辨率重建方法,跨尺度融合特征获取图像信息。单幅深度图像超分辨率重建时更多利用先验信号,通过学习高、低分辨率深度图像训练数据之间的映射关系,从而推动低分辨率深度图像重建过程。基于参考的深度图像超分辨率重建时与单幅的深度图像超分辨率重建时不同,基于参考的深度图像超分可以利用辅助的图像相关信息11-13,获取更准确的细节特征,可以通过图像对齐或图像块匹配等多种方式实现重建12,利用参考图像进一步改善深度图像重建质量。基于跨任务交互来实现超分重建等方法14。虽然目前以上方法广泛应用于彩色图像超分任务,但在深度图像超分重建中应用较少因此提出一种基于参考的 Tra
16、nsformer 纹理迁移深度图像超分辨率重建方法。通过 Transformer 计算预处理后的低分辨率图像与参考图像之间的相似性,并结合注意力机制,进行纹理迁移。本文首先对基于参考图像的超分辨率重建算法进行分析,对应用Transformer 来解决超分问题的算法进行介绍,提出利用参考图像与 Transformer 结合来进行重建。其次展开介绍参考数据集的构成、损失函数以及其他网络训练细节。最后从主观和客观的角度,评价本文所述的方法在深度图像超分辨率重建中应用效果如何。1 本文算法 针对目前基于学习的 DSR 中出现的边缘细节特征不清晰等问题,本文提出一种基于参考的Transformer 纹理
17、迁移深度图像超分辨率重建算法。对预处理后的 LR-D 以及参考图像特征块,利用归一化内积方法进行特征块相似度计算,融合Transformer 计算相似位置置信度,并结合注意力机制进行纹理迁移,最后与 LR-D 特征结合,进一步精确重建结果。第 5 期 杨陈成,等:基于参考的 Transformer 纹理迁移深度图像超分辨率重建 863 1.1 本文网络结构 图1 是依据本文所搭建的深度图像超分辨率重建算法所绘制的结构框图。LR_D 尺寸记为 HW,HR_D(high resolution depth image)尺寸为 rHrW,参考图像尺寸为 rHrW,其中 LR_D 的高为 H,宽为 W,
18、采样因子为 r。图 1 基于参考的 Transformer 纹理迁移网络结构框图 Fig.1 Block diagram of texture migration network in Transformer based on reference 对 LR_D 和参考图像(reference image,Ref)进行预处理之后输入到 Transformer 中进行相似度的计算以及相似位置的匹配,结合注意力机制为不同置信度的相似位置块赋予不同的权重,进一步提高纹理及结构细节恢复的准确度,再进行纹理特征迁移,并与 LR_D 特征进行融合后得到深度图像重建结果。1.2 基于参考图像的超分辨率重建 基
19、于参考 DSR 需要额外的辅助信息,SISR(single image super resolution)则与之不同,基于参考图像的超分(RefSR)方法引入了其他具有结构高度相似等特点的图像来引导超分辨率重建过程。文献14用 CNN 中的特征替换了简单的梯度特征,以应用语义匹配,并使用 SISR 方法进行特征合成。文献11采用光流以不同比例对齐 LR_D 和 Ref 图像,并将其连接到解码器的相应层中。上述方法的性能在很大程度上取决于 LR_D 和 Ref 图像之间的对齐质量,诸如光流之类的对准方法耗时,不利于实际应用。通常参考图像可以从网络检索15、外部数据库16或来自不同视点的图像11中
20、选择。YUE 等15提出了从网络中检索相似图像的方法,并进行全局配准和结构感知匹配,以提高 LR 和 HR 之间的映射精度,但该算法效果如何则高度依赖于参考图像的匹配程度。XIA 等17提出了一种基于参考的超分辨率加速多尺度聚合网络,对输入大小具有渐近线性计算成本。充分利用跨多个尺度的参考信息并增强对标度错位的鲁棒性。文献11提出一种利用深度模型来重建的 RefSR 方法,从 LR 和 Ref 中提取多尺度特征,在空间上将参考特征图与 LR 特征图进行匹配。因此 ZHANG 等18提出的 SRNTT(super-resolution by neural texture transfer)采用了
21、局部纹理匹配的思想,将 Ref 纹理特征融合到最后结果,通过深度模型来处理,利用多尺度空间特征空间,使得能够从各种参考中学习到复杂的传递过程。因此本文选择利用 SRNTT 方法来构建参考数据集。1.3 LR_D 与 Ref 相似度估计模块 输入 LR_D,并选择与之结构高度相似的高分辨率图像来作为参考图像,其中分别对 LR_D 和Ref 图像进行预处理。如图 2 所示,对 LR_D 进行上采样(LR_D),对 Ref 先下采样再上采样(Ref),与上采样后的LR_D 保持相同的分辨率和相似的结构。通过一个预训练的 VGGNet 模型,进行 LR_D,Ref以及Ref 原图像特征提取,通过特征提
22、取将输入图像分为 若 干 块,将 每 个 块 展 成 向 量 形 式,利 用Transformer 中的 Self-Attention 机制,分别将向量形式的特征表示为 Transformer 中的 Q 和 K,Ref原 图 像 提 取 的 向 量 形 式 的 特 征 被 表 示 为Transformer 中的 V。通过归一化内积计算 Q 和 K中的任意 2 个块向量之间的相关性,即 ,jii jijkqSqk(1)其中,Si,j为 Q 和 K 中的任意 2 个块向量之间的相关性,Q 中不同位置的块由 qi表示(i1,HLR WLR),K 中不同位置的块由 kj表示(j1,HRef WRef)
23、。利用归一化内积所获取的相关性来映射LR_D 与 Ref 之间的相关纹理信息,内积越大的地方代表 2 个特征块之间的相似度越高。1.4 纹理特征迁移模块 由于在深度图像重建过程中,图像不同部分的注意力因素对深度图纹理重建效果影响颇大,现有的基于深度学习的 DSR 在处理纹理模糊和纹理失真方面存在不足,因此在深度图像重建网络中,提高纹理重建的准确度具有重要意义。如图 3 所示,利用归一化内积计算所得到的 Q 864 图像处理与计算机视觉 2023 年 和 K 中任意 2 个块向量之间的相关性,并记录为Si,j,传统的注意力机制对每个 qi取 V 的加权和,这样会使的重建图像最终出现纹理模糊的现象
24、,因此基于 Q 与 V 之间的对应关系,可采取一种找寻在V 中 Q 与 K 最相关的位置的方法 ,argmaxjii jMS(2)其中,Mi(i1,HLRWLR)的值作为索引,其代表LR_D 图像中的第 i 个位置与 Ref 中最相关的位置。将根据索引 Mi找到 V 中对应的第 i 个位置为 iiNVM(3)其中,Ni为从V中的第i个位置中选择的特征图,来作为纹理迁移特征图T中的第i个位置。图 2 LR_D 与 Ref 相似度估计过程图 Fig.2 LR_D and Ref similarity estimation process diagram 图 3 纹理特征迁移过程图 Fig.3 Te
25、xture feature migration process diagram 将提取出的不同部分的纹理迁移特征块与LR_D 特征F进行融合,利用高分辨率参考图信息与低分辨率深度图信息融合,进一步提高纹理迁移特征块选提取的准确度。利用归一化内积计算所得到的 Q 和 K 中任意 2 个块向量之间的相关性,确定Mi处的归一化内积值为纹理迁移特征块的置信度,即 ,maxiii jjPMS(4)对置信度更高纹理特征赋予相对较大的权重,置信度低的纹理特征,赋予较小的权重,再进行纹理迁移,得到最终的深度图像重建输出,使得深度图像重建的效果更加精确。1.5 损失函数 本文以重建损失(reconstructi
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 参考 Transformer 纹理 迁移 深度 图像 分辨率 重建
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。