基于傅里叶域优化的图像去摩尔纹研究.pdf
《基于傅里叶域优化的图像去摩尔纹研究.pdf》由会员分享,可在线阅读,更多相关《基于傅里叶域优化的图像去摩尔纹研究.pdf(7页珍藏版)》请在咨信网上搜索。
1、Journal of Shenzhen Institute of Information Technology0ct.20232023年10 月Vol.21 No.5深圳信息职业技术学院学报第2 1卷第5期基于傅里叶域优化的图像去摩尔纹研究黄颖聪12,柳伟1(1.深圳信息职业技术学院计算机学院,广东深圳518 17 2;2.深圳大学电子与信息工程学院,广东深圳518 0 6 0)摘要:近年来,基于深度学习的方法在图像去摩尔纹任务上取得了巨大成功,但要从摩尔纹图像恢复自然且感知良好的图像仍然具有挑战性。现有的去摩尔纹模型通常依赖空间域损失进行优化。然而,在使用这些损失优化的过程中存在频谱偏差问题
2、,导致高频摩尔纹图案的去除不充分。针对这一问题,提出了一种在傅立叶域进行优化的方法,利用频率信息来增强图像去摩尔纹过程。具体来说,引入傅里叶空间损失对去摩尔纹图像的频率施加限制以指导恢复,帮助去摩尔纹网络更加关注频率一致性。实验结果表明,在利用傅里叶空间损失进行优化后,ESDNet模型的PSNR达到了45.332 5dB,实现了1.6%的提升。关键词:图像去摩尔纹;图像复原;频域学习中图分类号:G124;G 7 12文献标志码:A文章编号:16 7 2-6 332(2 0 2 3)0 5-0 0 0 9-0 7日常生活中,带有内置摄像头的移动设备的广泛使用简化了捕捉和共享屏幕内容的过程。然而,
3、当使用这些设备拍摄屏幕时,经常会出现摩尔纹图案,降低了图像质量和视觉体验。摩尔纹图案是由相机滤色器阵列(CFA)和屏幕的子像素布局之间的频率混叠产生的,通常表现为条纹、振荡网格或曲线图案。这些图案会对后续的视觉理解任务造成影响,例如图像编辑1-2 和目标检测3-5 等。因此,图像去摩尔纹研究已成为视觉研究领域中的一个重要课题。图像去摩尔纹是一个不适定问题,因为每个输人可能有多个去摩尔纹解。随着深度学习的蓬勃发展,基于卷积神经网络(ConvolutionalNeuralNetwork,CNN)的数据驱动方法6-7 在图像去摩尔纹任务中取得了良好的成果。针对摩尔纹图案的多频率特性,Sun8等人提出
4、了一种多分辨率网络来消除不同频率下的摩尔纹图案。此后,越来越多的研究人员开始用CNN模型进行图像去摩尔纹研究。为了更好地利用摩尔纹图案的特征,He9等人引人了摩尔纹图案去除深度神经网络(MoirPatternRemovalDeepNeuralNetwork,MopNet),该网络专注于研究摩尔纹的频率分布、边缘强度和外观类别。然而,该网络的设计过于复杂并且具有大量参数。目前,摩尔纹去除性能的提升主要是由模型架构创新驱动,很少有工作专注于优化损失函数来匹配摩尔纹图案的频率特性。大多数图像去摩尔纹模型使用空间域像素损失或感知损失来优化网络。然而,使用空间域中定义的损失函数通常会存在频谱偏差问题10
5、-1,即神经网络倾向于以有偏差的方式学习低频。并且由于一般图像的低频部分比高频部分具有更大的数量级,损失函数倾向于关注并更多地了解低频。由于被摩尔纹图案污染的图像会在频域中表现出大量的高频噪声,使用空间域损失进行优化无法完全去除这些高频噪声。因此,有必要针对这一问题进行解决,以产生具有良好视觉感知的收稿日期 2 0 2 3-0 5-2 5【作者简介】黄颖聪(1998-),男(汉),广东人,在读硕士,主要研究方向:图像处理。第2 1卷深圳信息职业技术学院学报10图像。本文提出一种用于训练图像去摩尔纹网络的傅里叶空间损失(FourierSpaceLoss,FSL),使用二维离散傅里叶变换分别将复原
6、的图像和Ground-truth图像转换为相应的频率表征并计算二者在频域空间中的距离。通过使用FSL来引导去摩尔纹模型专注于解决图像中对人类感知最重要的部分,监督恢复图像的频率信息。因此,通过这种指导可以更好地去除摩尔纹图案,并且可以获得具有高感知质量和更少伪影的结果。与空间域损失优化提供的局部指导不同,傅立叶变换引人的频域损失提供了全局指导2 。本文实验验证所提出的方法在公共数据集上实现了SOTA的结果,并且提出的损失可以和其他空间域损失进行互补。1相关工作1.1图像去摩尔纹近年来,图像去摩尔纹的方法得到了显著的发展。现有的方法可以大致分为两类:模型驱动方法和数据驱动方法。模型驱动方法采用滤
7、波或图像分解技术。Wei等人13 引人了中值高斯滤波方法来消除X射线显微镜图像中的摩尔伪影。Liu等人4 指出,摩尔纹图案在频域中的能量分布是集中的并且很少与纹理混合。他们通过在空间域中对纹理补丁实施低秩约束以及在DCT域中对摩尔纹图案实施稀疏约束,将退化图像分为纹理层和摩尔纹层。然而,这些模型驱动的方法通常会导致恢复图像过于平滑,缺乏精细的细节。与模型驱动方法不同,数据驱动方法采用卷积神经网络直接学习摩尔纹图像到清晰图像的转换。例如,Sun等人引人一种非线性多分辨率全卷积神经网络,能够解决不同频段的摩尔纹图案。他们还提出了第一个大规模的真实世界数据集,这激发了许多后续的研究。2 0 19年,
8、考虑到摩尔纹的动态变化特性,Cheng等人5 提出一种动态特征编码模块,专门用于处理多尺度摩尔纹图案。2 0 2 0 年,Zheng等人提出一种多尺度带通卷积神经网络,将图像去摩尔纹任务分为纹理恢复任务和颜色恢复任务。他们采用两步骤色调映射策略来进行全局色偏校正。为了处理高分辨率图像,He等人17)则提出了一种全高清去摩尔纹网络(FullHigh-DefinitionDemoireingNetwork,FH D e 2 Ne t),它利用两个分别聚焦于全局和局部摩尔纹图案的独立网络。Yang等人18 则设计了一个高分辨率去摩尔纹网络(H i g h-Re s o l u t i o n D e
9、 mo i r e Ne t w o r k,H RD N),它由并行高分辨率网络、连续信息交换模块和最终的特征融合层组成。2 0 2 2 年,Yu等人9提出了ESDNet,采用语义对齐的尺度感知来去除超高清图像中的摩尔纹图案。1.2频域学习近年来,出现了许多算法,通过从频域提取信息来解决各种任务。例如,Liu等人2 0 引入小波变换来取代传统的图像调整大小操作,提高了放大和缩小过程的质量。另一种方法,FDIT21则有效地将图像分解为低频和高频分量,从而增强了整体图像生成过程。在图像去模糊领域,SDWNet2已成功地将小波变换集成到深度神经网络中,从而实现了出色的去模糊效果。类似地,Xue等人
10、2 3 提出了一个紧凑的频域神经网络,通过具有激活函数的多个卷积层来学习低层结构,最终在频域中实现更高质量的图像重建。总体而言,这些方法显示了卷积神经网络(CNN)在频域空间操作时的有效性。1.3图像的傅里叶域表征傅里叶变换是信号处理中广泛使用的强大工具,它可以将信号从时域变换到频域,将其分解为易于实现和具有可观察特性的基本信号的总和。它实现了从时间基到频率基的基变化。作为多维信号,图像的频率是衡量像素强度变化程度的指标。图像的二维离散傅立叶变换可以定义为:F(u,)=ZM-1 Z,=1(x,)e-2(+%)(1)式中,x,y)表示输人图像在位置(x,y)处的像素值,F(u,v)表示复频率分量
11、,M和N是输人图像的宽度和高度,i是虚数单位。离散傅里叶变换后得到的图像,通常用幅度和相位来表示:M(u,v)=F(u,v)|=/Re(u,D)2+Im(u,)(2)P(u,v)=arg(F(u,v)=tan-1(Im(u,v)(3)(Re(u,v)式中,Im和Re分别表示图像傅立叶变换的虚第5期11黄颖聪,柳伟:基于傅里叶域优亻的图像去摩尔纹研究部和实部。幅度谱表示图像中不同频率分量的强度,而相位谱表示这些分量在图像中的位置和相对相位。2基于傅里叶域优化的图像去摩尔纹2.1图像去摩尔纹方法建模令XCRHxWC表示受摩尔纹图案污染的退化图像集合,令YCRHxWxC表示对应的干净图像集合。去摩尔
12、纹任务的目标是设计一个去摩尔纹网络,用G()表示,对退化图像xEX进行变换得到恢复图像,使其与对应的干净目标图像趋于一致。该变换可以表示为=G(x;),其中表示输出图像,0 表示参数。之前的工作采用了预先训练的高级视觉网络(例如VGG的中间层)来指导恢复学习过程。这些网络表示为(),用于尽可能保留输出图像 的感知细节。这是通过最小化()特征空间中干净图像和恢复图像的特征表示之间的距离或相似性度D()来实现的。在数学上,表示为目标函数:L(x,y,G)=D(y),(G(x)(4)2.2傅里叶空间损失本文对不同损失函数进行优化的结果进行了频谱分析,结果如图1所示。可以看出,Ground-truth
13、图像的大部分亮点都集中在频谱图的中心,即低频部分。而摩尔纹图像的频谱有更加对称的高频噪声分布,这表明摩尔纹大部分集中在高频区域。图1c-1e表明使用空间域损失优化的图像仍然具有一些无法去除的对称细线形状或点状噪声。基于这一观察,本文的动机是通过频谱正则化来学习更真实的图像。(a)Input(b)GT(e)i1(d)Perceptual(C)ASL(nFSL(Ours)图1不同损失函数优化结果的频谱分析图因此,本文提出一种与模型无关的傅里叶空间损失来训练图像去摩尔纹网络,图像傅里叶频谱中的特定空间频率在经过傅里叶变换后取决于所有图像像素,因此具有全局性质。目标是减少基于CNN的方法产生的失真,并
14、利用频率信息作为图像去摩尔纹的指导。对于深度网络,傅立叶空间约束可以提供额外的监督以实现更好的图像恢复。受这种直观理解的启发,设计了傅里叶空间损失来抑制摩尔纹图案的生成。具体来说,使用快速傅立叶变换来将输出和相应的地面真实图像转换到频域。在频域中,y和之间的实部和虚部的L1范数差值分别表示为LE.Re和LEIm。基于F(u,v)和F(u,v),LF.Re 和LEm计算如下:LF,Re=Zu=Zv=1|e(u,)-Re(u,)ll(5)Lp,/m=Zu=Z=l/m(u,v)-Im(u,)l(6)由于图像由多个颜色通道组成,因此分别计算每个通道的傅里叶变换并按通道执行变换。公式中省略了通道的表示。
15、最后,傅立叶空间损失定义为LERe和LEIm之和:LF=LF,Re+LF,Im(7)摩尔纹的产生是频率混叠从而不满足奈奎斯特采样定理产生的,与图像在空间域中的表示相反,这些高频率的噪声可以在频率空间中清楚地分离。此外,傅立叶分量提供有关图像的全局信息,而不是由空间域中的像素表示的局部信息。利用这些属性来设计新的损失,以实现高效的感知去摩尔纹训练。算法的流程图如图2 所示。input.imagePast FouniarTransfommclean image48DemotreingdethemnNetwdoutputimageyLI-NomSpeetrunFFTYSpectru图2 傅里叶损失优
16、化算法的框架流程图2.3训练损失设置本文将FSL作为空间域中定义的损失(例如L1或L2损失等)的补充损失。完整的训练损失设置由空间域中的损失和提出的傅里叶域中的损失组成。如下式所示:第2 1卷12深圳信息职业技术学院学报Ltotal=LLspatial+入LF(8)其中表示调整两个损失项之间的平衡的超参数。3实验与结果分析3.1数据集和评价指标本文的实验是在三个可公开访问的基准数据集上进行的:LCD-Moir、T I P2 0 18 和FHDMi。LCD-Moir数据集包含10 2 0 0 对合成生成的图像。TIP2018数据集是从ImageNet中提取的真实照片的集合,每张照片的分辨率为40
17、 0 40 0。它包含135000个图像对,其中90%-10%分别用于训练和测试。FHDMi数据集包括998 1个用于训练的图像对和2 0 19个用于测试的图像对,所有图像对的分辨率为192 0 10 8 0。为了进行评估,本文采用三个广泛使用的指标:PSNR(峰值信噪比)、SSIM(结构相似性)和LPIPS(学习感知图像块相似性)进行全面的定量分析。3.2实验细节本文选择DMCNN(一种具有多尺度结构的图像去摩尔纹网络)作为骨干网络来评估提出方法的有效性。初始学习率设置为0.0 0 0 1,并使用循环余弦退火策略进行调节,模型使用Adam优化器进行优化。对于FHDMi和LCD-Moir数据集
18、,本文从高清图像中随机裁剪512 512 块,并以batchsize为训练模型150 个epoch。对于TIP2018数据集,本文使用batchsize为4训练模型7 0 个epoch。3.3结果和分析3.3.1实验结果本文对每个数据集都采用PSNR、SSI M 和LPIPS进行定量评估,验证了所提出方法所带来的改进。较高的PSNR和SSIM值表示较好的图像质量,而较低的LPIPS值则表示图像感知质量更好,因为它表明生成的图像的感知质量更接近干净的图像。对比实验结果如表1中所示,与仅使用L1损失相比,使用傅里叶空间损失优化的模型所有数据集都有一致的性能提升。与其他损失相比,FSL在大多数指标中
19、实现了最佳性能。此外,本文还进行了消融实验,以探究幅度和相位对图像去摩尔纹网络性能的影响。实验结果表明,从整体傅里叶空间损失中单一去除幅度或相位分量会显着降低性能,这表明了同时考虑这两个分量的重要性。值得注意的是,可以观察到保留幅度信息的性能增益相对大于相位信息的性能增益,这是由于能量主要集中在振幅上。表1不同损失的性能比较数据集评价指标L1+ASL+Perc+FFL+Ampli+Phase+FSL(Ours)PSNRT34.590835.476535.781934.782036.501735.632737.0480LCD-MoireSSIMT0.98430.98700.99050.98420
20、.98880.98700.9889LPIPSI0.07220.05670.02540.07260.04810.05960.0471PSNRT21.488221.579921.533321.588421.770221.527221.8129FHDMiSSIMT0.77620.77960.76490.77690.78690.77840.7930LPIPSI0.24250.23850.22230.24320.21910.24350.2334PSNR126.611126.990527.394526.910327.110126.955727.4160TIPSSIMT0.86480.87450.88200
21、.87200.87750.87300.8816LPIPSI0.15750.14550.13090.14880.13490.14740.14393.3.2主观质量结果比较本文还将提出的方法与广泛使用的损失函数(包括LI loss,ASL,Perceptual loss and FFL)进行主观质量结果比较。主观质量对比结果如图3和图4所示,显示了提出方法的有效性。对于合成的LCD-moir数据集,可以观察到使用傅里叶损失进行优化的复原结果比其他方法更自然,并且减轻了模糊性。对于第一张图像,FSL显着降低了在平坦区域中生成大面积伪影的风险,并第5期13黄颖聪,柳伟:基于傅里叶域优化的图像去摩尔纹研
22、究有效去除了大多数高频摩尔纹图案,从而提高了图像的感知质量。在其他行中,提出的方法也比对比方法恢复得更好。使用傅里叶损失优化的结果中的纹理细节清晰,没有严重扭曲,而其他方法无法显示出令人满意的物体外观。Fis the me is the ma is the me is the me is the me is the meskshirt.ckshirt.kshirt.k shirt.skshirt.ckshirt.e3Cre3:Ccre3:Cce3:Cce3:Cce3:Cce3:CcIputL1A.SLPerceptualFFLOursGiround-truth图3不同损失函数合成LCD-Moi
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 傅里叶域 优化 图像 摩尔 研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。