基于边缘先验的人脸去手势遮挡修复方法研究_欧静.pdf

2023 年 6 月 10 日第 7 卷 第 11 期现代信息科技Modern Information TechnologyJun.2023 Vol.7 No.1197972023.062023.06收稿日期：2023-04-07基于边缘先验的人脸去手势遮挡修复方法研究欧静，文志诚（湖南工业大学，湖南 株洲 412007）摘 要：针对当下人脸去手势遮挡任务中常出现的结构缺失和纹理模糊等问题，文章提出一种基于边缘条件和注意力机制的两阶段修复网络EmmNet。第一阶段网络为第二阶段细节修复提供边缘指导信息，以避免出现过度平滑等问题。第二阶段网络中的并行多扩张卷积模块可在有效扩大网络感受野的同时提高对有效像素的利用率。此外，注意力模块可促使网络生成具有全局一致性，使研究者获得符合原图特征的修复图像。实验结果表明，EmmNet 在去手势遮挡任务中可以生成轮廓结构更加完整流畅，细节纹理更加清晰自然的人脸图像。关键词：卷积神经网络；生成对抗网络；人脸修复；注意力机制中图分类号：TP18；TP391.4 文献标识码：A 文章编号：2096-4706（2023）11-0097-05Research on Face Removal and Removing Gesture Occlusion Restoration Method Based on Edge PriorOU Jing,WEN Zhicheng(Hunan University of Technology,Zhuzhou 412007,China)Abstract:Aiming at the problems of lack of structure and blurred texture that often appear in the current face removing gesture occlusion task,this paper proposes a two-stage inpainting network based on edge conditions and attention mechanismEmmNet.The one-stage network provides edge guidance information for the second-stage detail restoration to avoid problems such as over-smoothing.The parallel multi-expansion convolution module in the second-stage network can effectively expand the network receptive field and improve the utilization of effective pixels.In addition,the attention module can promote global consistency in network generation,enabling researchers to obtain repaired images that match the original image features.The experimental results show that EmmNet can generate a face image with a more complete and smooth outline structure and clear and natural detail texture in the removing gesture occlusion task.Keywords:Convolutional Neural Network;Generative Adversarial Network;face restoration;attention mechanism0 引 言人脸图像去遮挡及修复作为图像修复领域的重要研究课题，具有广阔的应用空间。在安保监控领域，监控图像中的人脸信息因受帽子、口罩、手势等遮挡物影响而造成人脸识别1失败的情况屡见不鲜。通过人脸修复技术对被遮挡的人脸图像进行恢复可以有效提高人脸识别系统在处理被遮挡人脸图像时的准确率，因此，人脸修复结果更需要尊重原始图像中人脸的五官特征、肤色发色以及皮肤生长状态和纹理。这就要求所生成的人脸图像要更加贴合原图的五官结构和纹理特征，要尽可能地减少色彩误差和纹理扭曲，提高生成结果的准确度。为此，在图像生成过程中如何引入必要的先验知识或特定的假设，以帮助网络生成完整合理的人脸面部结构信息成为亟需解决的问题之一。鉴于此，本文提出一种基于边缘条件和注意力机制的人脸图像修复方法EmmNet。整体而言，EmmNet 是一个两阶段修复网络，第一阶段主要完成的任务是引入修补的边缘图像为修复任务提供先验DOI:10.19850/ki.2096-4706.2023.11.023信息以避免结构缺失以及生成图像过渡平滑的问题，第二阶段则进行细节和纹理层面的修复。在网络的设计中，我们在第二阶段增加了门控卷积以减少修复过程中无效像素对特征提取的影响。与此同时，我们使用在不同扩张率下并行工作的多扩张卷积结构来代替传统的残差卷积块，这样可以在有效扩大感受野的同时进一步提高网络对有效像素的利用率。在判别器的选择上，我们采用可在两个尺度下同时工作的马尔可夫判别器，该设计结构可以保证生成图像结构的一致性，有利于实现稳定训练。经过试验训练，EmmNet 在实现手势遮挡方面取得了较好的效果，在 PSNR、SSIM 等指标上都取得了优良的实验结果，且在不规则遮挡实验测试中也表现出优秀的修复能力。1 近期相关工作图像修复方法一般分为基于传统数学推理思想的方法和基于深度学习的方法。就修复原理而言，修复网络需要充分挖掘和利用不完整图像中显式存在的像素信息从而进一步推理丢失的图像内容2。对于生成的图像则要求语义连贯，结构完整且局部纹理信息清晰明确。传统方法在大面积修复效果上具有较大的局限性且修复结构中往往存在明显的结构缺98982023.062023.06第 11期现代信息科技失和纹理模糊等问题，因此，相较于传统修复方法，编解码器结构3和生成对抗网络4的提出为图像修复工作提供了全新的思路和方法。一方面，深度学习方法中的各种编码器解码器变体结构等建模方法可以在无监督模式下通过对高维数据进行压缩编码来提取图像中的有效特征信息，进而从海量数据库语料中不断学习以拟合训练数据集中图像数据在潜在空间中的真实分布。同时，凭借自身优秀的“泛化”能力，这些网络结构可以以此重构出与原始图像具有相似特征分布的图像数据。然而，基于自编码器变体的方法本质上是一种可以生成新样本的概率框架，但其生成的图像结果往往较为模糊，质量较低。另一方面，基于生成对抗网络思想而生的网络变体结构设计一系列损失函数，采用对抗博弈的方式对生成器和鉴别器进行联合训练，使生成器可以改写噪声分布并使其可以无限接近于目标分布。2 提出方法2.1 网络结构如图 1 所示，EmmNet 网络由两阶段组成，包括边缘生成网络和纹理生成网络。两个网络生成器的两层下采样层及两层上采样层结构一致，边缘生成网络的特征提取部分由 8个堆叠排放的残差卷积块组成，纹理生成网络的特征提取部分则由8个多扩张卷积块5和1个注意力模块堆叠排列而成。注意力模块可对经过特征提取和推理的特征图像进行进一步的特征匹配，促进生成图像的全局一致性。在鉴别器的设计上，边缘生成网络的鉴别器选用传统的谱归一化马尔可夫鉴别器。纹理生成网络则由两层鉴别器构成，第一层鉴别器在原图尺寸上进行判定，第二层鉴别器则在下采样后的输出图像上进行判定。多扩张卷积块由四个并行工作扩张率分别为（1、2、4、8）的子内核构成，四个子内核的通过数均为64。随后将来自四个子内核的输出特征在通道维度上进行拼接及特征融合，最后还需与门控值相乘，以此减轻 mask 中无效元素对特征提取过程的影响。值得注意的是，实验在确定扩张率的组合值时发现扩张率别为（1、3、6、9）的扩张卷积在处理 256256 的原始图像时输出效果略低于（1、2、4、8）。细节生成网络的鉴别器由于在两个尺度的输出图像中进行判定并传递损失值，因此可将其看作一个多任务学习过程，可由式（1）来表示：（1）2.2 注意力模块在细节纹理生成网络中具有多种扩张率融合的局部卷积核逐层处理图像特征，虽然可以在一定程度上扩大局部空间的感受野，但是对于从较远空间位置借用特征仍存在局限性。因此引入了注意力机制，在网络特征提取后引入一个新的上下文注意层对经过修复的特征图谱进行注意力计算，使之能够利用全局信息进一步帮助解码器结构提高图像的视觉质量，特别是在进行大结构和长距离纹理模式图像计算时，效果尤为明显。注意力的计算原理为从已知的背景图块中找寻与当前位置关联度较高的图像特征信息以帮助生成缺失面片。并使用归一化内积（即余弦相似度）来度量二者（可表示为 Fi和 Fj）之间的相似关系，假设 表示以（ix,iy）和（jx,jy）为中心的特征块相似性，用于计算二者之间的亲和度。随后通过矩阵乘法计算 F 的加权平均形式为。最后，将 F 和 进行拼接并应用 11卷积层保持 F 的原始通道数。计算过程如式（2）所示：（2）经实验验证，该注意力层可以放置在任何一层特征图输出层之后并对其进行匹配。然而，注意力计算量与输入特征图的尺寸关系密切且对 GPU 显存占用较大，因此本文只在编码器和特征提取的最后阶段使用注意力模块进行处理，该层的特征输出大小为 6464。我们在试验中也尝试在各解码层后对输出进行特征提取，但均发生 GPU 显存溢出的现象。2.3 损失函数设置EmmNet 网络中边缘网络的联合损失函数由平均绝对误差、特征匹配损失及对抗损失组成，如式（3）所示。纹理生成网络的联合损失函数则由平均绝对误差、风格损失、感知损失及对抗重建损失构成，如式（4）所示，其中 x表示损失函数对应的权重超参数。二进制掩码边缘信息图灰度图 扩张卷积8Real/rake感知损失 边缘生成网络多扩张卷积块8Real/rakeReal/rakeL1损失风格损失重建损失 纹理生成网络DedgDim_2Dim_1完整边缘信息待修复图像边缘生成器纹理生成器 Attentionblock输入:HWH/2W/2H/4W/4HWH/4W/4H/2W/2H/2W/2HWH/2W/2HWH/2W/2输入:图 1 整体网络结构流程图99992023.062023.06第 11期 （3）（4）其中，特征匹配损失通过对比修复结果的特征图与原图特征图之间的差异返回损失值，以此提升边缘生成的准确度。感知损失的作用原理是对于生成的图像不仅要关注像素层级上的重建效果，更要立足于图像的高层语义特征。风格损失函数计算生成图像和原图二者在预训练网络中第 i 层特征图谱对应的风格矩阵间（Gram 矩阵）的 l1 距离，并以此为依据约束生成图像的风格特征使之获得向原图靠近的效果。联合损失函数的设计既保证了生成内容的像素级精度，也在结构语义层级上给予约束。经过实验验证，超参数设置为 adv=0.1，fm=10，l1=1，perc=0.1，style=250。3 实验设置为了更有针对性地处理人脸去手势遮挡任务，我们在训练时采用了由 Voo 等人6提出的手势遮挡合成方法，用于生成符合日常生活场景下的手势遮挡效果。CelebA-HQ7数据集中包含 3104 张高清人脸图像，也是实验训练中主要使用的人脸数据，11K Hands 数据集由 Afifi等人8提出，其中包含 11 076 张取自不同性别、不同年龄采集者的正反面手部照片，该数据集也是本文实验中的主要遮挡来源。在测试网络性能时我们进一步采用了由 Liu 等人9贡献的不规则掩码数据集。该数据集中包含 1.2104 张不规则掩码图像，其掩码区域占比从 10%扩大到 60%，以 10%的增量递增。为了实现数据增强，所有图像在进入网络参与训练前在垂直或水平方向进行随机翻转。本文实验均在大小为256256 的图像上进行。硬件设施为一块 RTX 3090 显卡及12 核 CPU，实验环境为 Ubuntu 操作系统，Python 3.8.10，搭配 PyTorch 1.8.1 深度学习框架及 11.7 版本 CUDA。网络初始训练学习率为 10-4趋于收敛后调整为 10-5，批处理大小为 4，Adam 优化动量分别设置为 0 和 0.9。4 结果与分析4.1 定量分析为了更加公平地评价对比网络与本文网络的修复性能，我们采用普及面最广的 PSNR（峰值信噪比）、SSIM（结构相似性指数）、L1 误差以及 LPIPS（图像感知相似度）对各网络的生成结果进行测试。测试图像尺寸均为 256256，为了保证测试的公平性，实验使用在 Celeba_HQ 测试集中随机抽样的1 000张图片在手势遮挡的情况下进行修复测试，且对不同的算法在测试时均使用相同的图像掩码对，最后对修复结果评价指标取平均值进行比较。实验将 EdgeConnect10、上下文注意力11（CA）和本文算法 EmmNet 进行对比测试。同时，为了验证本文方法中各环节的有效性提出对比实验：A 组（EdgeConnect+多扩张卷积结构）；B 组（EdgeConnect+Attention 结构）。本章将就以上五种修复网络各自的输出结果进行定量和定性分析比较，评价结果如表 1 所示。表 1 不同修复方法在人脸去手势遮挡任务中的结果指标对比方法评价指标PSRN+SSIM+L1 误差-Lpips-eEdgeNet26.477 20.910 80.014 40.072 2CA25.230 20.891 70.020 30.100 8A 组参照26.933 90.915 00.013 50.070 1B 组参照26.882 80.914 40.013 60.072 4EmmNet(Ours)27.044 70.915 70.013 30.069 8从表 1 中可以看出，EmmNet 网络及其两个对照组实验结果在四个评价指标上都获得了较好的数值结果。具体而言，与原网络模型相比，EmmNet 在结构相似度指标上提高了5，在峰值信噪比指标上提高了 0.57，且其图像感知相似度和 L1 误差指标均有所降低，这说明网络在去手势遮挡修复中的生成内容更符合人类视觉感知，且与原图更加接近，失真更少，精度更高。通过观察对照组实验指标可以发现，相较于原模型，A组（Edge+GM）在PSNR指标上增加了0.45，B 组（Edge+Att）在 PSNR 指标上增加了 0.40。在 SSIM 指标上 A 组和 B 组均有所增加，说明多扩张卷积块与注意力结构可以帮助提高整体网络的生成性能。为了更近一步探索 EmmNet 在不规则遮挡方面的表现力，我们将其与原 EdgeConnect 和两组对照模型在 5 组不规则遮挡图像中进行测试，五组掩膜的遮挡面积占比以10%50%递增。测试数据如表 2 所示，测试结果如图 2、图 3 所示。与 EdgeConnect 相比，当缺损面积在 0%10%之间时参数增量最大，达到 4.2，这说明多扩张率的卷积结构在关注较远上下文的同时还可以关注到局部的修复效果。当缺损比达到 50%时，PSNR 值分别增加 2.35 和 0.55。LPIPS 值缩小 0.621，进一步说明模型在扩大感受野以获取相似结构以及生成更符合人类视觉特征的纹理信息上具有明显的优势。表 2 不同修复方法在人脸不规则缺失修复任务中的 PSNR/LPIPS 指标掩码面积占比PSNR+/LPIPS(*10-1)-EdgeConnectA 组参照B 组参照EmmNet(Ours)1%10%32.040/0.62436.064/0.30634.835/0.38636.223/0.30310%20%28.733/0.99530.484/0.67330.342/0.75130.699/0.66320%30%25.819/1.42726.966/1.12827.159/1.14827.346/1.09030%40%23.217/1.97024.371/1.59724.639/1.56324.717/1.56040%50%20.065/2.75921.92/2.15022.297/2.11322.419/2.108欧静，等：基于边缘先验的人脸去手势遮挡修复方法研究1001002023.062023.06第 11期现代信息科技 （a）原图 （b）输入 （c）EdgNet （d）A 组对比（e）B 组对比（f）EmmNet图 2 不同修复方法在 30%40%不规则缺失占比修复任务中的结果示例 （a）原图 （b）输入 （c）EdgeCon（d）A 组对比（e）B 组对比（f）CA （g）EmmNet图 3 不同修复方法在人脸去手势遮挡任务中的修复结果示例4.2 定性分析图 2 中列举了包含原 Edgeconnect 修复网络、上下文注意力网络、本文提出方法以及两项对照组实验的部分修复结果，图中红框标识位置为重点对比区域。从图中第一行对比结果中可以看出，即使输入图像中已经缺失完整的眼、鼻、唇结构，EmmNet 依旧可以对其进行修复，且相比较而言，唇、鼻轮廓完整清晰，眼部结构也十分贴合原图特征，整体效果流畅自然。从图中第二三行对比结果中可以看出，修复后的图片虽然与原图特征略有不同，但眼部结构及细节真实自然，难以发现修复痕迹。图中第四行展示了网络对面部轮廓的修复效果，EmmNet 的轮廓过度更加自然且没有出现模糊的现象。相较而言，上下文注意力修复会引入明显的伪影和略显突兀的纹理信息。原 EdgeConnect 网络由于受边缘输出的限制会出现结构缺失和弱化的现象，而经过改进的EmmNet 网络则完美地结合了二者的优势，生成的面部图像结构更加完整合理，细节纹理也更为清晰，符合人类的视觉感知。5 结 论本文针对人脸去手势遮挡任务提出一种基于边缘条件和注意力机制的两阶段修复网络EmmNet。由于人脸图像具有鲜明的结构特征，因此加深对其结构的把握可以有效提升图像的修复效果。针对这一特征我们采用边缘这一辅助的预测信息指导修复过程，促进网络对人脸五官结构的重塑。为了加强对有效像素的利用，网络放弃了直接堆叠的单扩张率空洞卷积而采用具有不同扩张率的卷积并行结构，以此提高对真实像素点的利用率。此外，注意力模块的使用也可以帮助缺失区域匹配相似的信息，提高图像的全局和局部一致性。参考文献：1 刘晓磊.基于生成对抗网络的口罩遮挡人脸修复与识别的研究 D.成都：电子科技大学，2022.2 罗海银,郑钰辉.图像修复方法研究综述 J.计算机科学与探索，2022，16（10）：2193-2218.3 RUMELHART D E，HINTON G E，WILLIAMS R J.Learning internal representations by error propagation EB/OL.2023-03-12.https:/dl.acm.org/doi/10.5555/65669.104449.（下转104页）1041042023.062023.06第 11期现代信息科技4 性能分析4.1 存储空间占用测试记录监控数据相应不同存储周期时存储空间的占用情况，将 TDEngine 与 MySQL 进行对比。如图 5 所示，结果表明，得益于数据压缩算法的优化，时序数据库 TDEngine的存储空间占用远少于关系数据库 MySQL，并且随着数据量的增加，数据压缩性能的优势更大。0.0040.070.310.910.020.422.137.820123456789一小时一天一周一月存储占用/GBtdengineMySQL图 5 存储空间占用对比4.2 查询性能测试在不同的数据存储周期进行基于数据值的检索，将TDEngine 与 MySQL 进行对比。如图 6 所示，结果表明，得益于 TDEngin 数据索引算法的优化，时序数据库 TDEngine的查询性能明显优于关系数据库 MySQL，并且随着数据量的增加，数据查询性能的优势更大。5 结 论本文研究和实现了基于时序数据库的海洋装备监控数据存储系统，该系统在时序数据库 TDEngine 和 OPC UA 数据协议的基础上，实现了数据存储服务，解决了海量监控数据使用关系数据库存储时空间占用大和查询性能差的问题，并通过 Grafana 工具解决了监控数据快速可视化的问题。本系统目前已经应用在中型作业级 ROV 上，后续将不断升级优化，在更多的海洋装备上得到应用。1831902133083014066131 20202004006008001 0001 2001 400一小时一天一周一月查询时间/mstdengineMySQL图 6 查询时间对比参考文献：1 吴卓成，黄文君.船用柴油机智能报警监控系统的设计 J.中国造船，2009，50（3）：146-150.2 王诗文，张宁，沈智鹏，等.基于 OPC 技术的船舶机舱数据采集与监测系统 J.大连海事大学学报，2014，40（3）：73-78.3 侯建钊，高菲，张东昆.基于 MOOS 的 AUV 的数据采集和监控系统 J.现代电子技术，2014，37（20）：130-133.4 何纯全，汤仕平，施佳林.舰船电磁环境数据库的设计与实现 J.装备环境工程，2020，17（3）：120-124.5 ANH V N，MOFFAT A.Index Compression Using 64-Bit Words J.Software:Practice and Experience，2010，40（2）：131-147.6 ZUKOWSKI M，HEMAN S，NES N，et al.Super-scalar RAM-CPU Cache Compression C/22nd International Conference on Data Engineering(ICDE06).Atlanta：IEEE，2006：59.7 蒋涛，冯玉才，朱虹，等.RQIC：一种高效时序相似搜索算法 J.计算机研究与发展，2009，46（5）：770-778.8 禹鑫燚，殷慧武，施甜峰，等.基于 OPC UA 的工业设备数据采集系统 J.计算机科学，2020，47（S2）：609-614.9 王博远，梁子阳，刘雪萌，等.基于Telegraf+InfluxDB+Grafana搭建长输供热系统的监控平台研究 J.中国设备工程，2021（22）：177-178.作者简介：倪昱（1980.06），男，汉族，湖南长沙人，高级工程师，硕士，研究方向：海洋装备信息系统、深海智能作业操控技术等；郑志恒（1991.09），男，汉族，江苏徐州人，工程师，硕士，研究方向：智能作业操控技术。4 GOODFELLOW I J，POUGET-ABADIE J，MIRZA M，et al.Generative adversarial nets J/OL.arXiv:1406.2661v1 stat.ML.2023-03-15.https:/arxiv.org/pdf/1406.2661v1.pdf.5 ZENG Y，FU J，CHAO H，et al.Aggregated contextual transformations for high-resolution image inpainting J/OL.arXiv:2104.01431 cs.CV.2023-03-05.https:/arxiv.org/abs/2104.01431.6 VOO K T R，JIANG L M，LOY C C.Delving into high-quality synthetic face occlusion segmentation datasets C/2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops(CVPRW).New Orleans：IEEE，2022：4711-4720.7 LEE C H，LIU Z W，WU L Y，et al.Maskgan:Towards diverse and interactive facial image manipulation EB/OL.2023-02-25.https:/ AFIFI M.11K Hands:Gender recognition and biometric identification using a large dataset of hand images J.Multimedia Tools and Applications，2019，78（15）：20835-20854.9 LIU G，REDA F A，SHIH K J，et al.Image inpainting for irregular holes using partial convolutions EB/OL.2023-02-29.https:/ NAZERI K，NG E，JOSEPH T，et al.EdgeConnect:generative image inpainting with adversarial edge learning J/OL.arXiv:1901.00212 cs.CV.2023-02-14.https:/arxiv.org/abs/1901.00212.11 YU J H，LIN Z，YANG J M，et al.Generative image inpainting with contextual attention C/2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City：IEEE，2018：5505-5514.作者简介：欧静（1997），女，汉族，陕西汉中人，硕士研究生在读，研究方向：计算机视觉、图像生成与分析；通讯作者：文志诚（1972），男，汉族，湖南东安人，教授，硕士研究生导师，博士研究生，研究方向：计算机视觉、数字图像处理、模式识别。（上接100页）