基于改进高斯滤波网络的深度伪造检测方法_瞿远近.pdf
《基于改进高斯滤波网络的深度伪造检测方法_瞿远近.pdf》由会员分享,可在线阅读,更多相关《基于改进高斯滤波网络的深度伪造检测方法_瞿远近.pdf(7页珍藏版)》请在咨信网上搜索。
1、第 40 卷第 4 期Vol.40No.4重庆工商大学学报(自然科学版)J Chongqing Technol Business Univ(Nat Sci Ed)2023 年 8 月Aug.2023基于改进高斯滤波网络的深度伪造检测方法瞿远近a,吴起b安徽理工大学 a计算机科学与工程学院;b人工智能学院,安徽 淮南 232001摘要:针对虚假视频的检测中,特征噪声多、数据量大和检测准确率低的问题,提出一种改进高斯滤波对地标点进行去噪和改进深度网络模型来提升精度的算法(IGFNet);算法将高斯滤波拓展到空域和值域上,在滤除低频噪声的同时尽可能保留高频噪声,使得在后续特征数据的处理中,标记点的精
2、度得以提升;采用特征化的数据代替原始数据以减少数据量,使得送入网络的数据量大大缩小,有效缩短了训练时长和减少了网络参数量,在实际应用中可以增加鉴别虚假视频的效率;并且针对人脸属性特征点的差异采用不同深度的双流神经网络,从而更加有效地学习如何鉴别虚假视频。实验表明:改进高斯滤波网络算法(IGFNet)有效地增加了真假脸检测的准确率,在与当前较为优秀的方法如 Meso4,Xecption,LNet 等的对比下,IGFNet 的准确率均有不同程度的提升,在跨数据集的测试上提升尤为明显;在压缩过的虚假视频测试中,IGFNet 的泛化下降程度最低,显示了较强的鲁棒能;通过改进网络加入梯度热力图以直观判断
3、出 IGFNet 对于深度伪造图片的鉴别能力。关键词:深度学习;深度图像伪造;改进高斯滤波;循环神经网络中图分类号:TP39141;TP183文献标识码:Adoi:10.16055/j.issn.1672058X.2023.0004.006收稿日期:20220512修回日期:20220718文章编号:1672058X(2023)04004107基金项目:安徽省自然科学基金项目(2008085MF220);安徽省高校自然科学基金项目(KJ2019A0109);安徽省重大科技专项基金项目(18030901025);安徽理工大学研究生创新基金项目(2021CX2102)作者简介:瞿远近(1996),
4、男,安徽芜湖人,硕士研究生,从事计算机视觉研究引用格式:瞿远近,吴起基于改进高斯滤波网络的深度伪造检测方法 J 重庆工商大学学报(自然科学版),2023,40(4):4147QU Yuanjin,WU Qi Depth forgery detection method based on improved Gaussian filter network J Journal of ChongqingTechnology and Business University(Natural Science Edition),2023,40(4):4147Depth Forgery Detection Me
5、thod Based on Improved Gaussian Filter NetworkQU Yuanjina,WU QibaSchool of Computer Science and Engineering;b School of Artificial Intelligence,Anhui University of Science andTechnology,Anhui Huainan 232001,ChinaAbstract:Aiming at the problems of excessive feature noise,a large amount of data and lo
6、w detection accuracy in thedetection of fake videos,an algorithm was proposed to improve the Gaussian filter to denoise the landmark points andimprove the deep network model,so as to improve the accuracy The Gaussian filter is extended to the spatial domain andthe value domain,and the high-frequency
7、 noise is retained as much as possible while filtering out the low-frequency noiseso that the accuracy of the marker points can be improved in the subsequent processing of the feature data Thecharacteristic data is used instead of the original data to reduce the amount of data,which greatly reduces
8、the amount ofdata sent to the network,effectively shortens the training time and reduces the number of network parameters,and canquickly identify fake videos in practical applications In addition,according to the difference of face attribute featurepoints,dual-flow neural networks with different dep
9、ths are used to learn how to identify fake videos more effectively Theexperimental results show that the improved Gaussian Filter network algorithm(IGFNet)effectively increases the accuracyof real and fake face detection Compared with the current excellent methods such as Meso4,Xecption and LNet,the
10、accuracy of IGFNet has been improved to different degrees,especially in the test across datasets In the test of compressedfake videos,IGFNet has the lowest degree of generalization degradation,showing strong robustness The ability of IGFNet重庆工商大学学报(自然科学版)第 40 卷to discriminate deep forgery images is
11、intuitively judged by improving the network and adding the gradient heat mapKeywords:deep learning;deep image forgery;improved Gaussian filtering;recurrent neural networks1引言深度伪造一词出自于深度学习和伪造的组合,是采用深度学习的方法对视频或者图片中的人脸进行替换或者编辑的一种方法。早在 2017 年,DeepFake 算法的出现就引发了热议,而在之后的 2018 年,BuzzFeed发表了一段巴拉克奥巴马的造假演讲视频,
12、这毫无疑问带来了极大的安全问题。当不受控制的虚假视频出现在公众视野中时,无疑会混淆视听,造成信息混乱,甚至影响国家形象与安全,而一系列相关的便利应用如 FakeApp,FaceSwap,Zao 等的出现又大大拉低了这一技术的使用难度。这使得对深度伪造视频的检测变得极为迫切。文献 1 将空洞卷积和注意力机制用于深度伪造检测,提高了检测的准确性,在不同人脸的截取比例下表现较好,但是对噪声较多的图片检测时表现不佳。而 Face X-ray2 则通过卷积神经网络比较图片内是否存在不同的噪声,来判断是否为换脸图像,并且通过这些噪声的差异来画出融合的边缘区域,当伪造者对伪造的图像进行二次加噪的时候,就较为
13、容易躲过方法的检测,并且立体的面部信息采用二维卷积难以捕获完全,所以文献 3 提出 3D 卷积神经网络来对深度伪造视频进行训练,以加强检测准确性。这些方法一定程度上提高了检测准确率,但是在含噪声较多的图片上变得难以有效处理,而且这些方法大都需要增加网络参数,以至增大训练复杂度。面对训练复杂度增大的情况,SSTNET 算法4 简化Xception 流,并且使用长短时记忆网络来分析时空特征进而检测被篡改的面孔,这样的做法大大减小了网络参数量,但是检测精度不够。将颜色域和频率域结合起来可以提高检测精度,为了实现这一目标,Two-Branch 算法5 采用不同尺度下的拉普拉斯高斯算子,提高了模型的泛化
14、性能,但是这种方法反而又增大了网 络 结 构。应 对 这 个 问 题,LNet 算 法6 利 用Landmark 算法的预测和校准进行特征增强,并且采用循环神经网络作为主干网络,做到了在已经校准数据下的高精度检测的效果,但是在跨域数据集上表现不佳。文献 7 使用循环神经网络将卷积长短时神经网络引入深度伪造的检测,从而进一步加强了伪造视频检测的精度,但这方法也存在泛化性差的问题。这些检测方法大都对特定问题提出了相对应的解决方案,但这些方法在去噪检测、较小训练数据量和提高准确率上难以同时满足。在以上学者工作的基础上做了进一步改进,通过文本化图片信息,用地标点数据代替原始数据减少了数据量和计算量;通
15、过将改进高斯滤波应用到文本化的信息达到了良好的数据去噪效果;采用双流循环神经网络对去噪后的文本信息进行训练进一步提升了深度伪造视频的检测精度。2技术与危害21基本伪造理论框架对于深度伪造视频检测方法的研究,需要先探究理论与方法。Deepfake 生成伪造视频的框架通常由一个编码器和两个解码器组成。针对目标人脸和原人脸采用不同的解码器,而这两个解码器共享一个编码器。不同的编码器解码器的组合用于不同的人脸重构,共享的公共编码器和其中一个解码器可以将目标人脸替换到该解码器的所对应的人脸上,整体网络结构如图 1所示。图 1换脸方法Fig.1Face-swapping method22伪造方法与检测重要
16、性目前的深度伪造大致有假脸生成、面部编辑、人脸替换 3 种主要方法。假脸生成采用生成对抗网络的方法,通过无监督学习原有数据的分布以生成出没有出现过的人脸,由于这种方法生成的图像现实中不存在,所以在安全方面的威胁比其他 2 种要小;面部编辑更多倾向于将面部空间进行时域上的转换,在隐空间内将模型的输入参数进行调整,以期待发现更多的连续24第 4 期瞿远近,等:基于改进高斯滤波网络的深度伪造检测方法特征;人脸替换指将人脸替换到原有视频或者图片的目标人脸上,这种方法现在发展较为成熟,方法也较多,这类方法产生的伪造视频常具有迷惑性。另一种替换方案替换的是表情,与人脸整个替换不同的是,只将指定的人脸表情进
17、行了替换,从而达到伪造情绪的作用。这一技术搭配声音和动作的迁移,可以产生以假乱真的名人政客的演讲发言视频等,造成极大的社会不良影响,这让深度伪造视频的检测成为迫在眉睫的问题。3模型设计所提出的深度伪造检测算法(IGFNet)框架由预处理、去噪、特征嵌入和神经网络分类等部分组成。在预处理时,为了更好地处理数据,且保留连续帧特性,对视频不进行采样取帧,而是截取所有帧,以获得更全面的信息。在人脸预处理时,主要有人脸检测、标志点检测与标志点对齐 3 个方面。这部分首先将提取出来的每一帧执行检测程序,从中找出感兴趣区域并裁剪,如图 2所示。将这些裁剪出来的人脸进行标志点检测,特征提取采用 Landmar
18、k 检测器,一个人脸需要检测 68 个标志点,由这些标志点可以勾勒出明显的人脸属性轮廓。将这些标记点对齐到预设位置后就完成了人脸预处理部分。Landmark 检测器在单帧上提取的数据精度可以满足需求,但是在连续帧中,人脸各部分边缘的动态模糊,导致对齐的标记点在时序上产生晃动,这些噪声导致训练精度难以提高,还需要对数据进行去噪。现采用改进的高斯滤波方法对此过程进行改进,从而产生稳定可靠的标志点序列帧。图 2对 5 种不同换脸方法的人脸 Landmark 标定Fig.2Landmark calibration of the face for five different methods31高斯滤波
19、在对人脸地标点特征数据提取的过程中,通常会引入正态分布噪声,这种噪声又称高斯噪声,这种噪声的出现让深度检测模型的精度难以进一步提升。为了消除这种噪声所带来的影响,一般用高斯滤波的方式对这类数据进行去噪。高斯滤波可以对提取出来的面部特征点进行平滑处理。滤波对于每个图片帧的特征点集的邻域进行采样,而后做平滑处理,这是一种线性平滑滤波,可以很大程度上保留原有数据特征的分布。一般的二元高斯分布如式(1)所示:G(x,y)=122ex2+y222(1)其中,是正态分布的标准偏差,该偏差决定了高斯分布的宽窄。高斯滤波的计算方式,在实际运算中,直接计算是复杂的,利用傅里叶变换可以将这一复杂的计算简便化,因为
20、高斯函数的傅里叶变换具有函数性质不变形的特点。傅里叶变换可以将任意函数分解成正弦函数的线性表示其一般公式如式(2)所示:F()=f(t)eitdt(2)其中,f(t)是周期函数,其周期为 t,而 F()是 f(t)的象函数。这种方式可以满足大部分高斯噪声的滤除,但是这种方法难以消除长序列帧下人脸地标点对应的低频信息,而这些信息是影响模型精度的因子之一,所以针对问题,对去噪模块进行了改进,引入了改进高斯方法。32改进高斯滤波改进的滤除方法在滤除低频噪声的同时尽可能保留高频噪声。高斯滤波对单位信号噪声去除力度不大,而改进的高斯滤波能弥补这一缺点。改进的高斯滤波方34重庆工商大学学报(自然科学版)第
21、 40 卷法,采用了高斯核对目标进行去噪,同时在式(1)中引入了高斯方差。对高斯滤波的具体改进点:受到 滤波的启发,将仅为空域上定义的高斯滤波拓展到空域和值域上。将高斯滤波的指数部分单独来看,可得式(3):t(x,y,a,b)=exp(xa)2+(yb)222d)(3)式(3)是定义在定义域核上的函数,在实际地标检测点的过滤中,由于缺乏空间信息,地标点之间的相对位置信息无法有效获取,这里引入空间信息表示,如式(4)所示:p(x,y,a,b)=exp(f(x,y)f(a,b)222r)(4)这是定义在值域上的核,将式(3)和式(4)作乘积可得式(5):r(x,y,a,b)=exp(xa)2+(y
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 改进 滤波 网络 深度 伪造 检测 方法 远近
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。