基于多尺度卷积网络的视频压缩算法设计.pdf
《基于多尺度卷积网络的视频压缩算法设计.pdf》由会员分享,可在线阅读,更多相关《基于多尺度卷积网络的视频压缩算法设计.pdf(5页珍藏版)》请在咨信网上搜索。
1、信息技术XINXIJISHU2023年第10 期基于多尺度卷积网络的视频压缩算法设计黄晨(陕西国防工业职业技术学院,西安7 10 30 0)摘要:未压缩的视频体积较大且难以传输,而传统的视频压缩算法则主要通过去除时空允余信息来实现,但这类算法实时性低、性能较差,难以满足多样的场景需求。针对上述问题,文中使用视频插的方法完成了视频压缩,并采用深度光流算法实现中间顿的生成,再通过多尺度卷积网络对相邻帧数据特征加以训练与挖掘。在实验测试中,所设计的视频压缩算法可对视频进行解压缩,且实时性较好。同时,所提算法的PSNR及SSIM指标参数均优于对比算法,在复杂场景下的处理时间也要少于对比算法,这表明该算
2、法具有一定的工程应用价值。关键词:多尺度卷积网络;光流法;视频插帧;视频压缩;图像处理中图分类号:TP391D0I:10.13274/ki.hdzj.2023.10.011Research on video compression algorithm based on multi-scale convolutional networkHUANG Chen(Shaanxi National Defense College of Industrial Technology,Xi an 710300,China)Abstract:The volume of uncompressed video is
3、 large,and it is also difficult to transmit.Meanwhile,thetraditional video compression algorithm is mainly realized by removing spatio-temporal redundant informa-tion,but this kind of algorithm has low real-time performance and poor performance,which is difficult tomeet the needs of various scenes.T
4、o solve the above problems,this paper uses the method of video frameinsertion to complete the video compression,and uses the deep optical flow algorithm to generate the inter-mediate frame,and then trains and mines the data features of adjacent frames through the multi-scale con-volution network.In
5、the experiment test,the designed video compression algorithm can decompress the vid-eo,and has good real-time performance.At the same time,the PSNR and SSIM index parameters of the pro-posed algorithm are better than the comparison algorithm,and the processing time in complex scenes is lessthan the
6、comparison algorithm,which indicates that the algorithm has certain engineering application value.Key words:multi-scale convolution network;optical flow method;video frame insertion;video compres-sion;image processing0 引 言视频压缩算法即在图像压缩的基础上,对视频特有的时间相关性进行重构质量的提升 基金项目:陕西省教育科学“十三五”规划2 0 2 0 年度课题(SGH-20Q3
7、08)作者简介:黄晨(19 9 0),男,硕士,讲师,研究方向为剧作、影视后期、视频编辑。一56 一文献标识码:A文章编号:10 0 9-2 552(2 0 2 3)10-0 0 56-0 5视频压缩的过程为在发送端进行压缩,并在接收端进行解压缩以获得原始视频。在现阶段的互联网应用中,信息的传输绝大多数是以视频流的方式进行的。未压缩的视频体积较大、传输时间长且传输时的误码率也会更高,因此视频压缩对于信息时代的数据存储及传输较为重要。视频压缩算法有两种常见思路,二者均是通基于多尺度卷积网络的视频压缩算法设计过去除视频中的允余来实现的2-3。第一种为视1.2端到端视频插顿频插顿,其是去除视频相邻顿
8、之间的时间穴余;而端到端的视频插顿模型8-9 指的是输人端为第二种压缩方法则是去除视频中的空间穴余。对原始视频,输出端为多个中间顿进而完成视频插于视频插帧方法而言,主要的方法有梯度运算法的过程。(G r a d i e n t O p e r a t i o n)、模板匹配法(Template Matc-本文所使用的视频插帧框架基于深度神经网hing)、频域相位法(Frequency Domain Phase Meth-络(Deep Neural Networks,DNN),采用该网络完成od)等。文献4中,作者通过卷积神经网络对光流图像的预测,并使用空间采样层得到中间(Convolution
9、al Neural Networks,CNN)构建了光流的顿图像,最终形成端到端的视频插帧基本框架,网络(OpticalFlowNetworks),该网络在时间间隔具体如图2 所示。较小时会对视频相邻顿目标点的位移进行统计,然后根据运动结果合成中间顿。文献5 作者对传统光流法(OpticalFlow)进行改进,使用自适应卷积网络对视频进行插,该方法利用卷积核对相邻顿的运动与像素合成系数进行抓取,从而进一步提高了算法效率。但上述算法难以对位移较大的、被遮挡的物体进行插,故结果将会有较大失真,同时光流法对计算机的性能要求也较高,无法做到实时插帧。因此,本文采用深度光流法抓取了物体的运动信息,再通过
10、多尺度卷积算法对图像特征加以训练,有效提升了算法的综合性能。1多尺度卷积网络视频压缩算法1.1视频插顿技术视频插顿技术6-7 是视频压缩领域中的重要技术,其可通过算法程序对视频中的时域穴余信息进行去除。视频本质是由多张图像按照一定时间间隔组成的图像序列,若视频中没有场景的快速切换,则其相邻的顿图像通常是相似的。因此对原始视频去除相似帧后进行传输,到接收端再次插顿恢复原始视频可达到压缩传输的目的。视频插顿实现视频压缩算法的示意图,如图1所示。发送端传输去重原始视频图1插顿实现压缩传输一黄晨神经网络采样相邻光流信息图2 端到端视频插顿原理框架光流信息为三维度数据,其中前两项表示的是前后两顿间的光流
11、,而第三项则表示插顿值权重因子F,该因子可用来处置光流中的遮挡情况。F=(Ax,Ay,A)=H(X,y)(1)式中,H(X,)表示的是深度神经网络,其负责处理光流信息。根据光流信息便可推断出中间顿像素点在前后两顿的对应位置,该位置如下所示:(L,L)=(x-Ax,y-Ay)(L,L,)=(x+Ax,y+Ay)若前后两顿为P.和P1,则根据三线性插值法(T r i l i n e a r I n t e r p o l a t i o n)对该点的像素值进行抓取,计算公式如下:P(x,y)=.ZWuP(Va)接收端i.j,keo,1式中,P表示的是待插顿的像素点;V表示的是三线插值立方体的顶点坐
12、标;W为三线性差值的权传输重值。插顿式(4)表示的是顿简单的位置关系,而真实视频图像中通常还会有遮挡,此时便需要加入遮挡因子,其插顿像素点为:处理后视频P=(1-Ap)。Po(-x,-A y)+p。Pi(x,A y)中间顿(2)(3)(4)(5)一57 一Conv4,3x3基于多尺度卷积网络的视频压缩算法设计式中,“。”为Hadamard积,表示对应位置的元素相乘。由此可见,在光流法插顿框架中,使用线性的插帧方法对中间帧进行预测,并加人了遮挡因子,从而减轻了遮挡对预测结果的影响。但由于是线性的方法,对帧进行处理时仍会遇到中间顿清晰度较差、可视性不佳等缺点,这会大幅降低视频解压缩后的完整性。因此
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 尺度 卷积 网络 视频压缩 算法 设计
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。