基于DCT自适应量化的频谱数据有损压缩算法.pdf
《基于DCT自适应量化的频谱数据有损压缩算法.pdf》由会员分享,可在线阅读,更多相关《基于DCT自适应量化的频谱数据有损压缩算法.pdf(6页珍藏版)》请在咨信网上搜索。
1、第48 卷总第52 4期网络首发:2 0 2 3-0 5-31基于DCT自适应量化的频谱数据有损压缩算法刘红杰,陈鹏12,张政,洪卫军2*,郭健,赵光焰1(1.北京博识广联科技有限公司,北京10 0 0 8 1;2.北京邮电大学先进信息网络北京市实验室,北京10 0 8 7 6)【摘要】针对由于我国频谱监测设备数量激增产生了海量频谱监测数据的存储和传输难题,提出一种基于DCT自适应量化的频谱数据有损压缩算法。首先将多帧频谱监测数据组合并经过灰度空间映射形成一幅时频图,后将时频图数据矩阵按列三等分,将等分后的数据作为RGB三通道合成一幅彩色图像并对其进行二维DCT变换,利用BP神经网络估计量化阈
2、值后进行量化,最后经过游程编码与二次熵编码完成频谱监测数据的压缩。通过对真实接收机采集的频谱数据的压缩处理,压缩率约为10%,数据恢复后的百分比均方根误差约为11%。实验结果表明,所提算法具有稳定的压缩率和较小的恢复误差,能够有效地对实际采集的频谱数据进行压缩。【关键词】频谱数据压缩;离散余弦变换;神经网络;有损压缩doi:10.3969/j.issn.1006-1010.20220721-0004中图分类号:TP391文献标志码:A文章编号:10 0 6-10 10(2 0 2 4)0 4-12 3-0 6引用格式:刘红杰,陈鹏,张政,等.基于DCT自适应量化的频谱数据有损压缩算法.移动通信
3、,2 0 2 4,48(4):12 3-12 8.LIU Hongjie,CHEN Peng,ZHANG Zheng,et al.Lossy Compression Algorithm for Spectrum Data Based on DCT with AdaptiveQuantizationJJ.Mobile Communications,2024,48(4):123-128.OSID:扫描二维码与作者交流Lossy Compression Algorithm for Spectrum Data Based on DCT with Adaptive QuantizationLIU Hon
4、gjie,CHEN Peng2,ZHANG Zheng,HONG Weijun,GUO Jian,ZHAO Guangyan(1.Borsche Technology Ltd.,Beijing 100081,China;2.Beijing Laboratory of Advanced Information Network,Beijing University of Posts and Telecommunications,Beijing 100876,China)AbstractKeywordsIn response to the storage and transmission chall
5、enges posed by the increasing number of spectrum monitoring devices inChina,this study proposes a lossy compression algorithm for spectrum data based on the Discrete Cosine Transform(DCT)withadaptive quantization.Firstly,multiple frames of spectrum monitoring data are combined and mapped to a time-f
6、requency imageusing grayscale mapping.Then,the data matrix of the time-frequency image is divided into three equal parts column-wise,whichare treated as RGB channels to compose a color image.The image is then subjected to two-dimensional DCT transformation.Subsequently,the quantization threshold is
7、estimated using a BP neural network and applied for quantization.Finally,thecompressed spectrum monitoring data is achieved through run-length encoding and second-order entropy coding.Experimentalresults on real-world collected spectrum data show a compression ratio of approximately 10%and a percent
8、age root mean squareerror of about 11%for the recovered data.The results demonstrate that the proposed algorithm exhibits stable compressionperformance and low recovery error,effectively compressing the acquired spectrum data in practical scenarios.spectrum data compression;discrete cosine transform
9、;neural networks;lossy compression移动通信0引言无线电频率资源是国家的重要战略资源,具有不可再生性。随着无线电监测技术的发展和监测站的增加以及一体化平台的建设,日常频谱监测工作将产生海量的收稿日期:2 0 2 2-0 7-2 1*基金项目:北京市自然基金项目(42 0 2 0 47);北京市科委科技项目(Z191100002019015)*通信作者频谱监测数据,这将对数据的存储和传输带来巨大挑战。因此,研究合适的频谱监测数据的压缩和存储方法是自动化、智能化无线电监测网络的重要组成部分,也是无线电频谱监测的重点研究方向之一。数据压缩理论是信息论研究中的一个重要课
10、题,也是认知无线电中的研究方向之一,通过消除数据中的穴余,从而保留真正有用的信息。从压缩数据的完整性来看,压缩技术可以分为两类:有损压缩算法和无损压缩算法。目前频谱监测数据的无损压缩主要利用编码及其优化算法直接对频谱1232024年4月第4期第48 卷研究与探讨1总第52 4期监测数据包进行压缩2 ,但Huffiman 编码、LZ77、L Z7 8 和LZW的压缩率性能表现约为40%,不利于海量频谱数据的存储和传输。有损压缩的压缩率远低于无损压缩,而有损压缩的研究主要有以下四个方向。方向一,将信号频段与噪声频段分离,分别进行不同程度的压缩;方向二,提取监测频谱迹线的多种模式,构建模式集以替代原
11、有迹线;方向三,利用传统的有损压缩算法对频谱迹线进行压缩;方向四,利用压缩感知技术对采样数据进行压缩。对MWC采样数据进行PCA变换,将其中的大部分能量集中在少量主成分中,进而通过保留少量主成分,并对其进行进一步量化编码的方式来实现对MWC采样数据的压缩,压缩率约为12.5%3,但恢复数据与原数据存在较大误差,其PRD(Pe r c e n t o f Ro o t-m e a n-s q u a r eDifferenceinPercentage,百分比均方根误差)约为31%,给后续的数据挖掘分析引人较大干扰。频谱数据中往往多数频段仅存在噪声,数据存储时只存储频谱中的有用信号部分,其压缩率约
12、为11.8 2%41,此方法应用场景有限,且丢失噪声信号后对后续的电磁环境噪声水平估计带来影响。有研究将频谱中的噪声段与信号段分离,噪声段和信号段采用不同的压缩方式,在数据恢复时利用噪声的统计特征恢复噪声段以提高恢复数据的准确性,该算法压缩率约为9.17%5-1,但压缩前需要将信号与噪声的分离会增加算法复杂度,对设备的算力要求较高。针对窄带的业务信号的频谱监测数据,提取其频谱迹线的不同模式以实现频谱数据压缩7,但该算法需要多次与模式集中的数据进行匹配,且需按信号段进行模式提取,降低了算法的泛化能力。将频谱迹线进行PCM编码后利用改进的Huffman 编码进行数据压缩【8 ,但其压缩率受电磁环境
13、的复杂程度影响较大,压缩率在30%-9 0%范围内。有研究利用K-SVD构建压缩字典9 ,对时间序列进行稀疏表示以进行数据压缩,可达到14%的压缩率,且能降低数据的噪声水平,但由于算法复杂度较高,在数据序列较长时的表现有待研究。压缩感知技术通过对采样信号的稀疏表示进行数据压缩10-15,但该技术对信号的稀疏性有较高要求,且存在算法复杂度高的问题,在1算法设计1.1数据预处理使用接收机或其它频谱感知设备对一定时间和频段范围内的电磁频谱进行扫描监测得到的某无线电频段的信号功率谱,将监测时段分为m个时隙ti,其中=1,2.,m,每个时隙包含n个频点ji,其中j-1,2,n。将频谱监测数据建模为时间-
14、频率域的大小为m*n二维矩阵,如式(1)所示:(1)t(a mlamn)其中;为监测数据的第i个时隙中的第j个频点对应的频谱监测数据。接着将矩阵中的每一个元素进行归一化并映射至0-255区间,如公式(2)所示:aj-mim.255y=amax-amin其中amax和amin分别为原始二维矩阵数据中的最大值和最小值;yi为a,映射得到的灰度值,其取值范围为0-2 55。经上述处理后得到一张由原始监测数据映射生成的灰度图,灰度图本身不具备彩色图像的RGB三通道数据,因此需将灰度图三等分构成RGB三通道数据以合成彩色图像。如此不仅无需构造新的通道数据,且可以进一步向YCbCr色彩空间转换,并对不同信
15、息进行不同尺度的压缩处理。将此灰度图按列三等分,得到三个大小为m*n/3的二维矩阵(若灰度图不能被按列三等分,则在其最后一列之后添加m维列向量,直到添加列向量后的矩阵能被按列三等分为止)。将灰度图等分的示意图如图1将灰度图按列三等分。图1中最左边的原始灰度图横轴为接收机扫描到的n个频点f,其中j-1,2,n;纵轴为监测时段,由m个时隙t,组成,其中=1,2,.,m。右侧三个矩阵由灰度图经分割后将得到:A=f.A一(2)(3)实际应用中也面临一些局限性和挑战。本文提出了一种基于 DCT(D i s c r e t e Co s i n e T r a n s f o r m,离散余弦变换)自适应
16、量化的频谱数据有损压缩算法,无需对频谱数据中噪声段和信号段进行分离,充分考虑连续多时隙频谱监测数据的图像性质,利用BP神经网络自适应地调整量化阈值,且DCT具有易实现和低复杂度的优势,在保证频谱数据低损耗的同时提高了数据文件的压缩效果和压缩率的稳定性。124移动通信2024年4月第4期A,=r2+,其中A1,A2,As分别为将灰度图三等分之后的大小为m*n/3的二维矩阵;.n为m维列向量。之后将A1,A2,A作为RGB图像的三个通道,即:R=A)1G=A(B=A,(4)第48 卷总第52 4期刘红杰,陈鹏,张政,等:基于DCT自适应量化的频谱数据有损压缩算法t1t1t1ttmtmtmtm图1将
17、灰度图按列三等分其中R,G,B分别为彩色图像的三个颜色通道,以此合成得到一张彩色图像。为了便于后续的压缩处理,需要将彩色图像的由RGB色彩空间向YCbCr色彩空间转换,其转换公式为式(5):Y=0.257R+0.564G+0.098B+16Cb=-0.148R-0.291G+0.439B+128Cr=0.439R-0.368G-0.071B+128其中Y是指亮度分量,Cb指蓝色色度分量,而Cr指红色色度分量。由于Y分量更能体现出图像的轮廓信息,因此对Y分量采用较小的量化阈值以保留更多的信息;而对Cb和Cr两色度分量,采用较大的量化阈值以获得较低的压缩率。1.2离散余弦变换及量化阈值估计离散余弦
18、变换是一种与傅里叶变换相关的积分变换,经DCT变换后的数据,能量非常集中16-17 。而对于二维矩阵数据,其经二维离散余弦变换后,在结果矩阵中的右下角会得到大量的零值元素,这意味着离散余弦变换后的能量集中在直流和低频部分。二维DCT变换方程如式(6)所示:(+0.5元,NM/1,k=0c(k,)=2(V/.k0其中二维矩阵大小为M*N,u=0.M,v=0.N;f i j)为二维矩阵中第i行第j列元素;c(k,)为DCT变换的系数;1为DCT变换的数据长度,上式中为M或者N;F(u,v)为二维DCT变换的结果。对YCbCr色彩空间的3个矩阵Y、C b 和Cr分别进行二维DCT变换,其目的是将图像
19、信号映射变换到另一个正交矢量空间(变换域)产生一组变换系数,然后对这些系数量化,编码18 。原图像的能量会集中在二维DCT变换后的矩阵的左上角,从而为后续的阈值量化提供条件。Y、C b 和Cr分别经过二维DCT变换后,将得到3个二维矩阵,分别为YD、Cb,和Crpo量化操作是图像有损压缩过程中的关键步骤,通常(5)通过量化矩阵或量化阈值对二维离散余弦变换后的图像进行量化处理。对DCT变换后的二维矩阵进行量化,主要是指保留直流和低频部分的信息,消除交流和高频部分的信息。通过保留重要的信息和损失少量的信息来减少信息量,本算法中利用量化阈值对DCT变换的结果矩阵中小于量化阈值的元素置零,以此达到损失
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 DCT 自适应 量化 频谱 数据 有损 压缩 算法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。