基于聚类与稀疏字典学习的近似消息传递.pdf
《基于聚类与稀疏字典学习的近似消息传递.pdf》由会员分享,可在线阅读,更多相关《基于聚类与稀疏字典学习的近似消息传递.pdf(8页珍藏版)》请在咨信网上搜索。
1、第 48 卷 第 2 期燕山大学学报Vol.48 No.22024 年 3 月Journal of Yanshan UniversityMar.2024 文章编号:1007-791X(2024)02-0157-08基于聚类与稀疏字典学习的近似消息传递司菁菁1,2,王亚茹1,王爱婷1,程银波3(1.燕山大学 信息科学与工程学院,河北 秦皇岛 066004;2.燕山大学 河北省信息传输与信号处理重点实验室,河北 秦皇岛 066004;3.河北农业大学 海洋学院,河北 秦皇岛 066003)收稿日期:2022-11-30 责任编辑:温茂森基金项目:河北省自然科学基金资助项目(F2021203027)
2、;燕山大学基础创新科研培育项目(2021LGZD011);河北省重点实验室项目(202250701010046)作者简介:司菁菁(1980-),女,河北秦皇岛人,博士,教授,博士生导师,主要研究方向为多媒体信号处理,Email:sjj 。摘 要:基于传统字典学习的近似消息传递(approximate message passing,AMP)算法对训练样本数量的需求较高,且运算成本较高。本文引入双稀疏模型,构建基于稀疏字典学习的 AMP 框架,降低迭代过程中字典学习对训练样本数量的需求,提高压缩感知图像重建的质量与效率。进一步,提出基于聚类与稀疏字典学习的 AMP算法,在迭代过程中依据图像块特征
3、进行分类,并为各类图像块分别学习稀疏字典,实现自适应去噪。与基于传统字典学习的 AMP 算法相比,基于聚类与稀疏字典学习的 AMP 算法能够将重建图像的峰值信噪比提高0.201.75 dB,并且能够将运算效率平均提高 89%。关键词:图像重构;近似消息传递;字典学习;稀疏字典;聚类中图分类号:TN911.73 文献标识码:A DOI:10.3969/j.issn.1007-791X.2024.02.0060 引言压缩感知(compressed sensing,CS)1-2突破了奈奎斯特采样定理的限制,能够同时实现稀疏信号或可压缩信号的采样与压缩,并可以从欠采样的测量数据中准确地重构出原始信号3
4、。该理论一经提出便引起学术界及工业界的广泛关注。自然图像中含有大量冗余信息,可有效地进行稀疏表示。若利用 CS 将图像的采样和压缩同时进行,则可以在不牺牲图像重建质量的前提下,大大简化图像处理系统采样端的硬件结构并降低存储设备的容量。重构算法是基于 CS 的成像过程的核心研究内容之一。近似消息传递(approximate message passing,AMP)4是一种基于迭代阈值的 CS 重构算法,具有收敛速度快、运算复杂度低等优点,能够利用少量的线性测量值恢复稀疏信号,非常适用于图像重建等大数据量应用领域。当将 AMP 应用于图像重建时,迭代过程中滤波操作的设计与实现及其对信号结构特征的利
5、用能力,在很大程度上影响着整个重建算法的性能。图像在小波域上的稀疏性是现有的基于 AMP的图像重构算法常用的先验信息5之一。文献6 将振幅不变贝叶斯估计与小波域自适应Wiener 滤波应用到 AMP 框架中,提出了 AMP-ABE 和 AMP-Wiener 两种图像重建算法。文献7提出了基于小波域 Cauchy 先验的 AMP 算法。此外,针对小波域稀疏先验不适用于包含较多非平滑信息图像的问题,文献8提出了利用梯度稀疏先验保留图像边缘和纹理信息的 AMP 算法。文献9提出了基于去噪的 AMP(denoising based approximate message passing,DAMP),在
6、 AMP 的迭代过程中,利用 BM3D10-11等经典变换域图像去噪算子实现滤波,获得了较高的图像重建性能。设计与待滤波信号稀疏特性相匹配的去噪算子是提高 DAMP 图像重建性能的关键。字典学习是实现图像去噪的一种有效技术12-13。基于 MOD(method of optimal directions)、K-SVD(K-means 158 燕山大学学报2024singular value decomposition)14-16和SGK(sequential generalization of K-means)17等字典学习算法实现的图像去噪具有优于小波域图像去噪算子的性能。文献18将字典学习
7、与 AMP 相结合,提 出 了 基 于 字 典 学 习 的 AMP(dictionary learning based AMP,DL-AMP),在迭代过程中利用字典学习实现图像去噪,能够获得优于基于固定变换域去噪算子的 DAMP 的图像重建性能。然而,训练数据的数量直接影响着 K-SVD 等字典学习算法的性能。在 DL-AMP 的每次迭代中,字典学习算法可用的训练数据完全来源于当前待滤波信号,数量非常有限。这就使得 K-SVD等字典学习算法能够实现的去噪性能受到了限制。另一方面,K-SVD 等字典学习算法的运行时间较长,而在 DL-AMP 的每次迭代中需要完整运行两次字典学习算法,使得 DL-
8、AMP 的运行时间较长。针对上述问题,本文将基于稀疏字典进行图像稀疏表示的双稀疏模型19引入 AMP,研究基于稀疏字典学习的 AMP(sparse dictionary learning based AMP,SDL-AMP),降低字典学习对训练样本数量的需求,提高重建质量。此外,为了进一步提高稀疏字典学习的效率与去噪性能,本文提出了基于聚类与稀疏字典学习的 AMP(clustering and sparse dictionary learning based AMP,CSDL-AMP),在迭代过程中依据图像块特征进行分类,并为各类图像块分别学习稀疏字典,实现自适应去噪。仿真实验结果表明,与基于
9、固定变换域去噪算子的 DAMP 相比,SDL-AMP 和 CSDL-AMP 具有明显提高的图像重建性能;与 DL-AMP 相比,SDL-AMP和 CSDL-AMP 不但具有较高的图像重建性能,而且具有显著提高的运算效率。1 基础算法将包含 N N 个像素的图像表示成列向量xRN。构建高斯随机测量矩阵 RMN,其中任意元素符合高斯分布 N(0,1/M),且进行了列归一化。若利用 对 x 进行随机投影,则测量向量yRM可以表示为y=x+,(1)式中,RM表示测量噪声,其中元素符合高斯分布 N(0,2)。DAMP 根据测量向量 y 和已知的测量矩阵 重建图像向量 xRN。DAMP 中的第 t 次迭代
10、可以表示为xt=Dt-1(xt-1+Tzt-1),(2)zt=y-xt+1Mzt-1Dt-1(xt-1+Tzt-1),(3)t=1Mzt2,(4)式中,xtRN表示第 t 次迭代对原始信号 x 的估计;ztRM表示第 t 次迭代的估计残差;xt-1+Tzt-1可等效为原始信号 x 与高斯噪声 vt-1的叠加,即 xt-1+Tzt-1=x+vt-1;Dt-1()表示作用于xt-1+Tzt-1的去噪算子,使得输出的 xt比 xt-1更接近于原始信号 x;t-1表示 vt-1标准差的估计值;zt-1Dt-1(xt-1+Tzt-1)/M 是 Onsager 校正项,Dt-1()表示 Dt-1()的导数
11、。现有的 DAMP 方案多采用 BM3D 等经典图像去噪算法实现固定的 Dt-1()。若能够在每次迭代中依据当前待滤波信号 xt-1+Tzt-1的特征,自适应地调整 Dt-1(),则有望进一步提高 DAMP的重建性能。DL-AMP 将基于字典学习的图像去噪引入DAMP 框架,在迭代过程中依据当前待滤波信号xt-1+Tzt-1进行字典学习,利用图像信号 x 可以进行稀疏表示而噪声 vt-1却不能的特性实现去噪。DL-AMP 的第 t 次迭代可以表示为xt,Dt-1()=DL(xt-1+Tzt-1,t-1,Dt-1),(5)divt,D t-1()=DL(xt-1+Tzt-1,t-1,Dt-1),
12、(6)zt=y-xt+1Mdivtzt-1,(7)t=1Mzt2,(8)Dt=D t-1,(9)式中,DL()表示基于字典学习的图像去噪子,以待滤波信号 xt-1+Tzt-1、噪声标准差 t-1和初始字典 Dt-1为输入,输出滤波结果 xt与训练出的字典 Dt-1。DL()表示 DL()的求导运算,以 xt-1+Tzt-1、t-1和初始字典 Dt-1为输入,输出divt与二次训练出的字典 D t-1,其中divt=limt0DL(xt-1+Tzt-1+t,t-1,Dt-1)-xtt。(10)第 2 期司菁菁 等 基于聚类与稀疏字典学习的近似消息传递159 与 DAMP 相比,DL-AMP 能够
13、进一步提高重建图像的质量。然而,训练数据的数量直接影响着 K-SVD 等字典学习算法的性能。在 DL-AMP 框架下,第 t 次迭代中能够用于字典学习的训练数据完全来源于待滤波信号 xt-1+Tzt-1,数量有限。另一方面,由于 K-SVD 等字典学习算法的运算时间较长,且在 DL-AMP 框架下的每次迭代中需要进行 Dt-1和 D t-1两个字典的训练,因此 DL-AMP 的实现速度较慢。针对以上问题,本文研究基于稀疏字典学习的 AMP 框架 SDL-AMP,进而研究基于聚类与稀疏字典学习的 AMP 框架 CSDL-AMP。2 基于稀疏字典学习的 AMP 框架双稀疏模型假设字典 D=d1,d
14、2,dH RGH能够在基字典 BRGP上进行稀疏表示,即D=BA,(11)式中,A=a1,a2,aH RPH为稀疏表示矩阵,其中的第 j 列 ajRP表示字典 D 中的第 j 个原子djRG在基字典 B 上的稀疏表示向量。设任意列aj中非零元素的个数aj0p。与普通字典相比,稀疏字典具有更强的适应性,且更易于存储和传输。以训练样本 xiRG:i=1,2,U 为列构成训练数据矩阵 XRGU。设 X 在如式(11)所示的字典 D 上是稀疏的,即 X 可稀疏表示为X=D=BA,(12)式中,=1,2,U RHU为样本矩阵 X 在字典 D 上的稀疏表示矩阵,其中的第 i 列iRH表示样本 xi在 D
15、上的稀疏表示向量。设任意列i中非零元素的个数i0q。稀疏字典的训练可以通过求解如下优化问题来实现:minA,X-BA2F s.t.i i0 qj aj0 p,Baj2=1,(13)式中,F表示 Frobenius 范数。本文将能够实现此优化问题近似求解的稀疏K-SVD 字典学习算法总结为算法 1,用于在本文设计的 SDL-AMP 框架与 CSDL-AMP 框架中实现基于稀疏字典学习的图像去噪算子 SDL()。算法 1 基于稀疏 K-SVD 字典学习算法实现的图像去噪算子 SDL()输入:信号矩阵 XRGU,基字典 BRGP,初始字典稀疏表示系数矩阵 A0RPH,目标原子稀疏度 p,稀疏编码误差
16、容限 e,迭代次数 K;初始化:A=A0;迭代过程:For n=1,2,K do1)根据当前字典 BA,更新信号矩阵 X 的稀疏表示矩阵:For i=1,2,U do i=argmin0 s.t.xi-BA22eEnd for=1,2,U2)根据当前信号稀疏表示矩阵,更新字典稀疏表示矩阵 A:For j=1,2,H do aj=0 I=X 中用 aj参与表示的信号索引;g=Tj,I g=g/g2 E=XI-BAI z=Eg aj=arg minaz-Ba22 s.t.a0p,aj=aj/Baj2 j,I=(XTIBaj-(BAI)TBaj)TEnd ForEnd ForX=BA输出:信号矩阵
17、X,字典稀疏表示矩阵 A。在算法 1 中,XI表示由信号矩阵 X 中序号在集合 I 中的列构成的矩阵;I表示由系数矩阵 中序号在集合 I 中的列构成的矩阵;j,I表示矩阵I中的第 j 行。与原始 K-SVD 字典学习算法相比,稀疏 K-SVD 字典学习对样本数量的需求明显降低19。本文将稀疏字典学习引入 AMP,研究基于稀疏字典学习的 AMP 框架 SDL-AMP,具体设计了基于稀疏 K-SVD 字典学习的 AMP 算法 SK-SVD-AMP,如算法 2 所示。算法 2 SK-SVD-AMP 算法输入:测量值向量 yRM,测量矩阵 RMN,迭代次数 L,块尺寸 B,分块步长 S,基字典BRGP
18、,初始字典稀疏表示系数矩阵 A0RPH,目标原子稀疏度 p,稀疏 K-SVD迭代次数 K;初始化:x0=0RN,z0=y,0=z02/M,A0=A0;160 燕山大学学报2024迭代过程:For t=1,2,L do1)qt-1=xt-1+Tzt-1Q=Vector2Matrix(qt-1)C=BlockDivide(Q,B,S)2)利用算法 1 实现基于稀疏字典学习的去噪:(C,A)=SDL(C,B,At-1,p,1.15t-1,K)Q=BlockMerge(C,B,S)xt=Matrix2Vector(Q)3)生成随机向量 bRN,其中任意元素符合标准正态分布;令=qt-1/1 000;Q
19、=Vector2Matrix(qt-1+b)C=BlockDivide(Q,B,S)4)利用算法 1 实现基于稀疏字典学习的去噪:(C,At)=SDL(C,B,A,p,1.15t-1,K)Q=BlockMerge(C,B,S)x=Matrix2Vector(Q)5)divt=bT(x-xt)/6)计算残差 zt=y-xt+1Mzt-1divt7)估计噪声标准差 t=1Mzt2End forX=Vector2Matrix(xt)输出:重建的二维图像 XRN N。在算法 2 的每次迭代中,步骤 1)2)利用基于稀疏 K-SVD 字典学习的去噪算子 SDL()实现信号 xt的估计;步骤 3)5)利用
20、 Monte Carlo 技术20实现 divt的计算;步骤 6)7)计算残差并估计其标准差。X=Vector2Matrix(x)表示将向量xRN排列成矩阵形式 XRN N;x=Matrix2Vector(X)表示相反的操作,即将矩阵 XRN N还原成向量形式 xRN。C=BlockDivide(X,B,S)表示以BB 为块尺寸、S 为步长,对矩阵 X 进行重叠分块,并将每个块中的元素排列成列向量,组合成矩阵 C;X=BlockMerge(C,B,S)表示相反的操作,即将矩阵 C 中的每一列还原成 BB 的块,以 S 为步长、利用重合平均的方式融合成矩阵 X。表示-范数。与 DL-AMP 相比
21、,本文设计的 SDL-AMP 算法SK-SVD-AMP 在迭代过程中利用稀疏字典学习实现图像去噪,降低了对训练样本数量的要求,且在每次迭代中训练出的字典更符合待滤波信号的结构特征。3 基于聚类与稀疏字典学习的 AMP 方案 为了进一步提高稀疏字典学习的效率与基于稀疏字典学习的去噪算子的自适应性,本文将聚类引入 SDL-AMP,研究基于聚类与稀疏字典学习的 AMP 框架 CSDL-AMP,并具体设计了基于 K-means 聚类与稀疏 K-SVD 字典学习的 AMP 算法CSK-SVD-AMP,如算法 3 所示。算法 3 CSK-SVD-AMP 算法输入:测量值向量 yRM,测量矩阵 RMN,迭代
22、次数 L,块尺寸 B,分块步长 S,基字典BRGP,初始字典稀疏表示系数矩阵 A0RPH,目标原子稀疏度 p,稀疏 K-SVD迭代次数 K,类别数量 W;初始化:x0=0RN,z0=y,0=z02/M,A01=A02=A0W=A0;迭代过程:For t=1,2,L do1)qt-1=xt-1+Tzt-1Q=Vector2Matrix(qt-1)C=BlockDivide(Q,B,S)2)以均值为特征,利用 K-means 对 C中的列向量进行聚类,以属于第 w 类的列向量构成子矩阵 Ptw,w=1,2,W。3)利用算法 1 分别对各子矩阵进行基于稀疏字典学习的去噪:For w=1,2,W do
23、(C w,Atw)=SDL(Ptw,B,At-1w,p,1.15t-1,K)End for4)将子字典 At1,At2,AtW合 并 为 一 个 总 字 典A=At1,At2,AtW;5)将子矩阵 C w:w=1,2,W按照步骤2)中子矩阵划分的逆过程合并成矩阵 C;Q=BlockMerge(C,B,S)xt=Matrix2Vector(Q)6)生成随机向量 bRN,其中任意元素符合标准正态分布;令=qt-1/1 000;Q=Vector2Matrix(qt-1+b)C=BlockDivide(Q,B,S)7)利用字典 A对 C进行稀疏表示,实现去噪:Col=矩阵 C中的列数;For i=1,
24、2,Col doci=C中的第 i 列 i=arg min0 s.t.ci-BA221.15t-1End for第 2 期司菁菁 等 基于聚类与稀疏字典学习的近似消息传递161 C=BA1,BA2,BAColQ=BlockMerge(C,B,S)x=Matrix2Vector(Q)8)divt=bT(x-xt)/9)计算残差 zt=y-xt+1Mzt-1divt10)估计噪声标准差 t=1Mzt2End forX=Vector2Matrix(xt)输出:重建的二维图像 XRN N。在算法 3 的每次迭代中,步骤 1)5)利用 K-means 对图像块进行聚类,并利用 SDL()分别对各类图像块
25、进行基于稀疏字典学习的去噪,实现信号 xt的估计;步骤 6)8)利用 Monte Carlo 技术实现 divt的计算,其中 qt-1+b 的去噪利用基于当前已知字典 A的稀疏表示进行,而未进行二次字典学习;步骤 9)10)计算残差并估计其标准差。与算法 2 相比,算法 3 中对图像块进行了聚类,并针对每类图像块分别进行了基于稀疏字典学习的去噪,能够提高字典学习的效率以及字典与图像块特征的匹配程度。4 实验结果分析为了验证本文提出的 SK-SVD-AMP 算法和CSK-SVD-AMP 算 法 的 有 效 性,将 它 们 与 基 于BM3D 的 DAMP 算法 BM3D-AMP、基于 LRA_S
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 稀疏 字典 学习 近似 消息 传递
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,个别因单元格分列造成显示页码不一将协商解决,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。