基于滚动导向滤波的可见光与红外图像融合嵌入式系统研究.pdf

2023年 云光技术 第55卷 第2期 23 基于滚动导向滤波的可见光与 红外图像融合嵌入式系统研究 孔羚宇，薛文恺，李亚宸，丁留琼，张弘骏，黄江涛，粟宇路，姜 海，李继承（昆明北方红外技术股份有限公司，云南 昆明 650217）摘要：在不利的环境条件下，红外图像往往会出现暗部纹理信息缺失不全、主体轮廓模糊等问题，现已提出了多种相关的算法来解决这些问题，获得了极大的成功。但这些算法大多停留于软件仿真，本文研究了一种基于滚动导向滤波的嵌入式的图像增强算法并对其融合方法进行一定的改进：首先，使用滚动导向滤波器对红外图像和可见光图像进行多尺度分解得到一系列 Gauss 金字塔，再对每层 Gauss 金字塔分解出一张 Laplace 金字塔，得到红外和可见光图像的高频部分和低频部分，之后对低频部分和高频部分使用Gauss 分布权重矩阵进行加权平均处理，根据图像灰度级生成一个可视化权重图，生成基层融合图像，之后计算两张图像高频部分的差异矩阵，接着将差异矩阵与两张图像的高频部分进行加权平均得到一个中间图像，使用该中间图像和两张原始图像的高频部分构建一个线性的差异矩阵，根据矩阵得到一个线性特征的方程组，通过求解该方程组得到待融合图像的细节层，实现图像的细节边缘性特征保存，最后进行逆变换从而得到融合图像。之后通过一系列图像质量评价的方式：STD、AVG、SSIM、FD，证明了该方法的可行性。最后探索了基于该方法的 FPGA 实现方式，在嵌入式平台实现了仿真，满足了图像融合的要求。关键词：图像融合多尺度变换；Laplace 金字塔；可视化权重图；FPGA Research on Embedded System for Visible and Infrared Image Fusion Based on Rolling Guided Filter KONG Lingyu，XUE Wenkai，LI Yachen，DING Liuqiong，ZHANG Hongjun，HUANG Jiangtao，SU Yulu，JIANG Hai，LI Jicheng(Kunming North Infrared Technology Co.Ltd.,Kunming 650217,China)Abstract:Under adverse environmental conditions,infrared images often have problems such as incomplete dark texture information and blurred subject contours,and a variety of related algorithms have been proposed to solve these problems and have achieved great success.However,most of these algorithms stay in software simulation,and this paper studies an embedded image enhancement algorithm based on rolling guide filtering and makes certain improvements to its fusion method:first,a series of Gauss pyramids are obtained by multi-scale decomposition of infrared images and visible light images using rolling guide filters,and then a Laplace pyramid is decomposed for each layer of Gauss pyramids to obtain the high-frequency and low-frequency parts of infrared and visible images.Then,the low-frequency 2023年 云光技术 第55卷 第2期24 part and the high-frequency part are weighted and averaged using the Gauss distribution weight matrix,a visual weight map is generated according to the grayscale level of the image,and the underlying fusion image is generated,and then the difference matrix of the high-frequency part of the two images is calculated,and then the difference matrix is weighted and averaged with the high-frequency part of the two images to obtain an intermediate image,and a linear difference matrix is constructed using the intermediate image and the high-frequency part of the two original images,and a system of equations with linear features is obtained according to the matrix.By solving the equation system,the detail layer of the image to be fused is obtained,the detail edge feature of the image is preserved,and finally the inverse transformation is carried out to obtain the fused image.Then,through a series of image quality evaluation methods:STD,AVG,SSIM,FD,the feasibility of the method is proved.Finally,the FPGA implementation method based on this method is explored,and simulation is realized on the embedded platform,which meets the requirements of image fusion.Key words:Image fusion,multi-scale transformation,Laplacian pyramid visualization,weight map,FPGA 0 引言 红外成像技术是一种利用物体发出的红外辐射来获取光信号的方法，这些辐射无法被人类视觉感知，但它们可以被转换成电信号从而被用于观察和记录物体的细节。这使得在恶劣或者光照不足的条件下，红外图像仍然可以对物体具有一定的反映能力。不过在恶劣的条件下却会损失大量的图像细节信息，使得得到的图像边缘模糊。如果在良好的条件下，可见光图像相比红外图像来说保留了更多的细节信息，但其缺失了在黑暗或者恶劣环境中探测目标的能力。因此采用一种多尺度、多分辨率的方法分离红外图像和可见光图像各自的高频子带和低频子带，之后进行细节融合处理，使得两者的优势互补，得到一幅成像效果较好的图像。本算法的基本原理是利用可见光图像的高频子带中含有大量的细节信息，将其和原始的红外图像进行融合。这样既可以使目标细节信息充足场景清晰，在恶劣的环境情况下能够实时、精准地对物体目标进行成像1。目前，红外与可见光图像融合的主要场景是军事、安全、空间、医学和目标识别等领域2。图像金字塔算法主要由 Burt 和 Adelson 于 1983 年首次提出3，其是一种多尺度的图像分解算法。其主要原理是图像经过多尺度分解后图层中低频的部分表现了图像的主体轮廓，而剩下的细节部分被图层的高频子带反映出来；高频部分的灰度系数值在零前后浮动，灰度值的绝对值越大表示该处图像的细节等特征变化的越剧烈，其包含了图像边缘、边界等重要的细节信息。目前常用的金字塔分解方法有拉普拉斯（Laplace）金字塔分解3-5、对比度（contrast）金字塔分解6、梯度（gradient）金字塔分解7-8、比率低通（ration of low pass,RoLP）金字塔分解9-11和形态学（morphology）金字塔分解12-15等。图像金字塔算法相较于其它的传统算法更简洁高效，既能在一定程度上保存红外图像的主体轮廓信息，又能将可见光图像的高频细节信息过滤出来用于融合，受到了图像融合主流方向学者的重视。除了多尺度分解外，融合规则也是影响图像融合质量的重要因素。本文采取了一种改进的灰度值权重矩阵的融合规则来对进行融合。具体步骤是：对低频部分和高频部分使用 Gauss 分布权重矩阵进行加权平均处理，根据图像灰度值级生成一个可基于滚动导向滤波的可见光与红外图像融合嵌入式系统研究 孔羚宇，薛文恺，李亚宸，等25 视化权重图，生成基层融合图像，之后计算两张图像高频部分的差异得到一个 0/1 的差异矩阵，表示哪张图像在该区域融合更合适，接着将差异矩阵与两张图像的高频部分进行加权平均得到一个中间图像，使用该中间图像和两张原始图像的高频部分构建一个线性方程组，求解该方程组得到两张图像高频部分的权重，得到待融合图像的细节纹理部分，实现图像的细节和边缘性特征保存，从而得到融合图像。进入 21 世纪以来，以 FPGA 为代表的流体硬核处理器高速发展，因其较低的成本和较小的体积同时也满足了高速处理的需要而被设计者接受；广泛运用于军事、医疗和国防等领域。本文将经过仿真的图像融合算法移植到嵌入式平台下依靠 FPGA 强大的计算能力来实现整个算法体系，得到最终和仿真算法一致的融合图像。1 Laplace 金字塔分解 在对图像进行 Laplace 金字塔分解之前，对图像进行 Gauss 金字塔分解是基础步骤：1.1 Gauss 塔式分解 假设原图像 G0为 Gauss 金字塔的第最底层，则其第 l 图像 Gl为：22122,2,20,0,0llllmnGw m n GimjnlNiCjR (1)式中：N为Gauss金字塔顶层的层号；Cl和Rl分别为Gauss金字塔第l层图像的列数和行数，Cl1为第l1层的图像；w(m,n)为55的窗口函数。其中55的窗口函数应满足二维的可分割特征、统计特征、对称特征以及奇偶特征。1.2 Laplace 金字塔 将Gl内插放大，得到放大图像Gl*，使Gl*的尺寸与Gl1的尺寸相同，表示为：22*22,4,0,0,022llllmnimjmGi jw m n GlNiCjR (2)其中：*,2222220otherllimjnimjnGNimjnG (3)虽然Gl*的尺寸与Gl1的尺寸相同，但像素的灰度值却有所不同。从式(2)可以看出，在原像素间插入的新像素的灰度值是通过对原来的灰度值进行加权平均所得到的。由于Gl是通过对Gl1经过一定处理（此处的是滚动导向滤波器处理）得到的，即Gl1是经过Gl两倍下采样、模糊化得到的结果。因而Gl*所包含的轮廓、细节信息比Gl1的少。令：*1LP,0LP,lllNNGGlNGlN 当时当时 (4)式中：N是Laplace金字塔首层的层号；LPt是Laplace金字塔分解出的第l层图像。由LP0,LP1,LPN构成的金字塔即为Laplace金字塔，其中每一层图像为Gauss金字塔本层图像与其前一层图像经放大后的图像之差。1.3 滚动导向滤波器 2023年 云光技术 第55 卷 第2 期26 滚动导向滤波器是结合了双边滤波和导向滤波器两者的相关特性后提出的一种滤波方式。其降低了单纯依靠正向滤波过程中所存在的错误识别和滤波过度的问题。即将一些小尺度的边缘特征当作细节过滤除去。其推导公式如下。首先经过 Gauss 滤波器：22s1expq N pppqG pI qKw (5)22sexp2pq N ppqK (5)式中：输入图像为 I；输出图像为 G；p 和 q 表示对应的图像像素坐标；s为标准差；N(p)表示以像素点p为中心的滤波窗口。之后，以双边滤波器为滤波手段迭代恢复边缘信息，其过程用公式表达为：22122sr1exp22tttq N ppJpJqpqJpI qK (7)222srexp22ttpq N pJpJqpqK (8)式中：Jt1表示为第 t 次迭代的结果。在第一次迭代中，J1为首次经过高斯滤波的输出图像 G，I为原始图像。在迭代过程中，给出 I 前一次迭代中产生的 Jt，便可获得第 t 次迭代的结果值 Jt1。在过程中迭代改变制导图像，使它产生照明效果，因此叫它滚动导向滤波。2 融合规则的改进和优化 传统的基于滚动导向滤波的融合方法是比较两幅源图像和显著值图像，如果某点的灰度值相等，那该点的权重就为 1，相对的不相等为 0，如图 1 所示。图 1 传统 GFF 方法运算流程 但此算法也有明显的劣势：对于多个图像之间容易产生干扰，造成融合图像有伪影等问题。我们基于此对融合规则进行了一定的调整：首先，使用滚动导向滤波器对红外图像和可见光图像基于滚动导向滤波的可见光与红外图像融合嵌入式系统研究 孔羚宇，薛文恺，李亚宸，等27 进行多尺度分解得到一系列Gauss金字塔，再对每层Gauss金字塔分解出一张Laplace金字塔，得到红外和可见光图像的高频部分和低频部分，之后对低频部分和高频部分使用Gauss分布权重矩阵进行加权平均处理根据图像灰度值级生成一个可视化权重图，生成基层融合图像，之后计算两张图像高频部分的差异矩阵，接着将差异矩阵与两张图像的高频部分进行加权平均得到一个中间图像，使用该中间图像和两张原始图像的高频部分构建一个线性方程组，求解该方程组得到待融合图像的细节层图像，实现图像的细节保留和边缘性保持。这样既能做到对细节有个好的保持，又可以避免单一权重图对结果的影响。融合过程如图2所示。图 2 图像融合过程 3 仿真结果与分析 3.1 仿真结果 本文首先使用仿真软件Matlab2018b，对算法进行原理仿真和验证，证实了本文算法的可行性为之后的FPGA程序设计做铺垫。同时与主流融合算法做比较和分析。红外Gauss金字塔和Laplace金字塔：图 3 红外 Gauss 金字塔 图 4 可见光 Gauss 金字塔 图 5 红外 Laplace 金字塔 图 6 可见光 Laplace金字塔 2023年 云光技术 第55卷 第2期28 图 7 红外暗部权重图 图 8 可见光暗部权重图 图 9 灰度级生成的权重图 从上到下依次是红外图像、可见光图像和最终两者的融合图像.可以看出红外图像保留的轮廓较多，然可见光图像则保留的细节较多，经过融合后的图像不但红外特征得到了较好的保留而且其细节信息也得到了增强。图 10 从上到下依次为红外图像、可见光图像和融合后的图像 图像权重清晰的反映出了整个图像的边缘信息，再通过Laplace滤波器可以得到图像的全局对比度，这样可以保证图像的边缘和细节纹理部分的灰度值更高。3.2 评价和分析 为了验证算法的有效性，实验选取了单人丛林的红外与可见光图像进行融合，并从直观感受与客观指标两个方面对图像质量进行分析评价。客观方面从标准差（Standard Deviation,STD）、基于滚动导向滤波的可见光与红外图像融合嵌入式系统研究 孔羚宇，薛文恺，李亚宸，等29 平均梯度（Average Gradient,AVG）、结构相似性（Structure Similarity,SSIM）、图像清晰度（Full Definition,FD）四个方面进行评价。实验选取了PCA、NSST-PCNN、NSCT-PCNN这3种主流的图像算法与融合规则来与和本文融合算法做效果对比，并根据具体融合图像的客观指标参数来分析各个算法的特点。图 11 PCA 算法 图 12 NSST-PCNN 算法 图 13 NSCT-PCNN 算法 图 14 本文算法 从实验结果可以直观看出，图10基于PCA算法得到的融合图像整体偏暗，图像的清晰度和对比度较低，提取目标的效果较差。在图11中可以看出基于NSST-PCNN算法的图像红外信息有所缺失。图12的NSCT-PCNN算法图像整体较为模糊，图像细节缺失。而图13呈现的本文算法，不仅清晰度和对比度较高，能够很好地提取出红外目标信息，而且纹理与细节保留完整，有效地表现出目标区域。表 1 不同算法的客观评价指标 评级指标 STD AVG SSIM FD PCA 算法 33.2141 3.3510 0.7013 4.1509 NSST-PCNN 算法 36.2150 3.3157 0.7244 4.0251 NSCT-PCNN 算法 32.4267 2.7812 0.7350 3.1405 本文算法 38.5715 3.9264 0.7265 4.2352 从表1可以看出，本文算法的STD、AVG和FD三个指标均优于其它算法，而SSIM数值同样较高，仅次于NSCT-PCNN算法，客观指标表现的情况与主观评价相契合。本文算法的图像融合效果极佳，有效提取出了红外图像与可见光图像的高低频带信息，成像效果兼具了两者的优点。4 嵌入式平台设计 本文使用Vivado 2017.4版进行仿真，仿真环境为Win10，首先通过U3_image_controller控制可见光摄像头进行图片采集，之后通过上位机PC将热像仪采集到的红外图片通过FIFO输入2023年 云光技术 第55卷 第2期30 U4_DDR3_cache模块进行缓存，之后输入my_fuse IP核进行图像融合，之后通过U5_Lcd_driver驱动LCD屏输出。算法BD设计图如图16所示。图 15 算法 RTL 图 图 16 算法 BD 图 通过Vivado工具进行系统搭建，将硬核、图像融合IP核、可见光摄像头驱动IP核、VGA驱动IP核及必要桥接模块按照相应的功能原理连接起来，其中桥接模块可利用Vivado工具自动连接功能去自动连接，再利用开发环境对整个系统进行自动更新优化，完成整个系统硬件工的搭建。其中my_fuse那个IP核使用Vivado HLS工具设计，硬件流程图如图17所示。图 17 硬件设计流程图 基于滚动导向滤波的可见光与红外图像融合嵌入式系统研究 孔羚宇，薛文恺，李亚宸，等31 Xilinx公司推出的Vivado HLS是一款高级综合工具，它能够支持直接使用C、C+、System C这类高级编程语言规范对FPGA进行编程的优势，不必手动创建RTL，从而实现IP核的加速创建18。图 18 嵌入式平台生成图 图 19 MATLAB 仿真图 如图17为使用上述嵌入式平台生成的融合图，图18是之前使用MATLAB进行仿真的仿真图，主观的看上去差别不大。表2使用3.2中的4种评价指标对两幅图片进行客观平价：STD、AVG、SSIM和FD。表 2 不同平台仿真的客观评价指标 评级指标 STD AVG SSIM FD 嵌入式生成图 38.4141 3.8910 0.7213 4.2109 MATLAB 仿真图 38.5715 3.9264 0.7265 4.2352 由表2的数据可以看出，嵌入式平台生成图和MATLAB仿真图的各项客观评价指标基本相同，表明二者无论是从图像的清晰度、对比度，亦或是细节纹理信息保留程度都并无太大差距，搭建的嵌入式平台能够成功复现融合算法，达到极佳的成像效果。5 总结 本文主要使用Laplace金字塔对红外图像和可见光图像进行多尺度分解，用一种改进的灰度值线性权重融合规则对分解后的图像进行融合，从而达到对红外图像的边缘信息和暗部细节进行增强的效果。之后用Matlab进行算法仿真，得到的仿真图像在AVG和STD等这几个客观指标下略优于PCA、NSST-PCNN、NSCT-PCNN算法，从人眼视觉角度和不同算法的客观评价指标上基本满足要求。最后在Vivado软件环境下提出并仿真了一套嵌入式系统，得到的图片在质量效果评价的4个指标，即：STD、AVG、SSIM和FD上稍低于PC环境下的仿真的效果，但是在人眼视觉上没有任何的差别。在FPGA上实现显著降低了算法的运行时间，提高了运行的效率，而且FPGA以其较小的体积和较低的成本也得到了大部分研究人员的喜爱和推荐。本文提出的算法基本满足了使用嵌入式系统对红外图像增强的需要。参考文献：1 XING Xiaoxue,LIU Cheng,LUO Cong,et al.Infrared and visible image fusion based on nonlinear enhancement and NSST decompositionJ.EURASIP Journal on Wireless Communications and Networking,2020(1):125.2 ZHANG Kang,HUANG Yongdong,YUAN Xia,et al.Infrared and visible image fusion based on intuitionistic fuzzy setsJ.Infrared Physics 2023年 云光技术 第55卷 第2期32 and Technology,2020(4):85.3 Burt P J,Adelson E H.The Laplacian Pyramid as a compact image codeJ.IEEE Trans.on Communications,1983,31(4):532-540.4 Burt PJ,Adelson E H.Merging images through pattern decompositionC/SPIE Applications of Digital Image Processing,1985,575:173-182.5 Aheam S C.Combining laplacian images of different spatial frequencies(scales)implications for remote sensing image analysisJ.IEEE Trans.on Geoscience and Remote Sensing,1988,26(6):826-831.6 王文武.像素级图像融合技术研究D.武汉:华中科技大学,2005.7 Burt P J.A gradient pyramid basis for pattern-selective image fusionC/Society for Information Dis-play Digest of Technical Papers,1985,16:467-470.8 刘贵喜,赵曙光,杨万海.基于梯度塔形分解的多传感器图像融合J.光电子激光,2001,12(3):293-296.9 Toet A.Image fusion by a ratio of low pass pyramidJ.Pattern Recognition Letters,1989,9(4):245-253.10 Toet A,Van Ruyven L J,Valeton J M.Merging thermal and visual images by a contrast pyramidJ.Optical Engineering,1989,28(7):789-792.11 Toet A.Multiscale contrast enhancement with application to image fusionJ.Optical Engineering,1992,31(5):1026-1031.12 Toet A.A morphological pyramid image decompositionJ.Pattern Recognition Letters,1989,9(4):255-261.13 王宏,敬忠良,李建勋.多分辨率图像融合的研究与发展J.控制理论与应用,2004,21(1):145-151.14 Matsopoulos G K,Marshall S,Brunt J.Multiresolution morphological fusion of MR and CT images of the human brainC/Proc.of IEEE Vision,Image and Signal Processing,1994,141(3):137-142.15 Matsopoulos G K,Marshall S.Application of morphological pyramids:fusion of MR and CT phantomsJ.Journal of Visual Communication and Image Representation,1995,6(2):196-207.16 戴源,白雨鑫,张伟,等.基于 Vivado HLS 的硬件设计效能评估J.电脑知识与技术,2021,17(19):1-4.