距离信息与排序模型融合的显著性目标检测方法_陈睿琦.pdf

第 43 卷第 3 期2023 年 6 月弹箭与制导学报Journal of Projectiles，ockets，Missiles and GuidanceVol.43 No.3Jun.2023DOI:10 15892/j cnki djzdxb 2023 03 005收稿日期:2022 10 20作者简介:陈睿琦(1993)，女，工程师，硕士，研究方向:软件工程。引用本文:陈睿琦，南心蒙，常皓 距离信息与排序模型融合的显著性目标检测方法 J 弹箭与制导学报，2023，43(3):33-38CHEN uiqi，NAN Xinmeng，CHANG Hao A salient object detection method fused with distance information and manifold ranking J Journal of Projec-tiles，ockets，Missiles and Guidance，2023，43(3):33-38距离信息与排序模型融合的显著性目标检测方法陈睿琦1，南心蒙1，常皓2(1西安现代控制技术研究所，陕西 西安710065;232382 部队，北京100072)摘要:针对图像探测系统对地面场景中目标探测及识别问题，提出基于距离轮廓信息与排序模型相融合的显著性目标检测方法，利用二维简易距离轮廓信息对可见光及红外图像实施分割，采用流形排序模型对图像进行处理，进而提高目标的检测性能。实验结果表明，白天条件下对显著性目标检测的准确率可达到 87 7%，召回率达到 91 6%;夜间条件下的检测准确率达到 81 2%，召回率达到 86 3%，证明了该方法在保证图像处理速度的前提下，能够显著提高目标检测的正确性。关键词:图像处理;显著性目标检测;目标识别;流形排序;距离信息中图分类号:E91;TJ765 3;TP391 4文献标志码:A文章编码:1673-9728(2023)03-0033-06A Salient Object Detection Method Fused withDistance Information and Manifold ankingCHEN uiqi1，NAN Xinmeng1，CHANG Hao2(1Xi an Mordern Control Technology esearch Institute，Xi an 710065，Shaanxi，China;2No.32382 Unit，Beijing 100072，China)Abstract:Aiming at the problem of detecting and recognizing targets from complex backgrounds，a salient object detectingmethod based on the combination of distance information and manifold ranking is proposed In order to improve the detectionperformance in complex backgrounds，two-dimensional distance information is used to segment visible light images and infraredimages，and manifold ranking is used to process the images Experimental results show that under daylight condition the preci-sion and recall of this method are 87.7%and 91.6%respectively;while under nighttime condition the precision and recall areabove 81.2%and 86.3%esults show the proposed method can significantly improve the accuracy of target detection fromcomplex backgrounds while ensuring the speed of image processingKeywords:image processing;saliency detection;target recognition;manifold ranking;distance information0引言在图像制导、引信探测、机器视觉等领域，采用图像探测技术识别复杂背景中的目标是武器系统实现对目标精确打击以及机器人自主避障的重要技术途径。但由于地面背景环境的复杂性，使得探测和识别地面上车辆目标具有很大的难度，特别对制导系统，由于弹药平台体积、信号处理时间等限制，必须在有限时间和有限图像分辨率的约束条件下，实时完成图像信息的处理和目标的检测识别。显著性目标检测是一种基于辨别图像中最醒目区域或图像特征的目标检测方法，旨在快速有效提取场景中的视觉突出或重要物体，为后续分析和处理提供坚实的基础。目前，针对显著性目标检测方法的研究已涉及地面、航空、航天和船舶等多种武器装备领域。在红外图像检测方面，朱大炜1 提出了一种基于深度学习的红外图像飞机目标检测方法，以 CNN(region with convolution neural network features)目标检测技术实现了对红外图像中飞机目标的实时检测;管学伟2 研究了一种机载红外搜索跟踪系统 IST(infrared search and track system)小目标检测技术，首先对机载 IST 图像进行预处理以改善成像质量，再通过对红外小目标图像特征进行分析，对比了多种机载红外小目标检测算法，实验并验证了其背景抑制和目标增强效果。在可见光图像检测方面，徐芳3 提出了一种可见光航天遥感图像海面目标自动检测方法，可有效抑制图像中薄云、海雾、阴影、海杂波等干扰，利用舰船信息改进熵估计和目标像素分布判定的目弹 箭 与 制 导 学 报第 43 卷标鉴别方法对切片中的舰船目标和非舰船目标进行鉴别，无需对图像进行精细分割就能可靠稳定提取舰船目标;刘波4 针对水下探测器目标检测技术开展研究，为适应水中弱光环境特点对图像进行分割、检测和拼接，使用了一种基于纹理特征的图像型船舶尾流分类辨识技术对船舶目标进行检测识别，实验结果表明该方法平均正确识别率可达到 80%以上。以上显著性目标检测仍集中在可见光图像或红外图像，也可将二者融合起来，以提高对感兴趣目标的检测概率。但无论是可见光图像还是红外图像，图像中只包含场景及目标的二维信息，未利用目标相对于所在地面背景三维轮廓差异这一重要特征。为了提高图像制导及引信探测系统在复杂背景中检测和识别目标的能力，文中的目标探测装置采用了激光三维成像探测方法获取目标、背景的距离以及目标相对于地面背景的距离投影轮廓信息。在制导系统中，采用中等分辨率的激光三维成像探测快速获取目标背景距离及轮廓信息;在引信探测系统中，则采用低分辨率的激光三维成像探测快速获取目标背景距离及轮廓信息。通过在原有平面二维图像基础之上叠加目标相对于所在地面背景的第三维距离信息，提出了一种基于距离信息图像分割和排序模型融合的显著性目标检测方法，能够有效提高近程探测系统在复杂背景中快速检测及识别目标、抗复杂背景干扰的能力。1显著性目标检测及算法显著性目标检测是通过图像处理算法检测并分割图像中的显著性目标区域，在视觉跟踪5-6、图像识别7-8、图像压缩9-10、图像融合11-12 等视觉和图像处理过程中起着至关重要的作用。此外，显著性目标检测与动物包括人类对场景中显著性目标的视觉刺激的感知机制有一定的相似性，也成为机器视觉和人工智能等领域的研究热点。基于流形排序模型的可见光与红外图像显著性目标检测算法具有可适应复杂背景、图像亮度、对比度动态范围大的优势13，在图像制导和机器视觉领域有重要应用的前景。流行排序模型可用于可见光图像或红外图像中的显著性目标，也可用于可见光与红外复合体制图像的处理。在可见光图像质量较差或图像场景较复杂的情况下，通过引入热红外图像信息，可显著提高对感兴趣目标的正确检测概率。例如，白玉等14 研究了一种基于可见光图像和红外图像决策级融合的目标检测算法，该方法使用有监督学习方式对红外图像及可见光图像分别开展检测，通过对单一检测结果进行加权融合得到决策级融合的检测结果，进而实现了基于决策级融合的快速目标检测。然而，现有的可见光/红外复合检测算法仍存在缺点和不足，主要问题在于可见光图像和红外图像只保留了目标及背景的二维平面信息，而对平面图像信息进行分割时，需将整幅图像分割成一定数量的区域，分割数量不同对应的显著性检测结果也不同，且因为分割区域内所有位置具有相同的显著值，使得检测显著图中出现明显的块效应，尤其在目标的可见光特征及红外特征不突出、背景干扰较为复杂时，图像分割的效果不理想。2距离信息与排序模型融合的显著性目标检测方法考虑到上述基于平面二维图像目标检测方法的局限性，通过在二维平面图像探测系统中引入了三维形体成像探测体制，将目标及背景场景距离信息和平面图像信息进行融合，实现了在复杂背景下可见光特征及红外特征不突出时对目标的精确检测。距离信息实质上是目标及背景场景中各点相对于探测装置的距离图像。针对弹载系统小型化、快速探测和快速信号处理的要求，采用激光探测装置实施快速的立体简易成像探测，获取场景的立体图像，利用图像场景中距离信息的变化和可见光/红外图像信息融合，提高弹载成像系统在复杂背景中探测目标的能力和抗干扰的能力。对现有图像分割和多级深度融合显著性目标检测方法的分析可以看出，在图像预处理过程中，对原始图像的分割一是采取均匀分割方法，二是依据图像的亮度分布、灰度分布或者彩色可见图像 GB 的分布进行图像分割。对于相对单一的地面背景和亮度或颜色特征相对突出的目标，上述分割方法是可行的，但对于复杂的地面背景以及亮度和色彩特征不突出目标，图像分割的效果较差。从可见光角度而言，如果地物背景构成复杂，颜色丰富，则目标的颜色和背景是难以区分的;在红外图像方面，当背景的介质构成复杂，受阳光照射等因素影响，目标的红外特征相对背景而言并不突出，则基于热特征的红外图像分割方法精度也受到限制。针对弹载探测系统对信息处理的需求，为了保证图像信息处理的快速性，探测装置中采用的激光三维成像探测装置采用中低分辨率的图像探测装置，如在图像跟踪系统中采用 64 64 分辨率的三维图像，在距离更近的图像探测系统中选 32 32 或 16 16 分43第 3 期陈睿琦等:距离信息与排序模型融合的显著性目标检测方法辨率的图像，探测装置的距离分辨率达到 0 1 m 时就能分辨出目标的形体。检测图像场景中是否存在感兴趣目标时，利用激光三维成像数据对可见光图像和红外图像进行分割，分割出相对于地面背景有显著距离变化特征的物体，可大幅度降低待处理的可见光或红外图像数据量，提高图像处理的速度和对目标检测的准确性。针对车辆等目标相对地面在形体轮廓方面的特点，采用不同位置距离产生的畸变量和距离尺度范围对三维图像信息进行预处理，获得目标以及与目标相似的背景，而将其余背景剔除，从而实现对可见光图像通过三维距离图像进行分割。三维立体图像不仅包含背景和目标相对于探测装置的距离信息，同时不同像素单元距离的变化率能够反映具有一定形体的目标相对于背景在距离和结构上的突出特征，为了能将目标和背景分割开来，采用三维立体图像像素所代表的距离信息变化对图像进行分割。采用的分割模型为:D0=A1XN+A2XN 1 BDN 1(1)式中:D0为距离的初始检测阈值;N 为图像的第 N 个像素;A1，A2为调整系数，主要依据图像探测装置视场相对地面的角度而定，对弹载图像制导系统而言，该系数与弹的落角有关;XN为当前像素代表的距离值;XN 1为前一个像素对应的距离值;B 为常数，与距离探测装置信噪比有关;DN 1为前次距离检测阈值。基于距离信息与排序模型融合的显著性目标检测算法需要考虑到从成像探测装置的视角观察目标及其所在的环境背景。对于车辆、工事等目标，目标表面相对于探测装置的距离、背景与探测装置的距离发生较大的跃变，即使从空中向下对地面垂直观察，目标相对于背景也有明显的高度差。由式(1)通过检测目标相对于背景的距离变化来完成图像的分割。通过三维立体图像相邻像素的距离值的变化率检测目标图像的外轮廓和距离特征的分布区域，对显著性目标做出判断。基于距离信息的显著性目标检测形成一个与立体图像分辨率一致的集合，记为 D，将 D 与可见光图像 V 和热红外图像 T 联合运算，构建多模态图输入图像的阶段图 GD=(VD，ED)和 GV/T=(VV/T，EV/T)，其中，V 和 E 分别是图 G 的节点集合和边集合。GD和 GV/T的所有连接边的权值计算方法为:wkij=e rkCki Ckj，i 和 j 连接0，其他(2)式中:wi，j是第 i 和第 j 个节点所在边的边权值;k=1，2，K 表示图像的不同模态，在文中融合距离信息的显著性目标检测 K=2;Cki、Ckj分别表示第 k 个模态图像中，第 i 个像素和第 j 个像素的颜色或亮度特征;rk为图像尺度因子。对传统的流型排序模型进行改进，实现如下跨模态一致性的流型排序模型:f(sk，rk)=12Kk=1(rk)2ni，j=1wkijskidkiskjdkj()2+Kk=1sk yk2+K1k=2sk sk12(3)S，=argmin f(sk，rk)(4)式(3)中:k 为模态个数，即为 2;sk是代表多模态排序结果的向量;ski，skj表示向量 sk中的第 i 和第 j 个元素;wkij是模态 k 中第 i 和第 j 个节点所在边的边权值;dki，dkj表示所有与模态 k 中第 i 个、第 j 个节点连接的边权值的总和;yk为模态 k 中的节点集合 V 的初始显著值向量，、是权重因子;r=r1，r2，rk 是所有模态的权重向量。式(4)中 S 为多模态排序模型的最优解，为最优解的权重向量。对模型采用交替方向乘子法(ADMM)进行反复迭代，当式(3)的误差小于预设值时，即得到最优解 S。利用式(3)及式(4)对融合了距离信息的可见光/红外图像进行显著性目标检测，得到检测结果的显著图，如图1 所示。图 1目标距离成像及基于距离信息的图像分割Fig 1Target distance imaging and image segmentationbased on distance information3算法仿真验证采用可见光成像装置和红外图像装置获取场景的可见光及红外图像，利用激光成像装置获取场景中样点相对于激光成像装置的距离，采用距离信息与排53弹 箭 与 制 导 学 报第 43 卷序模型融合的显著性目标检测方法对图像处理算法进行仿真计算，以验证方法及算法的有效性。获取可见光、红外以及距离图像时，3 种机制的图像信息应在空间是配准的，即图像大小相同，景物空间位置一致。当 3 种体制图像的空间不匹配时，首先对图像进行预处理，通过图像像素差值等方法使可见光、红外以及距离图像相配准。采用 P(precision-recall)曲线对检测结果进行评价。当给定图像后，对图像进行二值化操作后得到图B，G 是输入图像对应的检测真值图。预测的准确率P被定义为:P=BGB(5)预测的召回率 被定义为:=BGG(6)为验证文中显著性目标检测方法的有效性，实验中将该算法与传统的基于图的流形排序 M(manifoldranking)算法 15 进行比较，对两种算法在输入为相同的可见光图像和热红外图像时的检测性能进行了定量分析。实验结果表明，融合了距离信息的显著性目标检测方法拥有更高的准确率和召回率，如图2 所示。图 2白天与黑夜条件下不同算法的准确率和召回率对比图Fig 2Precision and recall of two algorithms underdifferent light intensities图3 显示了 P 曲线法定量实验分析结果。可以看出，所建立的算法中包含距离信息和空间注意力机制时性能最好，说明引入距离注意力机制相对于无距离注意力机制，对信息的过滤筛选能力更强，更适用于图像显著性目标检测。图 3引入距离信息后的显著性检测效果Fig 3Saliency detection result when introducingdistance information如果将人员视为干扰，将车辆作为感兴趣目标，则可以通过阵列距离信息对目标尺度进行判别，从尺度特征鉴别感兴趣目标和非感兴趣目标，从而将干扰目标剔除。图 4 为未引入距离信息的排序模型目标检测结果，检测算法认为图像场景中不存在感兴趣目标，将长时间停放后红外热特征降低并靠近建筑物的车辆漏检。图 4传统的排序模型显著性目标检测结果Fig 4Saliency detection result of traditional ranking model图 5 是基于距离信息与排序模型融合的显著性目标检测结果，剔除了行人干扰，将距离轮廓符合车辆特征的目标正确检出。在算法运算量方面，基于距离信息与排序模型融合的显著性目标检测算法与传统的排序模型显著性目标检测算法相比，虽然增加了三维距离图像的数据63第 3 期陈睿琦等:距离信息与排序模型融合的显著性目标检测方法图 5基于距离信息与排序模型融合的显著性目标检测结果Fig 5Saliency detection result utilizing distance information处理过程，但由于算法采用的是简易成像阵列数据，数据量较小，例如按 32 32 的像素分辨率，只有1k左右的数据量。在引入距离图像信息后，对可见光图像和热红外图像的分辨率要求大幅度降低，其中可见光图像的数据量可减少 70 万左右的数据点，热红外图像可减少 20 万左右数据点，总数据处理量大幅度减少，因此在不降低图像处理运算速度的基础上，该方法提高了对感兴趣目标的检测正确性。4结论在可见光与红外复合图像探测系统中，通过引入场景的三维距离信息，采用距离信息对图像实施分割，采用流形排序模型的显著性目标检测方法，克服了传统的流形排序模型显著性目标检测方法图像分割单元多、运算量大、对可见光及红外图像分辨率要求高、目标显著性特征不突出的问题。实验结果表明，基于距离信息图像分割与流形排序模型相融合的显著性目标检测方法在保证图像处理速度的前提下，提高了对图像场景中目标的检测、识别准确性，其中，白天条件下的目标检测准确率达到87 7%，召回率达到 91 6%;夜间条件下的检测准确率达到 81 2%，召回率达到 86 3%，相比传统 M 排序模型算法有了较大的提升。然而，该算法仍旧存在局限性，例如在对可见光或热红外图像进行单模态特征提取后，直接将两个模态特征进行融合操作，未考虑不同模态特征之间的干扰因素，可能对最终显著性预测结果造成一定影响。后续可针对不同模态特征信息融合的过滤机制加以研究，进一步增强特征融合对显著性目标的表达能力。参考文献:1 朱大炜 基于深度学习的红外图像飞机目标检测方法 D 西安:西安电子科技大学，2018ZHU D W Aircraft target detection method based on deeplearning in infrared images D Xi an:Xi an Universityof Electronic Science and Technology，2018 2 管学伟 机载 IST 小目标检测技术研究 D 成都:电子科技大学，2021GUAN X W esearch on airborne IST small target detec-tion technology D Chendu:University of Electronic Sci-ence and Technology of China，2021 3 徐芳 可见光遥感图像海面目标自动检测关键技术研究 D 长春:中国科学院大学(长春光学精密机械与物理研究所)，2018XU F esearch on key technologies for automatic detectionof sea surface targets in visible light remote sensing images D Changchun:University of Chinese Academy of Sci-ences(Changchun Institute of Optics，Precision Mechanicsand Physics)，2018 4 刘波 机器视觉水中图像特征提取与对象辨识研究 D 大连:大连理工大学，2013LIU B esearch on feature extraction and target identifica-tion in machine vision underwater and surface imageD Dalian:Dalian University of Technology，2013 5WU H，LI G，LUO X Weighted attentional blocks forprobabilistic object trackingJ Visual Computer，2014，30(2):229 243 6WANG F，ZHEN Y，ZHONG B，et al obust infraredtarget tracking based on particle filter with embedded sali-ency detection J Information Sciences，2015，301:215 226 7 GAO D，HAN S，VASCONCELOS N Discriminant sali-ency，the detection of suspicious coincidences，and appli-cations to visual recognition J IEEE Transactions on Pat-tern Analysis and Machine Intelligence，2009，31(6):989 1005 8 毕威，黄伟国，张永萍，等 基于图像显著轮廓的目标检测 J 电子学报，2017，45(8):1902 1910BI W，HUANG G W，ZHANG Y P，et al Object detectionbased on image salient contours J Chinese Journal of E-lectronics，2017，45(8):1902 1910 9 姚琳 基于多级深度特征融合的 GB-T 图像显著性目标检测 D 西安:西安电子科技大学，2020YAO L GB-T salient object detection via fusing multi-level CNN features D Xi an:Xi an University of Elec-tronic Science and Technology，2020 10 ABDULMUNEM A，LAIY K，SUN X Saliency guided lo-cal and global descriptors for effective action recognition J Computational Visual Media，2016，2(1):97 73弹 箭 与 制 导 学 报第 43 卷106 11 GUO C L，ZHANG L M A novel multiresolution spatio-temporal saliency detection model and its applications inimage and video compressionJ IEEE Transactions onImage Processing，2010，19(1):185 198 12 SHEN L，LIU Z，ZHANG Z A novel H 264 rate controlalgorithm with consideration of visual attentionJ Multi-media Tools Applications，2013，63(3):709 727 13 王桂召 基于协同流形排序的多模态视觉显著性检测方法研究 D 合肥:安徽大学，2018WANG G Z esearch on multimodal visual saliency detec-tion method based on collaborative manifold sortingD Hefei:Anhui University，2018 14 白玉，侯志强，刘晓义等 基于可见光图像和红外图像决策级融合的目标检测算法J 空军工程大学学报(自然科学版)，2020，21(6):53 59BAI Y，HOU Z Q，LIU X Y，et al Target detection algo-rithm based on decision level fusion of visible and infraredimagesJ Journal of Air Force Engineering University(Natural Science Edition)，2020，21(6):53 59 15 YANG C，ZHANG L，LU H，et al Saliency Detection viaGraph-Based Manifold anking C/IEEE Proceedings ofthe 2013 IEEE Conference on Computer Vision Patternecognition New York:IEEE，2013:1382 139483