基于多特征融合和改进SIFT的目标跟踪算法.pdf

第 56 卷第 1 期郑 州 大 学 学 报(理 学 版)Vol.56 No.12024 年 1 月J.Zhengzhou Univ.(Nat.Sci.Ed.)Jan.2024收稿日期:2022-09-06基金项目:国家自然科学基金项目(61973307,61903256)。第一作者:李文举(1964),男,教授,主要从事计算机视觉、模式识别研究,E-mail:wjli 。通信作者:崔柳(1984),女,讲师,主要从事制导导航与控制、微传感器研究,E-mail:cuiliu8475 。基于多特征融合和改进 SIFT 的目标跟踪算法李文举,王子杰,崔柳(上海应用技术大学 计算机科学与信息工程学院上海 201418)摘要:在进行跟踪任务时,当运动目标发生形变或旋转以及受到光照变化或背景干扰时,会发生偏移现象或丢失跟踪目标,从而导致跟踪精度降低。据此,提出基于多特征融合和改进 SIFT 的目标跟踪算法。在图像的高熵部分进行特征点的提取,并使用哈希算法将错误匹配的特征点剔除。同时对感知哈希和差异哈希进行改进,将改进后的图像哈希特征、颜色特征和 SIFT 特征进行融合并应用于跟踪算法。将算法在 OTB-100 数据集上进行实验,成功率达到了 94.3%。关键词:目标跟踪;图像哈希;信息熵;颜色矩;SIFT中图分类号:TP391文献标志码:A文章编号:1671-6841(2024)01-0040-07DOI:10.13705/j.issn.1671-6841.2022268 Target Tracking Algorithm Based on Multiple Feature Fusion and Improved SIFTLI Wenju,WANG Zijie,CUI Liu(College of Computer Science and Information Engineering,Shanghai Institute of Technology,Shanghai 201418,China)Abstract:When the moving target was deformed,rotated and interfered by the illumination or back-ground during the tracking task,it could be shifted or lost,which would reduce the tracking accuracy.A target tracking algorithm based on multiple feature fusion and improved SIFT was proposed.The feature points were extracted in the high entropy part of the image,and the mismatched feature points were elimi-nated by using the hash algorithm.At the same time,the perceptual hash and differential hash were im-proved,and the improved image hash features,color features and SIFT features were fused and applied to the tracking algorithm.The algorithm was tested on OTB-100 dataset,and the success rate reacheed 94.3%.Key words:target tracking;image hash;information entropy;color moment;SIFT0引言目标跟踪在实际生活中有着广泛应用,例如自动驾驶1、视频监控2、道路安全识别3和行人跟踪4等。当跟踪目标发生形变以及受到光照变化或背景杂波等,都会使得跟踪目标视觉特性发生改变,从而导致跟踪精度降低。图像哈希特征5能够很好地描述图像主体特征,很多学者将其应用于目标跟踪领域。Yu 等将感知哈希算法与粒 子滤波相融 合 并 应 用 于 目 标 跟踪6。陈优良等预测了目标可能出现的位置,减小了搜索范围从而提升了跟踪效率7。胡卓等提取目标全局和局部 特征进行融 合 并 应 用 于 跟 踪 算法8。Sengar 等使用了拉普拉斯算子对感知哈希算法进 行 改 进,增 强 了 跟 踪 目 标 的 边 缘 信 息9。第 1 期李文举,等:基于多特征融合和改进 SIFT 的目标跟踪算法Huang 等将感知哈希和相关滤波器相结合,减少了错误更新目标模板时引起的跟踪偏移,提升了跟踪的准确率10。SIFT 特征是图像的局部特征,通过对图像 SIFT特征点进行匹配能够很好地将两幅图像进行配准,因此很多学者将其应用到目标跟踪领域。王智军等在 MeanShift 算法丢失目标的情况下使用 SIFT 进行目标重定位11。顾苏杭等简化了 SIFT 特征的提取和匹配,提高了目标跟踪的可靠性和稳定性12。李艳萍等计算图像 SIFT 特征点的光流信息,对光流信息进行 特 征 聚 类 从 而 实 现 目 标 的 准 确 跟 踪13。Mirunalini 等将卡尔曼滤波与 SIFT 特征相结合,提升了目标在被遮挡时的跟踪成功率14。文献7-8都将感知哈希特征应用于跟踪算法中。然而当目标外观改变较大时,目标的哈希特征也会发生改变。文献14利用目标的 SIFT 特征和卡尔曼滤波对目标进行跟踪,当目标外观发生变化较大时,SIFT 算法的匹配可能会失败。基于上述不足之处,本文对 SIFT 算法的特征点提取和匹配以及感知哈希和差异哈希进行改进,将 SIFT 特征、图像哈希特征和颜色特征相融合,获取更丰富的目标特征并将其应用于跟踪算法。实验证明,算法在目标受到光照变化或背景杂波时能保持较高的准确率,有效解决了跟踪精度下降的问题。1改进的 SIFT 算法1.1改进的 SIFT 特征提取图像熵是一种图像特征的统计形式,它反映了图像中信息的含量。对于一幅大小为 MN 的灰度图像,图像中的任意点可以用信息熵来描述其领域内灰度值分布的混乱程度。对灰度图像中的每一个点都进行局部熵信息的计算,就能够得到灰度图像的局部熵,计算为H=-255i=0pilg pi,(1)其中:H 表示灰度图像的局部熵;pi表示灰度值为 i的像素所占比例。图像 的 局 部 熵 越 大 则 表 示 信 息 量 越 大。文献15-16证明了只对高熵部分进行 SIFT 特征提取,能够获取大部分的特征点。这种改进能够缩小特征提取的区域,从而提升效率。1.2改进的 SIFT 特征匹配在对两幅图像进行配准时,特征点匹配会直接影响图像配准的结果。特征点匹配常用的方法是最近邻距离比值法,然而这种方法需要手动设定阈值,当阈值过大会产生错误匹配对;当阈值过小会丢失正确的匹配对。因此需要对 SIFT 特征点的匹配进行改进。在使用最近邻距离比值法进行特征点匹配后,对于正确匹配的特征点,其附近的像素信息非常相似。因此,可以使用均值哈希来剔除错误匹配的特征点。改进的 SIFT 匹配方法具体步骤如下。1)对两幅图像进行熵分割,并分别对两幅图像的高熵部分进行 SIFT 特征点提取;2)对两幅图像的 SIFT 特征点使用最近邻比值法进行粗略匹配;3)对于粗略匹配的特征点,使用均值哈希得到哈希序列,当汉明距离小于 5 时,则判定为正确匹配;否则将其剔除。4)对剔除错误匹配之后的图像使用 RANSAC 算法获得最终的匹配结果。2多特征融合2.1改进的图像哈希2.1.1改进的感知哈希感知哈希能够获取图像的主体信息,使用感知哈希算法能够得到图像的哈希序列。通过对两幅图像的哈希序列进行比较得到汉明距离。在获得两幅图像之间的汉明距离后,可通过式(2)对两幅图像之间的相似程度进行量化表示,SHash=1-D64,(2)其中:SHash表示两幅图像之间的相似度;D 表示两幅图像之间的汉明距离。然而感知哈希在目标与背景高度相似或光照强度过低的情况下不能很好地提取图像的主体信息。针对感知哈希在上述情况中的不足,本文使用大津阈值对图像进行分割,处理后的图像目标与背景得到了很好的分离。分割前、后的效果对比如图 1 所示。图 1阈值分割前、后对比图Figure 1Comparison before and after threshold segmentation14郑 州 大 学 学 报(理 学 版)第 56 卷2.1.2改进的差异哈希差异哈希算法是一种侧重于图像局部差异的图像哈希算法。其主要过程是将图像进行灰度化后,比较每行像素之间的差异以获取哈希序列的算法。差异哈希算法只关注了局部差异信息,而忽视了局部信息和整体信息之间的联系。本文针对差异哈希算法的不足之处进行了改进。具体改进步骤如下。1)将图像像素压缩成 nn。2)将缩放后的图像进行灰度化处理。3)计 算 灰 度 变 换 后 图 像 像 素 的 整 体 均 值(avg)、各行像素均值(r_avgi)以及各列像素均值(c_avgi)。4)将图像中的像素点按从左到右、从上到下的顺序依次排列并编号,pi表示图像的第 i 个像素点。对每个像素而言,按式(3)的规则进行处理得到相应的哈希码 hi。最终可以得到长度为 n2的哈希序列,记为 Hlocal,hi=1,如 pi pi+1,i 1,n2-1,0,如 pi pi+1,i 1,n2-1,1,如 p1 pi,i=n2,0,如 p1 pi,i=n2。(3)5)将图像的 r_avgi以及 c_avgi依次进行比较,按式(4)和式(5)处理得到相应的行哈希码 ri和列哈希码 ci,最终分别生成 n 位的行哈希序列 Hr和列哈希序列 Hc;ri=1,如 r_avgi r_avgi+1,i 1,n-1,0,如 r_avgi r_avgi+1,i 1,n-1,1,如 r_avg1 r_avgi,i=n,0,如 r_avg1 r_avgi,i=n,(4)ci=1,如 c_avgi c_avgi+1,i 1,n-1,0,如 c_avgi c_avgi+1,i 1,n-1,1,如 c_avg1 c_avgi,i=n,0,如 c_avg1 c_avgi,i=n。(5)6)将图像的 r_avgi以及 c_avgi依次与整体像素均值 avg 进行比较。按式(6)和式(7)的规则进行处理得到相应的行哈希码 ri和列哈希码 ci,最终分别生成 n 位的行哈希序列 Hr和列哈希序列 Hc,ri=1,如 r_avgi avg,i 1,n,0,如 r_avgi avg,i 1,n,(6)ci=1,如 c_avgi avg,i 1,n,0,如 c_avgi avg,i 1,n。(7)7)将上述步骤得到的 Hlocal、Hr、Hc、Hr、Hc进行合并生成最终长度为 n2+4n 的差异哈希序列,如式(8),Hcc=Hlocal,Hr,Hc,Hr,Hc。(8)2.2颜色特征颜色是彩色图像的重要特征之一。本文使用颜色矩来描述图像的颜色特征,这种描述方法不仅简单且十分高效。图像的颜色矩包括一阶矩、二阶矩和三阶矩。图像的一阶颜色能够反映图像整体明暗程度,计算为i=1NNj=1Pi,j,(9)其中:N 表示整幅图像中的像素个数;Pi,j表示图像第 j 个像素的第 i 个颜色分量;i表示第 i 个颜色分量的一阶颜色矩。图像的二阶颜色矩能够反映图像色彩的分布范围,计算为i=(1NNj=1(Pi,j-i)2)12,(10)其中:i表示第 i 个颜色分量的二阶颜色矩。图像的三阶颜色矩能够反映图像色彩的对称性,计算为si=(1NNj=1(Pi,j-i)3)13,(11)其中:si表示第 i 个颜色分量的三阶颜色矩。通过对图像的 RGB 分量分别计算颜色矩,得到一个 9 维的图像颜色特征:Fcolor=(r,g,b,r,g,b,sr,sg,sb),两幅图像之间的颜色相似度计算为Scolor=ni=1F1iF2ini=1(F1i)2ni=1(F2i)2,(12)其中:F1i、F2i分别表示两幅图像的颜色特征向量中的第 i 个分量;n 表示特征向量的维度;Scolor表示两幅图像之间的颜色相似度。2.3特征融合图像哈希特征提取时需要将图像转为灰度图像,灰度图像丢失了图像的色彩信息。因此,本文将颜色矩作为图像的颜色特征融入跟踪算法中。SIFT特征能够描述图像的关键点信息,本文对于 SIFT 特征的量化方式为Ssift=N1N2,(13)24第 1 期李文举,等:基于多特征融合和改进 SIFT 的目标跟踪算法其中:Ssift表示图像区域内成功匹配的 SIFT 特征点的占比;N1表示搜索窗口内与目标成功匹配的特征点的数量;N2表示整幅图像与目标成功匹配的特征点的数量。两幅图像之间相似度计算为S=w1(w2SpHash+w3SdHash)+w4Ssift+w5Scolor,(14)式中:w1、w2、w3、w4、w5别表示各特征的权重,本文取值分别为 0.5、0.5、0.5、0.25、0.25;SpHash、SdHash、Scolor分别表示图像间的感知哈希相似度、差异哈希相似度和颜色矩相似度。3算法实现跟踪目标时,当跟踪目标受到光照变化或相似背景干扰时,会出现跟踪准确率下降。针对此问题,本文提出了基于特征融合和改进 SIFT 的目标跟踪算法。该算法将改进的图像哈希特征、颜色特征和SIFT 特征进行融合处理以找出跟踪目标所在位置。具体实现步骤如下。1)在视频的初始帧选择需要跟踪的目标作为目标模板,计算目标模板的图像哈希特征和颜色特征,并在目标模板的高熵部分提取目标的 SIFT 特征点。2)进入下一帧,对上一帧目标附近区域图像高熵部分进行特征点的提取,并和目标模板的特征点进行匹配。3)使用搜索框在上一帧目标附近区域内进行遍历搜索,统 计搜索框内 的 特 征 点 占 比,并 根 据式(14)获得其与目标模板之间的相似度。4)选取与目标模板相似度最高的搜索框作为最终目标框,若相似度高于阈值,则更新目标模板,重新提取目标模板的图像哈希特征和颜色特征并在目标模板的高熵部分提取 SIFT 特征点;否则直接进入下一帧。5)重复步骤 2)4),直至结束。4实验分析本文的实验在 CPU 为 AMD R5-2600X、内存为8 GB 的 电 脑 上,使 用 PyCharm 的 开 发 平 台 与OpenCV3.4 以及 Python 实现。4.1改进的 SIFT 算法实验分析为了测试改进的 SIFT 算法的匹配效果,本文对跟踪目标变化进行了特征点匹配实验。从图 2 和表1 的实验数据中可以发现,改进的 SIFT 算法进行匹配可以剔除错误匹配的特征点,同时保留了大部分正确匹配的特征点。图 2匹配效果对比图Figure 2Comparison of matching effect 表 1改进的 SIFT 匹配实验数据Table 1Improved SIFT matching experimental data图像名称目标尺寸/像素图像尺寸/像素算法匹配特征点数错误匹配特征点数准确率/%Sylvester5160320240SIFT 18578.2改进的 SIFT15288.2Coupon5789320262SIFT28584.8改进的 SIFT19290.4Dancer242142320262SIFT39588.6改进的 SIFT27293.1Mhyang6067320240SIFT30390.9改进的 SIFT25196.14.2改进的图像哈希实验分析本文对改进的图像哈希算法进行了实验。在光照、相似背景、遮挡、形变等场景下测试了改进的图像哈希算法的性能。实验中使用场景如图 3 所示。从表 2 的实验数据可以得出改进后的图像哈希算法提取了更丰富的图像哈希特征,目标变化前、后的相似度得到了提升。4.3跟踪算法实验分析4.3.1跟踪算法评价指标本文使用文献17中的评价指标来评估本文跟踪算法的性能。成功率是34郑 州 大 学 学 报(理 学 版)第 56 卷图 3目标变化前、后对比图Figure 3Comparison of the target before and after changing表 2目标变化前、后相似度Table 2Similarity of the target before and after changing实验干扰项相似度/%感知哈希差异哈希改进图像哈希(a)光照73.868.588.8(b)杂波54.651.373.2(c)遮挡70.371.580.4(d)形变60.958.775.3指预测框和真实框的重叠精度小于设定阈值的视频帧数占整个视频序列帧数的比例。距离精度是指中心位置误差小于设定阈值的视频帧数占整个视频序列帧数的比例。本文在 OTB-100 视频序列中选取了 8 个视频序列进行实验,并与文献7、8和14中的算法进行对比。具体的测试视频序列描述如表 3 所示。表 3所使用的视频序列描述Table 3Description of the video sequence used视频序列序列帧数图像尺寸/像素干扰因素CarDark393320240光照变化、背景杂波Crossing120360240尺度变化、快速运动、背景杂波Crowds347600480光照变化、形变、背景杂波Mhyang1 490320240光照变化Man134241193光照变化Dancer2150320240形变Sylvester1 345320240光照变化、平面内旋转、平面外旋转Coupon327320240遮挡、背景杂波4.3.2定性分析1)实验 1。对比各种跟踪算法在受 到 光 照 变 化 干 扰 时 的 跟 踪 效 果,视 频 序 列Crowds 的实验效果如图 4 所示,可以发现文献7、8、14的跟踪算法在跟踪过程中受到光照影响出现了偏移现象。本文算法在跟踪过程中几乎没有发生偏移,受到的影响相对较小,能够在光照变化的干扰下保持较高的跟踪稳定性与准确性。图 4Crowds 实验效果图Figure 4Experiment results on Crowds2)实验 2。对比各种跟踪算法在受到相似背景干扰时的跟踪效果,其中视频序列 CarDark 中的黑夜背景信息和作为跟踪目标的黑色轿车高度相似,因此高度相似的背景信息可能会给跟踪算法带来一定的干扰。从图 5 可以发现文献7、8、14的跟踪算法在跟踪过程中受到相似背景的干扰,出现了较大幅度的偏移。本文的跟踪算法在跟踪过程中受到相似背景的干扰相对较小,没有发生较大幅度的偏移,能够保持良好的跟踪准确性和稳定性。图 5CarDark 实验效果图Figure 5Experiment results on CarDark44第 1 期李文举,等:基于多特征融合和改进 SIFT 的目标跟踪算法4.3.3定量分析为了定量分析本文跟踪算法的性能,取重叠率阈值为 0.5,中心坐标误差阈值为20。实验表明本文的跟踪算法有着更高的成功率和距离精度,在受到相似背景和光照变化的影响下,能够稳定、准确地跟踪目标。表 4各种跟踪算法成功率与距离精度对比Table 4Comparison of success rate and distance accuracy of various tracking algorithms单位:%视频序列文献7文献8文献14本文算法成功率距离精度成功率距离精度成功率距离精度成功率距离精度CarDark89.593.587.589.588.692.694.499.7Crossing79.190.175.288.376.185.684.199.1Crowds87.593.588.994.789.795.592.299.2Mhyang85.688.683.187.289.291.292.694.3Man92.191.195.696.694.395.499.199.3Dancer293.293.691.391.395.695.399.694.1Sylvester87.395.586.492.488.993.293.698.2Coupon91.295.393.495.492.194.899.499.4 平均值88.192.687.691.989.392.994.397.94.3.4综合分析为了进一步分析本文跟踪算法的性能,分别采用不同的重叠率阈值和中心坐标误差阈值进行实验,成功率曲线和距离精度曲线实验结果如图 6、7 所示。实验表明本文提出的算法能够在相似背景和光照变化的干扰下准确、稳定地跟踪目标。图 6成功率曲线图Figure 6Graph of success rate图 7距离精度曲线图Figure 7Graph of distance accuracy5总结针对目标跟踪时,当跟踪目标受到背景干扰或光照变化时发生偏移现象或丢失跟踪目标,从而导致跟踪精度降低的问题,本文提出了基于多特征融合和改进 SIFT 的目标跟踪算法。在图像的高熵部分进行特征点提取,并使用均值哈希将错误匹配的特征点剔除。同时本文对感知哈希和差异哈希进行了改进,并获得了更丰富的图像哈希特征。将改进的图像哈希特征、颜色特征和 SIFT 特征进行融合,并应用于跟踪算法中。实验表明本文算法在目标受到相似背景干扰或光照变化时能够准确地跟踪目标,具有良好的性能。参考文献:1马建红,王稀瑶,陈永霞,等.自动驾驶中图像与点云融合方法研究综述J.郑州大学学报(理学版),2022,54(6):24-33.MA J H,WANG X Y,CHEN Y X,et al.A review of research on image and point cloud fusion methods in auto-matic drivingJ.Journal of Zhengzhou university(natu-ral science edition),2022,54(6):24-33.2何文乐.无迹卡尔曼滤波 Cam-Shift 视频监控跟踪算法改进J.无线电工程,2021,51(2):97-103.HE W L.Algorithm improvement for Cam-Shift video sur-veillance and tracking based on unscented Kalman filterJ.Radio engineering,2021,51(2):97-103.3XIAO S L,QIANG Z X,LIU W G,et al.Pedestrian tracking algorithm combining contextual information and 54郑 州 大 学 学 报(理 学 版)第 56 卷attention mechanism J.American journal of computer science and technology,2021,4(4):111.4SONG X,CHEN K,LI X,et al.Pedestrian trajectory prediction based on deep convolutional LSTM networkJ.IEEE transactions on intelligent transportation sys-tems,2021,22(6):3285-3302.5SAMANTA P,JAIN S.Analysis of perceptual hashing al-gorithms in image manipulation detection J.Procedia computer science,2021,185:203-212.6YU S B,JIANG Z.Visual tracking via perceptual image hash from a mobile robotCIEEE International Confer-ence on Information and Automation.Piscataway:IEEE Press,2015:1612-1616.7陈优良,肖钢,卞焕,等.一种融合动态预测的感知哈希目标跟踪算法J.测绘通报,2020(2):17-23.CHEN Y L,XIAO G,BIAN H,et al.A perceptual Hash target tracking algorithm based on dynamic predic-tionJ.Bulletin of surveying and mapping,2020(2):17-23.8胡卓,韩守东,陈永志.融合全局与局部哈希特征的目标实 时 跟踪 J.华 中 科技 大学 学 报(自 然 科 学版),2018,46(7):128-132.HU Z,HAN S D,CHEN Y Z.Fusion of global and local Hash feature for real-time object trackingJ.Journal of Huazhong university of science and technology(natural science edition),2018,46(7):128-132.9SENGAR S S,MUKHOPADHYAY S.Moving object tracking using Laplacian-DCT based perceptual hashCInternational Conference on Wireless Communications,Signal Processing and Networking.Piscataway:IEEE Press,2016:2345-2349.10 HUANG W,LIN L P,HUANG T Q,et al.Scale-adap-tive tracking based on perceptual hash and correlation fil-ter J.Multimedia tools and applications,2019,78(12):16011-16032.11 王智军,王建华.基于 SIFT 验证的 mean shift 跟踪运动目标新算法J.电光与控制,2016,23(11):93-96.WANG Z J,WANG J H.A new mean shift algorithm based on SIFT verification for moving object trackingJ.Electronics optics&control,2016,23(11):93-96.12 顾苏杭,戎海龙,马正华.融合 SIFT 特征和 HMM 的运动目标识别与跟踪算法J.科技通报,2017,33(11):210-215.GU S H,RONG H L,MA Z H.Moving target recogni-tion and tracking algorithm based on fusing SIFT features and the hidden Markov modelJ.Bulletin of science and technology,2017,33(11):210-215.13 李艳萍,林建辉,杨宁学.一种基于 SIFT 特征光流的运动目标跟踪算法J.计算机科学,2015,42(11):305-309.LI Y P,LIN J H,YANG N X.Algorithm of moving tar-get tracking based on SIFT feature optical flowJ.Com-puter science,2015,42(11):305-309.14 MIRUNALINI P,JAISAKTHI S M,SUJANA R.Track-ing of object in occluded and non-occluded environment using SIFT and Kalman filterCIEEE Region 10 Con-ference.Piscataway:IEEE Press,2017:1290-1295.15 冀振宁.基于局部统计特性及 SIFT 算法的图像配准J.太原理工大学学报,2017,48(5):828-832.JI Z N.Image registration based on statistic characteris-tics and SIFT algorithmJ.Journal of Taiyuan university of technology,2017,48(5):828-832.16 刘自金,石玉英.基于信息熵的改进 SIFT 图像快速匹配算法J.激光杂志,2021,42(12):129-135.LIU Z J,SHI Y Y.Improved fast SIFT image matching algorithm based on information entropy J.Laser jour-nal,2021,42(12):129-135.17 WU Y,LIM J,YANG M H.Online object tracking:a benchmark C IEEE Conference on Computer Vision and Pattern Recognition.Piscataway:IEEE Press,2013:2411-2418.64