基于红外场景下的人员目标跟踪方法.pdf
《基于红外场景下的人员目标跟踪方法.pdf》由会员分享,可在线阅读,更多相关《基于红外场景下的人员目标跟踪方法.pdf(8页珍藏版)》请在咨信网上搜索。
1、第 51 卷收稿日期:2023年2月6日,修回日期:2023年3月12日作者简介:张宸玮,男,硕士研究生,研究方向:计算机视觉。1引言本文的研究工作主要基于多目标跟踪领域(Multi-object Tracking,MOT),因为目标跟踪需要建立前后两帧图像之间目标的联系。多目标需要实现邻接两帧之间相同目标的数据联系,还存在着遮挡、目标较小、目标相似度明显、运动轨迹起止时间未知等问题。多目标跟踪包括两类,第一类为以检测为核心的跟踪,第二类则将初始框作为核心,进而实现高效的智能化跟踪7。DFT与单目标跟踪有相似之处,它们都不能够脱离于人工标注的环节。如果采用人工初始化的方式,那么其往往难以标记首
2、帧中并未发现的目标,而多目标跟踪本身包含目标不断消失出现的场景,因此未被人工初始化的目标将无法被跟踪。人工标注的不完整性影响跟踪结果的稳定性,因此TBD比DFT更常用,本文主要基于TBD进行研究。本文提出了一种基于Yolov4-tiny和Deepsort8的红外人员目标跟踪方法,其重点涵盖模型训练、跟踪等多个环节。Deepsort 是基于 TBD 策略的MOT算法,通过设计检测结果和跟踪预测结果的关联策略实现跟踪。该方法具有较高的检测精度基于红外场景下的人员目标跟踪方法张宸玮(中国石油大学(华东)青岛266000)摘要针对红外场景下目标跟踪算法识别效率低、跟踪成功率低等问题,提出一种改进的Yo
3、lov4-tiny与Deepsort结合的红外目标跟踪方法。使用红外热像仪采集红外图像,对改进的Yolov4-tiny网络模型进行训练,改进后的Yolov4-tiny网络模型在保证检测精度的同时,大大提高了检测速度;识别过程中通过训练好的网络模型对输入图像进行特征提取,获取人员目标信息;跟踪过程采用卡曼尔滤波与匈牙利算法相结合的方式处理运动信息和数据关联,完成对目标的跟踪。设计对比实验将论文提出的方法与Yolov4、Yolov4-tiny、Yolox方法进行对比,结果表明:该方法在检测精度、跟踪成功率和实时性因素方面对红外场景下人员目标跟踪效果最优。关键词多目标跟踪;红外成像;Yolov4-t
4、iny;Deepsort;深度学习中图分类号TP391DOI:10.3969/j.issn.1672-9722.2023.08.020Personnel Target Tracking Method Based on Infrared SceneZHANG Chenwei(China University of Petroleum(East China),Qingdao266000)AbstractAiming at the problems of low recognition efficiency and low tracking success rate of target tracki
5、ng algorithm in infrared scene,an improved infrared target tracking method combining Yolov4-tiny and Deepsort is proposed.the infrared image iscollected by infrared thermal imager,and training within the improved Yolov4-tiny network model.The improved Yolov4-tiny network model greatly improves the d
6、etection speed while ensuring the detection accuracy.In the recognition process,the trained network model is used to extract the features of the input image and obtain the personnel target information.In the tracking process,thecombination of Kalman filter and Hungarian algorithm is used to process
7、the motion information and data association to complete thetarget tracking.A comparative experiment is designed to compare the proposed method with the Yolov4,Yolov4-tiny and Yolox,theresults show that the proposed method has the best tracking effect for human targets in infrared scenes in terms of
8、detection accuracy,tracking success rate and real-time factors.Key Wordsmulti-target tracking,infrared imaging,Yolov4-tiny,Deepsort,deep learningClass NumberTP391总第 406 期2023 年第 8 期计算机与数字工程Computer&Digital EngineeringVol.51 No.817922023 年第 8 期计算机与数字工程及较快的检查速度,可以满足夜间红外场景下人员实时跟踪的要求。2红外人员目标跟踪方法本文提出了融合
9、Yolov4-tiny 与 Deepsort 的红外人员目标跟踪方法,其流程如图1所示。首先利用AIIR型号红外成像仪器采集图像作为训练集,训练Yolov4-tiny模型。然后用训练好的模型对夜晚红外场景进行人员检测。最后,利用Deepsort算法对人员检测结果进行跟踪,从而得到清晰而准确的人员跟踪结果。输出目标跟踪结果红外图像采集改进Yolov4-tiny目标检测Deepsort目标跟踪算法图1红外人员目标跟踪方法流程图2.1改进的Yolo_v4-tiny目标检测算法本文采用Yolov4-tiny算法对红外人员目标进行实时检测。Yolov4-tiny是一类应用较为广泛的算法,它对于常规的嵌入
10、式平台具有良好的适用性。与Yolov4相比,检测精度在一定程度上下降,然而其能够可靠地进行模型压缩,可以明显优化检测效率。在确保检测速率符合要求的条件下,为了有效增加算法精度,本文做出如下改进:1)在特征层后增加一个分支,将 Yolov4-tiny 的输出大小为26*26*128。13*13*256 的特征图在经过 DBL(卷积+批量标准化+激活函数Relu)变换后,与另一个相同尺寸的特征图叠加为有效特征层,其尺寸大小为 26*26*128;2)在第一个有效特征层之后,添加三个空洞率分别为1、3、5的平行深度可分离卷积层,以扩大特征层的感受野。在经过连接之后,通过1*1卷积和DBL变换作为第二
11、个有效特征层;3)改进特征融合网络。在第二个有效特征层经过DBL变换后添加残差网络,之后进行卷积与上采样,最后经由Yolo_head输出第一个预测结果。2.1.1改进的特征提取网络本节解决了模型的特征提取网络 CSPDarknet53-tiny不能充分利用各个尺度的信息的问题。对底层特征(128)进行DBL变换,并通过1*1卷积调整大小,与前面的特征合并。融合结果结合中层特征(256)作为第一有效特征层,增强模型对小目标的特征提取能力;同时,在第一个有效特征层之后,引入三种不同空洞率的平行连接。融合结果通过卷积加标准化操作,再经由DBL变换进行调整,作为第二有效特征层。改进后的特征提取网络结构
12、图如图2所示,其中SepConV_Bn为包含深度可分离空洞卷积10的卷积块。残差模块Resblock body(26,26,128)改进的CSPDarknet53-Tiny网络构图输入图像(416,416,3)DBL变换(卷积+标准化+激活函数)DarknetConv2D_BN_Leaky(208,208,32)DBL变换DarknetConw2D_BN_Leaky(208,208,32)残差模块Resblock body(52,52,64)深度卷积+标准化+激活函数Depthwiseconv2D+BN+Relu6残差模块Resblock body(13,13,256)卷积+标准化Conv2D
13、+BNDBL变换DarknetConv2_BN_Leaky(13,13 512)(26,26,256)深度可分离空洞卷积块SepConw_BN(rate=1)深度可分离空洞卷积块SepConw_BN(rate=3)深度可分离空洞卷积块SepConw_BN(rate=5)深度卷积+标准化+激活函数Conv2D+BN+Relu深度可分离空洞卷积Speconv_BN深度空洞卷积DepthConv2D(rate=1,2,5)标准化+激活函数BN+Relu卷积Conv2D标准化+激活函数BN+Relu图2改进的特征网络结构图1793第 51 卷空洞卷积很大程度上表现出不规则的特点,可根据实际需求对感受野
14、进行调节,并有效减少计算量。其思想是扩大每个卷积核像素之间的距离。相比正常卷积,其加入了空洞率参数,下图具体展示了空洞卷积的整体情况。图3(a)为正常卷积,图3(b)为空洞率为2的空洞卷积。与前者相比,后者的感受野明显增加。然而,在对感受野进行拓展的过程中,某些像素值并未加入卷积操作,使卷积具有信息丢失的现象;为解决这一问题,本节在设计三个并行空洞卷积时,将空洞率分别设为1、3、5,即小空洞率聚焦短距离信息,大空洞率聚焦长距离信息。同时,通过深度可分空洞卷积替换传统的空洞卷积,其大幅度缩减了计算量。(a)正常卷积(b)空洞卷积图3正常卷积与空洞卷积的比较2.1.2改进的特征融合网络Yolov4
15、-tiny中,采用FPN结构对输出的两个有效特征层进行简单的特征融合。过程如下:最后一个有效特征层卷积后再上采样,一方面通过 yolo_head处理第一个预测结果,另一方面与前一个输出的有效特征层叠加,再由yolo_head处理输出第二个预测结果。本文引入一种改进的反残差网络来增强FPN的特征融合能力。图4为标准残差网络、反残差网络和改进反残差网络的结构比较图,其中 n 是输入通道的数量、t 为输出通道的数量、C为压缩或扩展通道的倍数。残差网络使用跳转连接来解决神经网络中的退化问题,从图4的比较可以看出,标准残差网络图4(a)首先通过1*1的卷积压缩通道数,此后应用3*3卷积完成标准化的提取特
16、征,最后通过1*1卷积恢复特征映射的通道数。在对特征通道进行压缩和扩展的过程中,会存在破坏特征表达并导致信息丢失的问题;而反残差网络图4(b)则相反,先通过1*1卷积扩展通道,然后使用3*3的卷积提取特征,最后使用1*1的卷积映射到原始通道数量;为了加深网络深度,降低计算复杂度,本节采用了改进方法,对图4(c)的后一块反残差块进行了改进,将图4(b)中的3*3常规卷积替换为3*3深度卷积。改进后的算法总体结构如图5所示。卷积Conv 11 C=n/tn激活函数卷积Conv 33 C=n/t激活函数卷积Conv 11 C=n激活函数卷积Conv 11 C=ntn激活函数卷积Conv 33 C=n
17、t激活函数卷积Conv 11 C=n激活函数卷积Conv 11 C=ntn激活函数深度卷积DWConv 33 C=nt激活函数卷积Conv 11 C=n激活函数(a)标注残差网络(b)反残差网络(c)改进反残差网络图4标准残差网络、反残差网络、改进反残差网络的比较2.2Deepsort目标跟踪算法Deepsort目标跟踪检测算法是基于sort目标追踪算法的改进,引入离线训练深度学习模型,在实时目标跟踪过程中,对待跟踪目标特征加以提取匹配。在遮挡的条件下其依然能够体现出理想的跟踪效果11。Deepsort跟踪框架结构如图6所示。根据要求对ID编号进行初始化,此后结合预测公式对检测框位置实现准确预
18、测,如此就能够获取后续的状态参数。除此之外,我们可以通过匈牙利匹配算法对各目标所涵盖的特征展开比较,假如特征距离未超过限定的阈值,则判定两帧内的框与特定的ID号相对应,如此就实现了高效的目标关联,假如特征距离相对较大,则判定两者的ID号具有偏差,然后开始后续的匹配操作。单假设追踪方法是 Deepsort目标跟踪算法的核心,主要采用卡尔曼滤波的递归方法完成所采集逐帧红外图像的数据关联。Deepsort算法需在匹配计算中加入目标外观信息,因此在目标受遮挡情况下仍可实现图像ID的精准匹配。张宸玮:基于红外场景下的人员目标跟踪方法17942023 年第 8 期计算机与数字工程Deepsort目标跟踪算
19、法的流程如图7所示。残差模块Resblock body(26,26,128)改进的CSPDarknet53-Tiny网络构图输入图像(416,416,3)DBL变换(卷积+标准化+激活函数)DarknetConv2D_BN_Leaky(208,208,32)DBL变换DarknetConw2D_BN_Leaky(208,208,32)残差模块Resblock body(52,52,64)深度卷积+标准化+激活函数Depthwiseconv2D+BN+Relu6残差模块Resblock body(13,13,256)卷积+标准化Conv2D+BNDBL变换DarknetConv2_BN_Leak
20、y(13,13 512)(26,26,256)深度可分离空洞卷积块SepConw_BN(rate=1)深度可分离空洞卷积块SepConw_BN(rate=3)深度可分离空洞卷积块SepConw_BN(rate=5)深度卷积+标准化+激活函数Conv2D+BN+Relu改进的CSPDarknet53-Tiny网络构图DBL变换DarknetConw2D_BN_Leaky(26,26,256)卷积Depthwiseconv2D(13,13(classes+5)*3)(26,26,384)Yolo headDBL变换+上采样DarknetConv2D_BN_Leaky+upsampling(26,2
21、6,128)卷积残差块Conv_Block(13,13,256)DBL变换DarknetConv2D_BN_Leaky(13,13,512)DBL变换DarknetConv2D_BN_Leaky(13,13,256)卷积Depthwiseconv2D(13,13(classes+5)*3)Yolo head图5改进的Yolo_v4-tiny网络结构图CNN特征匹配开始否否否是否匹配到目标HOG特征匹配提取相应特征和初始化是是是是是否匹配到目标IOU匹配结束检测框均已匹配两框是否匹配分配到下一个ID否下一个检测框更新目标状况并输出跟踪结果图6Deep sort 跟踪框架结构确定跟踪状态是否正常开
22、始图像输入检测状态估计参数初始化Iou作业更新矩阵结束级联匹配将小于置信度结果删除图7Deepsort算法流程图1795第 51 卷从图7中可以看出,Deepsort目标跟踪检测算法包括状态估计、轨迹处理以及级联匹配等过程。传统sort算法需将跟踪框以及检测框的IoU状态作为算法输入,跟踪框以及检测框匹配结果需利用匈牙利算法实现,而Deepsort算法需同时考虑目标外观信息以及运动信息关联12,目标检测以及目标轨迹跟踪匹配通过融合度量方法实现。通过马氏距离表示运动信息的关联度,该种距离是跟踪器预测框与检测框间的距离,马氏距离表达式如下:利用马氏距离对运动数据的关联度进行具体表示,其对应的表达式
23、为l()1()ij=()lj-yiTZ-1i()lj-yi(1)在上述式子中,lj与yi先后指代的是j的位点和i预测目标的位置;Zi在此处指代的是平均跟踪位置与检测位置之间存在的协方差矩阵13。由公式可知,Deepsort算法可依据特定标准差分析目标跟踪过程中状态测量的波动情况,该种标准差利用马氏距离通过平均跟踪位置与检测位置运算获取14。根据要求对95%置信区间展开计算,此处可以结合逆2分布情况展开分析。阈值化处理表达式如下:b()2ij=l2()ij t2(2)当所设置的阈值t()1高于其中某次所关联的马氏距离时,表示跟踪运动状态的目标的运动信息已成功关联15。红外成像监控为测量空间,设置
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 红外 场景 人员 目标 跟踪 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,个别因单元格分列造成显示页码不一将协商解决,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。