多特征融合的无人艇视觉目标长时相关鲁棒跟踪.pdf
《多特征融合的无人艇视觉目标长时相关鲁棒跟踪.pdf》由会员分享,可在线阅读,更多相关《多特征融合的无人艇视觉目标长时相关鲁棒跟踪.pdf(13页珍藏版)》请在咨信网上搜索。
1、本文网址:http:/www.ship- J.中国舰船研究,2024,19(1):6274.WANG N,WU W,WANG Y Y,et al.Long-term correlation robust tracking of visual targets for unmanned surfacevehicles using multi-feature fusionJ.Chinese Journal of Ship Research,2024,19(1):6274(in both Chinese and English).多特征融合的无人艇视觉目标长时相关鲁棒跟踪扫码阅读全文王宁*1,吴伟2,
2、王元元2,孙赫男31 大连海事大学 轮机工程学院,辽宁 大连 1160262 大连海事大学 船舶电气工程学院,辽宁 大连 1160263 大连海事局 甘井子海事处,辽宁 大连 116000摘 要:目的目的针对显著海浪遮挡、相机剧烈晃动引起的无人艇视觉目标跟踪脱靶问题,提出一种基于多特征融合的长时相关鲁棒跟踪算法。方法方法首先,采用多特征融合技术,增强目标特征表达,提高目标模型鲁棒性;其次,利用高维特征降维和响应图子网格插值,提高目标跟踪的效率与精度;然后,设计水面目标重识别机制,解决目标完全脱离视野时的稳定跟踪问题;最后,采用多个代表性视频数据集进行验证和比较分析。结果结果实验结果表明,相较于
3、传统的长时相关跟踪算法,平均成功率提升 15.7%,平均距离精度指标提升 30.3%,F-Score 指标提升 7.0%。结论结论所提算法能够处理恶劣海况下的目标脱靶问题,对于提升无人船艇及海洋机器人智能感知能力,具有重要技术支撑意义。关键词:视觉目标跟踪;长时鲁棒跟踪;水面目标重识别;多特征融合;无人艇中图分类号:U666.1文献标志码:ADOI:10.19693/j.issn.1673-3185.03364 Long-term correlation robust tracking of visual targets forunmanned surface vehicles using m
4、ulti-feature fusionWANG Ning*1,WU Wei2,WANG Yuanyuan2,SUN Henan31 College of Marine Engineering,Dalian Maritime University,Dalian 116026,China2 College of Marine Electrical Engineering,Dalian Maritime University,Dalian 116026,China3 Ganjingzi Marine Department,Dalian Maritime Saftey Administration,D
5、alian 116000,ChinaAbstract:ObjectiveTo address the problem of visual target tracking failure caused by significant waveinterference and severe camera shaking in unmanned surface vehicles(USVs),a multi-feature fusion long-termcorrelation robust tracking algorithm is proposed.MethodsFirst,the multi-fe
6、ature fusion technique isused to enhance the expression of target features and improve the robustness of the target model.Then,high-dimensional feature dimension reduction and response map sub-grid interpolation are utilized to improve theefficiency and accuracy of target tracking.After that,a mecha
7、nism for water surface target re-identification isdesigned to address the issue of stable tracking when the target is completely out of sight.Finally,the pro-posed algorithm is validated and compared through multiple representative video datasets.Results Theexperimental results show that compared wi
8、th traditional long-term correlation tracking algorithms,the aver-age success rate is improved by 15.7%,the average distance precision index is improved by 30.3%and the F-score index is improved by 7.0%.ConclusionThe proposed algorithm can handle target tracking failure inharsh marine environments a
9、nd has important technical support significance for improving the intelligent per-ception capability of USVs and ocean robots.Key words:visual target tracking;long-term robust tracking;surface target re-identification;multi-featurefusion;unmanned surface vehicles收稿日期:20230516 修回日期:20230729 网络首发时间:20
10、240202 14:05基金项目:国家高层次人才支持计划项目(SQ2022QB00329);国家自然科学基金资助项目(U23A20680,52271306);国防基础科研计划资助项目(JCKY2022410C013);辽宁省兴辽英才计划领军人才资助项目(XLYC2202005);中央引导地方科技发展专项资金资助项目(2023JH6/100100010);大连市科技创新基金重大基础研究资助项目(2023JJ11CG009);中央高校基本科研业务费专项资金资助项目(3132023501)作者简介:王宁,男,1983 年生,博士,教授,博士生导师。研究方向:自主海洋机器人。E-mail:n.wang
11、ieee.org*通信作者:王宁 第 19 卷 第 1 期中 国 舰 船 研 究Vol.19 No.12024 年 2 月Chinese Journal of Ship ResearchFeb.2024 0 引言视觉目标跟踪是计算机视觉领域的重要研究内容1-2。基于视觉的无人船艇在海上搜救、水面安防巡逻、海底探测等领域已被广泛应用3-4。在海洋工程领域,基于视觉的海上特定目标跟踪对于维护海洋利益、保障船舶海上航行安全具有不可替代的作用。船舶视觉目标跟踪问题一直是学术界所面临的长期难题。Xiao 等5使用通道空间可靠的判别式相关滤波(discriminative correlation filt
12、er trackerwith channel and spatial reliability,DCF-CSR)算法对光学卫星图像进行跟踪,有效减少了跟踪误差,具有显著优势。Wang 等6将多种机器学习方法应用于卫星船舶图像跟踪,大大降低了误检率。目标跟踪的基本原理是根据采集的图像信息构建一个目标外观模型,并采用相应的策略跟踪图像目标。跟踪策略通常可分为生成式和判别式7。生成式方法是使用统计模型或模板描述目标外观,并在后续帧中搜索与目标最相似的图像作为跟踪目标。与之相反,判别式方法的策略是利用成熟的机器学习技术来区分目标图像信息和背景图像信息。后者因其出色的跟踪精度、高效的跟踪过程、鲁棒的跟踪模
13、型,成为研究热点。受到相关滤波(correlation filter,CF)理论在信号处理领域应用的启发,Bolme 基于此理论提出了最小误差输出平方和的目标跟踪算法8,将 CF 理论应用到判别式目标跟踪框架中,利用快速傅里叶变换(fast Fourier transform,FFT)把时域内的卷积转换为频域上的点积,从而显著降低了计算复杂度;此举实现了 600 帧/s 的跟踪速度,并且开拓了判别式相关滤波跟踪(discriminative correlation filter,DCF)这一研究方向。Henriques 等9在 Bolme 的研究工作基础上提出了利用循环采样代替传统稀疏采样方式
14、,并引入核技巧将原来低维线性图像空间转换为高维非线性空间,提出了循环结构核跟踪算法(circulation structure of tracking-by-detec-tion with kernels,CSK)。随着图像领域技术的发展,大量的实验表明影响目标跟踪精度的关键性因素是目标特征的选取。在提出 CSK 算法之后不久,Henriques 等10又提出将方向梯度直方图(histogram of oriented gradient,HOG)特征替代原始的灰度特征,并且对整个跟踪框架进行了严密的推导,从而提出了核相关滤波(kernelized correl-ation filter,KCF
15、)跟踪算法。KCF 算法的跟踪精度相较于 CSK 有较大的提升,而且其利用多通道HOG 特征代替图像灰度特征,对后续研究有启发作用。随后,Danelljan 等11关注到目标的颜色属性对跟踪结果的影响不可忽视,通过将多通道颜色名称(color names,CN)特征引入到 DCF 框架中,在解决目标被部分遮挡以及出现光照变化问题上表现出明显的优势,并据此提出了自适应颜色跟踪算法。在目标跟踪过程中,因目标尺度的变化会影响到跟踪结果的准确性,Danelljan 等12通过设计一个独立的基于尺度金字塔学习的判别式滤波器来对尺度进行单独估计,并且所设计出来的尺度滤波器可以方便移植到其他基于 DCF框架
16、的跟踪算法中,从而提出了判别式尺度空间跟踪(discriminative scale space tracking,DSST)算法。DSST 算法中的 HOG 特征虽然在应对目标出现运动模糊和光照变化时具有一定的鲁棒性,但应对目标出现形变时效果明显变差,而当目标出现较大形变时很容易丢失目标导致跟踪失败。因此,Bertinetto 等13将 HOG 特征作为模板特征,颜色直方图作为直方图特征,通过基于 DSST 框架结合两种特征提出了基于模板与像素特征融合算法(sum of template and pixel-wise learners,Staple)。随着深度学习技术在目标检测领域中的爆发式
17、发展14,目标跟踪也紧随其后。Danelljan 等15融合深度特征和 HOG 特征,提出了连续卷积算子跟踪算法(continuous convolution operators for visualtracking,C-COT),其在 KCF 算法的基础上使用了深度神经网络 VGG-net 提取的深度特征,通过三次样条函数进行多分辨率特征图插值,将不同分辨率的特征图通过插值操作扩展到同一周期的连续域中,从而实现了亚像素级定位。不久,为简化模型和提高计算效率,Danelljan 等16又在 C-COT 算法基础上提出了高效卷积算子跟踪(effi-cient convolution operat
18、ors for tracking,ECO)算法,其主要通过减少模型参数数量、优化训练样本集、修改模型更新策略等方式在保证跟踪精度的前提下显著提高跟踪速度,进一步拓宽了多特征融合的跟踪思路。相较于短期跟踪而言,长时跟踪与跟踪时间长短并不直接相关。长时跟踪是指在视频序列中,即使目标图像出现暂时性的消失情况,跟踪器也能够重新识别目标并继续对其进行跟踪。Kalal 等17提出了一种对视频中单个物体长时跟踪的算法(tracking-learning-detection,TLD),该算法设计了一个跟踪器用于跟踪,然后利用检测器进行目标重新识别,最后通过一种改进的线上学习机制不断更新跟踪器,从而使得跟踪效果
19、更加稳定、可靠。Ma 等18利用跟踪时间上下文之间第 1 期王宁等:多特征融合的无人艇视觉目标长时相关鲁棒跟踪63的相关性提高了位移估计的准确性,并且通过训练在线随机蕨分类器,在跟踪失败的情况下重新检测物体,从而提出了长时相关跟踪算法(long-term correlation tracking,LCT)。Huang 等19基 于Faster R-CNN 提出了 Query-Guided RPN 和 Query-Guided RCNN 模块,利用 Query-Guided RPN 网络生成候选框,利用 Query-Guided RCNN 对候选框目标位置进行更加细致的定位,从而提出全局长时跟踪
20、算法(global track)。在海洋环境中,由于突发的海浪和无人艇自身的剧烈晃动等因素,船舶目标往往会短暂消失,这给目标跟踪带来了极大的挑战。本文旨在设计一种基于无人艇平台的海上目标长时鲁棒跟踪算法,以解决海洋环境下的目标脱靶问题。本算法通过在目标消失时进行状态估计和预测,使得跟踪器在船舶目标再次出现时能够重新识别目标并继续跟踪。首先,为了提高目标特征表达的鲁棒性,本文拟设计一种结合 HOG 特征和 CN 特征的多特征多通道融合的相关滤波框架;其次,利用高维特征降维和响应图的子网格插值,提高目标跟踪的效率;最后,为应对目标完全脱离摄像机视野对跟踪带来的困境,设计一个基于支持向量机(supp
21、ort vector machine,SVM)的检测器用于目标重识别20。1 问题描述 1.1 目标脱靶分析无人艇在海上进行视觉目标跟踪过程中,目标出现脱靶问题的原因主要在于海洋环境复杂多变,视频目标图像可能会受到巨大的海浪遮挡、无人艇艇载相机激烈摇晃等因素影响,从而导致目标在部分时间段内无法被有效识别。目标跟踪的基本思想是在一系列图像帧中持续追踪目标的位置、尺度等关键状态信息。通过将前一帧图像中目标的位置和后续帧图像中的位置进行对比来确定目标的新位置,并根据跟踪算法来预测目标的未来位置,从而实现对目标的持续跟踪。值得注意的是,目标跟踪的本质是一个持续不断的强关联过程。这意味着,当某一帧或几帧
22、图像中目标脱离相机视野,跟踪过程将被迫中止,但是跟踪器并未停止对目标的学习,此时跟踪器学习到错误信息导致跟踪失败,并且后续不可纠正。鉴于复杂环境导致目标脱靶的客观事实与目标跟踪的固有缺陷,本文将基于尺度自适应的相关滤波框架,提出一种海上视觉长时跟踪算法。1.2 尺度自适应与相关滤波 1.2.1 相关滤波相关滤波提取目标特征用于计算滤波器与图像帧之间的相似程度,并利用滤波器来更新目标的位置。具体来说,相关滤波器是一种线性滤波器,用于计算两个信号之间的相关性。跟踪中,利用滤波器与候选区域的目标模板进行卷积,从而得到所有位置的相似程度。卷积得到的图像被称为响应图或相关图。在响应图中,相似度最高的位置
23、即为当前帧中目标所在位置。MN1)选择目标样本。从视频序列的第 1 帧中以图像目标为中心提取样本块 x,其中样本块的尺度为。2)特征提取:对每一帧图像提取目标特征,本文基于多特征融合,选择 HOG 特征与 CN 特征通道层相融合作为目标特征。x Rn1w Rn1y Rn1wl3)滤波器学习:在第 t 帧中,提取的目标样本块为,其中 n 为通道数。该样本对应的滤波器为,训练样本的回归目标为。学习的目标得到每一特征通道的,通过对下列代价函数最小化实现:=?dl=1wlxly?22+dl=1?wl?22(1)l 1,2,.,d式中:“*”为循环卷积操作;为正则化系数;,为特征通道数。c(x)对该样本
24、应用循环移位操作获得大量的循环移位样本,则样本空间为c(x)=x1x2xnxnx1xn1.x2x3x1(2)c()式中:为循环移位,矩阵中第 1 行为真实样本,其他行均为循环移位样本。将式(1)的岭回归问题转换到频域内计算滤波器的解析解,则有Wl=YXldk=1(Xk)Xk+(3)式中:W,X,Y 分别为 w,x,y 的傅里叶系数;“”表示复共轭变换。4)参数更新:为保证在后续跟踪中,滤波器能适应目标外观模型的变化,通常需要对滤波器模板进行更新,则64“无人船艇自主性技术”专辑第 19 卷Wt=(1)Wt1+Wt(4)式中:t 为帧数;为学习率。通过控制学习率数值改变滤波器对历史帧参数的依赖程
25、度。t+1z Rn15)目标定位:将学习后的滤波器用于下一帧目标的预测定位。在帧中,以 t 帧中目标位置,提取图像块,并与滤波器的时域相关值为y=F1WZ(5)t+1式中:“”表示按元素相乘;Z 为样本图像块的傅里叶变换结果。时域相关值 y 反映了两者的相似程度,通过求得相关值的最大值即可求得目标在帧中的位置。1.2.2 尺度自适应在对目标位置跟踪过程中,滤波器的尺度并未在计算范围内,然而,对目标尺度的跟踪会影响到对目标位置跟踪的精度21。当目标尺度发生变化时,如果跟踪框不能够自适应跟踪,则会将背景信息误认为目标信息而导致滤波器训练出现错误。另一方面,如果跟踪框不能完整地包含目标信息,目标尺度
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 特征 融合 无人 视觉 目标 相关 跟踪
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。