基于深度学习的实时物体检测与跟踪.pdf

中国新技术新产品2024 NO.1（下）-4-高 新 技 术物体检测与跟踪技术在计算机视觉领域中占据着举足轻重的地位。吴皓等1研究了基于视觉同步定位与地图构建（Simultaneous Localization and Mapping，SLAM）的物体实例识别与语义地图构建方法。程蔚等2利用复合动态模型和证据融合架构，提出了基于多传感器的移动物体检测与跟踪方法。唐聪等3创新了基于深度学习的视觉跟踪方法，结合了深度检测模型（SSD）和多尺度目标搜索结果。张琪等4提出了简单有效的鱼群轨迹追踪算法，通过多模块设计实现了对复杂运动模式的鱼群轨迹准确提取。韩宇等5基于嵌入式树莓派（Raspberry Pi，RPi）和 OpenCV（跨平台计算机视觉库），实现了运动检测与跟踪系统小型化、高效化且对光照条件变化具有一定的自适应调节能力。孙同同等6研究了机器人中基于视觉检测与跟踪技术的应用。赵晓军等7设计了基于现场可编程门阵列（Field Programmable Gate Array，FPGA）的图像识别与跟踪系统，采用模型匹配和边缘特征相结合的跟踪算法。郑丹等8针对视频监控中运基于深度学习的实时物体检测与跟踪梁红波（广州英码信息科技有限公司，广东 广州 510663）摘 要：本文旨在研究多模态显著性检测方法，以提高在计算机视觉领域中物体检测与跟踪任务的性能。研究问题聚焦于如何融合多种传感器数据，以提高物体检测和跟踪的准确性和质量。采用基于深度学习的目标检测与跟踪方法，能够更准确地识别和定位感兴趣的物体，并连续追踪其运动轨迹。研究方法涉及条件生成对抗网络（Conditional Generative Adversarial Networks，CGAN）和动态权重自适应融合技术，以优化目标的检测性能。本文在多个多模态数据集上进行了性能测试，包括 RGB-Thermal、RGB-Depth 和 RGB-Total。结果表明，与完整模型相比，移除对抗损失函数和模态权重的模型具有更高的召回率，尤其是在高阈值条件下。本研究验证了多模态显著性检测方法在不同数据集上的有效性，并指出在特定数据集上可能需要调整模型参数或损失函数的设计，以获得最佳效果。本研究不仅能够应用于自动驾驶、智能监控和人机交互等实际场景中，还为多模态数据融合在目标检测与跟踪领域提供了参考。关键词：深度学习；目标检测；目标跟踪中图分类号：TP391文献标志码：A人受重力的影响将沿斜面下滑。已知履带式蛇形结构机器人在上坡地面最大静摩擦系数，那么机器人爬越的最大坡度如公式（7）所示。max=tan-1 （7）式中：max为最大坡度。当爬坡时克服摩擦力所需的最大加速度如公式（8）所示。amax=(cos+sin)g （8）式中：g 为重力加速度。通过上述计算可知机器人的爬坡角度最大为 33；攀爬楼梯高度为 17.5 cm。2.5 机器人本体材料选择该机器人主体机架采用铝合金材料，其具有优异的轻量化和强度特性，同时结构紧凑，适应地下管廊狭窄的环境。在设计过程中遵循轻量化原则设计机架。Q235 钢和6005 铝合金的特性参数对比见表 2。从表 2 中可以看出，铝合金密度较低且强度较高，因此首选铝合金作为机架材料。综上所述，主体机架采用 6005 铝合金以满足机器人在恶劣环境中的使用需求。表 2 主体结构材料性能参数表材料泊松比 密度/（gcm-3）屈服强度/MPa拉伸强度/MPaQ2350.257.852353706005合金0.332.702302603 结论在对现有的探测机器人进行整体结构研究的基础上，本研究团队提出了一种履带式蛇形结构机器人的总体设计方案。该机器人的研发旨在减少灾难发生后因未能及时救援而导致的伤亡情况。在结构设计上采用模块化组装方式，整体结构紧凑且各部位装置可以灵活可配置，使机器人能够更好地完成救援任务。参考文献1 王妍，王谦，钟秀梅，等.门源 M_s6.9地震中大梁隧道地震动响应分析 J.地震工程学报，2023（6）：1315-1323.2 高娜，王海鹰.两次海地7.3级地震应急救援对比分析 J.地震科学进展，2023，53（11）：530-535.3 侯鑫新，曾志远，吴志强.一种多功能地震救援机器人产品设计 J.电子产品世界，2023，30（9）：13-16.注：G为重力；为上坡角度。图 6 机器人上坡受力示意图G中国新技术新产品2024 NO.1（下）-5-高 新 技 术动物体的检测与跟踪问题，提出了一种基于背景重建和改进的 Meanshift 算法。李晶等9针对实时视频监控中遮挡和高速运动等问题，提出了一种基于卡尔曼滤波的运动物体跟踪算法，上述研究为本文提供了经验和启示。1 基于深度学习的目标检测与跟踪深度学习是一种模拟人脑神经网络结构和功能的技术。在计算机视觉领域中，基于深度学习的目标检测与跟踪已成为一个热门的研究方向。目标检测的任务是从图像或视频中准确识别出感兴趣的物体，并确定其位置。而目标跟踪旨在在视频序列中连续地追踪物体的运动轨迹。通过利用卷积神经网络（CNN）等深度学习模型，并结合大量标注数据进行训练，可以学习到高效的特征表达，并通过特定算法实现准确的目标检测和跟踪。2 模型构建2.1 产生式对抗网络（CGAN）本文引入了条件生成对抗网络（CGAN）的概念，并将其作为模型的关键组成部分。CGAN由2个子网络组成：生成器 G 和判别器 D，它们在训练过程中相互竞争，以实现更逼真的图像生成。模型 CGAN 的损失函数如公式（1）所示。Lcgan(G,D)=Ey-Pdata（y）logD(x,y)+Ey-Pdata(y),z-Pz(z)log(1-D(x,G(x,z)（1）式中：L 为拉普拉斯变换；cgan 为对抗损失函数。它来自条件生成对抗网络（GGANs）的概念，用于衡量生成器 G生成的结果与真实样本之间的差异。G 为生成器；D 为判别器；Ey-Padta（y）为给定 y 的期望值；y 为真实数据；x 为来自随机噪声向量 z 的样本；Pz（z）为随机噪声向量 z 的概率分布。生成器 G 的目标是生成足够逼真的图像，以欺骗判别器 D，使其难以区分图像的真假，从而最大化损失函数。而判别器 D 的目标则是尽力区分真实数据和生成数据，以最小化其自身的损失函数。为了平衡生成器 G 和判别器 D的训练过程，本文引入一个新的超参数，这个超参数可以根据任务的性质进行调整，以更好地平衡生成图像的质量和训练的稳定性。此外，本文还添加了一个新的损失项，用于强调生成图像与条件信息 y 之间的一致性。这可以通过引入一个额外的损失项来实现，例如像素级别的重建损失项或对抗性损失项，这有助于引导生成器更好地遵循条件信息 y，从而生成更符合要求的图像。改进版本的损失函数如公式（2）所示。Lcgan(G,D)=Ey-Pdata（y）logD(x,y)+(1-)Ey-Pdata(y），z-Pz(z)log(1-D(x,G(x，z)+additionalloss （2）式中：为超参数，用于平衡生成器和判别器的训练过程。的值可以在 01 进行调整，用以控制损失函数中 GAN 生成对抗网络损失（第一项）与条件一致性损失（第二项）之间的相对重要性。当 的值较大时，会更注重 GAN 损失；当 的值较小时，则更关注条件一致性损失。第一项是 log（D（x，y），表示判别器 D 对真实数据x 和条件信息 y 输出的对数概率。目标是鼓励判别器正确地将真实数据标记为真实，即最大化 D（x，y）。第二项是 log（1-D（x，G（x，z），表示判别器 D 对生成数据 G（x，z）输出的对数概率的负值。目标是鼓励判别器难以区分生成图像和真实图像，即最大化 1-D（x，G（x，z）。第三项是 additionalloss，为额外的损失项，用于强调生成图像与条件信息 y 之间的一致性。其中，是一个权重参数，用于控制额外损失在总损失中的重要性，additionalloss可以是像素级别的重建损失、对抗性损失或其他适合特定任务的损失项。模型通过深度学习方法整合多模态数据，使用自适应融合的机制，将不同模态的信息有效地结合起来，生成 1 张粗糙显著性图。显著性图突显了输入数据中与目标相关的区域，在目标检测任务中更容易定位和识别目标。2.2 自适应融合的多模态目标检测在这一部分，模型将多模态数据作为输入，并直接输出对应的粗糙显著性图。这表明该模型不仅依赖于单一模态（例如图像），还能够处理来自多个传感器或数据源的不同类型的数据，例如图像、文本以及音频等。模型通过深度学习方法整合多模态数据，运用自适应融合机制，将不同模态的信息有效地结合，生成粗糙显著性图，突显了输入数据中与目标相关的区域，使其在目标检测任务中更容易定位和识别目标。为了实现这一目标，在模型中引入了编码器解码器结构。该结构基于 VGG 网络，但进行了适当修改，以适应模型的任务。编码器采用了经过微调的 VGG 网络（VGG-M），其输入为多模态数据。多模态数据可以视作一组输入图像，其中每个图像均由其对应模态的像素值构成。模型将多模态数据设为 X=X1，X2，.，Xn，其中 n 为模态的数量。编码器的任务是提取特征，这些特征被模型表示为 Fe（X）。与前述模型相似，引入一个注意力权重参数向量，用于控制每个模态在特征融合中的贡献。新的编码器特征如公式（3）所示。Fe(X)=1Fe(X1)+2Fe(X2)+.+nFe(Xn)（3）式中：Fe（X）为编码器提取的特征；i（i=1,2,，n）为模态 i的注意力权重；Fe（Xi（i=1,2,，n）为模态 i 的编码器输出。解码器采用上采样卷积网络，将编码器提取的特征进行上采样，并输出显著性检测结果。模型将解码器的输出表示为显著性检测结果，如公式（4）所示。Y=Fd(Fe(X)（4）式中：Fd为解码器的函数，它将编码器提取的特征映射上采样为显著性检测结果。这个过程可以通过卷积操作和上采样操作实现。在训练阶段，模型会优化解码器的参数，以使输出的显著性检测结果尽可能接近真实的显著性图。接近程度可以通过损失函数来衡量，模型将其定义为 Ldet，其可以表示为显著性检测结果 Y 与真实显著性图 Ygt之间的误差，通常使用均方误差（Mean Squared Error，MSE）来衡量，如中国新技术新产品2024 NO.1（下）-6-高 新 技 术公式（5）所示。LdetNYYiiiN?121gt（5）式中：Ldet 为损失函数；N 为样本数量；Yi 为模型预测的第 i 个样本的显著性检测结果；Ygti为第 i 个样本的真实显著性图。这一阶段的目标是获得粗糙的显著性检测结果。2.3 动态权重自适应融合模型设计了一个基于强化学习的智能体来预测每个模态的权重。这个智能体通过与环境的交互来感知输入数据的质量。此外，模型还设计了一种特殊的奖励函数来处理权重调整的停止动作。如果权重调整过早停止，就可能无法获得理想的结果。因此，模型引入了 1 个阈值参数：当均方误差低于该阈值时，模型认为停止权重调整是合适的，并给予智能体正奖励；否则，给予负奖励。通过这种奖励机制，智能体可以学习如何动态地调整权重，以优化显著性检测结果。在第一阶段，模型的目标是获得更优质的显著性检测结果。为此，模型采用联合损失函数来训练所提出的编码-解码网络，该函数结合了均方误差和对抗损失。均方误差是一种像素级的损失函数，通过计算预测的显著性图与真实图之间每个像素点的差异来得到。假设模型有 1 张图，其分辨率如公式（6）所示。N=WH（6）式中：N 为图像的总像素数；W、H 分别为图像的宽度和高度。其真值显著性图为 S，预测的显著性图记为 S。那么，该损失函数如公式（7）所示。CNS SMSEiiiN?112,（7）式中：CMSE为均方误差，用于衡量预测显著性图 Si 与真实显著性图 Si之间的差异，通过计算所有像素的预测值与真实值之间的平方差并取平均值得到。对抗损失函数是从条件生成式对抗网络中得到的。该网络不断更新生成器 G 和判别器 D 来完成整个网络的训练。在这个过程中，判别器 D 的目标是提高其“愚弄”生成器 G 的概率，如公式（8）所示。cgan=-log D(I,S)（8）式中：D 为判别器，它的目标是提高其“愚弄”生成器 G 的概率；I 为图像；S 为真实显著性图。因此，最终的损失函数如公式（9）所示。C-total=CMSE+cgan（9）式中：C-total 为总损失函数，由均方误差和对抗损失的线性组合构成。作为优化目标，通过调整其参数来最小化这一损失，进而提高模型的性能。在第二阶段，模型训练自适应融合模型。在这个阶段，模型使用 Q 网络，它的参数是随机初始化的。模型采用-贪婪策略来训练，根据 的值实现由探索（Exploration）到利用（Exploitation）的转换。在探索阶段，智能体随机选择动作以观察不同的转移（Transitions），收集一系列训练数据作为经验（Experience）。目标网络（Target Network）和经验回放（Experience Replay）被认为是深度 Q 学习算法成功的关键因素。参数为 r 的目标网络每间隔 r 步就从在线网络中进行一次拷贝并且在其他步骤后保持不变。因此，模型目标网络如公式（10）所示。yrDON=R+maxQ(s；a；-)（10）式中：yrDON为 Q 网络的目标值，用于更新网络参数；R 为当前时刻的奖励；为引入的折扣因子，用于权衡当前奖励和未来预期奖励的重要性；a 为在下一状态 s 下选择的动作；Q（s；a；-）为目标网络对下一状态 s 选择动作a 的预测值，其中-为目标网络的参数。在标准 DQN 中，使用一个目标网络来估计下一个状态的最佳动作值。为了减少估计偏差，引入 2 个目标网络Qtarget1和 Qtarget2，分别用于选择最佳动作和评估最佳动作的价值。更新目标网络如公式（11）所示。Qtarget1(s,a)=R+Qtarget2(s,argmax(Qonline1(s,a)Qtarget2(s,a)=R+Qtarget1(s,argmax(Qonline2(s,a)（11）式中：Qonline1 和 Qonline2 为在线网络的动作值函数；Qtarget1 和 Qtarget2 为目标网络的动作值函数；s 为状态参数；a 为更新参数，表示目标网络在每次更新时从在线网络获取信息的权重。它通常是一个小的正数如 0.01。本文中，模型利用回放单元存储过去的经验，这样就可以将一次转移用于多次模型的更新中，打破了短时间内训练样本的强相关性。经验回放时，可以引入优先级采样机制，以便更频繁地选择重要的经验样本进行训练，提高模型对重要状态和动作的学习速度，同时减少不重要样本的训练次数。更新经验回放的采样概率如公式（12）所示。P(i)=|TDerror(i)|+（12）式中：P（i）为采样概率，表示经验回放缓冲区中第 i 条样本被抽取的概率；TDerror（i）为第 i 条样本的时序差分误差，用于衡量当前 Q 值与目标 Q 值之间的差异；为随机项。每执行一次 Q 学习的更新，就从回放记忆中随机抽取一批数据作为训练样本。网络权重的更新如公式（13）所示。di=i+(r+maxQ(s;a;-)-Q(s;a;)Q(s;a;)（13）式中：di为更新后的 Q 网络的估计目标值；i为 TD（时序差分）误差；为学习率，控制更新的步长；为折扣因子，为对未来奖励的重视程度。Q（s；a；）为预测值关于网络参数 的梯度。3 性能测试3.1 数据来源本章使用 RGB-Thermal 和 RGB-Depth 多模态数据集测试多模态显著性，该数据集包括可见光、红外热成像及其混合基准，为性能测试提供了良好的环境。通过模型验证，证实了该方法的有效性，并进行了详尽的数据分析。3.2 性能分析3.2.1 RGB-Depth 数据集RGB-Depth 数据集关注可见光和深度信息的融合，适用于需要三维信息的任务，例如用于机器人导航、AR/VR 中国新技术新产品2024 NO.1（下）-7-高 新 技 术应用或人机交互。其测试结果如图 1 所示。图 1 RGB-Depth 数据集测试结果1.000.95 0.90 0.85 0.80 0.7500.20.40.60.81.0完整模型 移除对抗损失函数 移除模态权重召回率/%倍数在 RGB-Depth 数据集上，当模型移除对抗损失函数和模态权重后，召回率出现下降，这一现象在高阈值条件下尤为显著。这表明对抗损失函数和模态权重对模型性能有一定影响，移除对抗损失函数会略微降低模型的召回率，而移除模态权重则略微提升了召回率。3.2.2 RGB-Thermal 数据集RGB-Thermal 数据集关注可见光和热红外信息的融合，适用于在低光或零光条件下工作的场景。其测试结果如图 2所示。图 2 RGB-Thermal 数据集测试结果1.000.95 0.90 0.85 0.80 0.7500.20.40.60.81.0完整模型 移除对抗损失函数 移除模态权重召回率/%倍数在 RGB-Thermal 数据集上，完整模型同样展现出更高的召回率，尤其在高阈值条件下表现更突出。当移除对抗损失函数时，模型性能受到了一定负面影响；而移除模态权重则略微提高了模型性能。这表明对抗损失函数在该数据集上对模型的性能起到了积极的促进作用。3.2.3 RGB-Total 数据集混合样本数据集后的测试结果如图 3 所示。图 3 RGB-Total 数据集测试结果0.95 0.90 0.85 0.80 0.7500.20.40.60.81.0完整模型 移除对抗损失函数 移除模态权重召回率/%倍数在 RGB-Total 数据集上，完整模型同样展现出了较高的召回率。移除对抗损失函数和模态权重对模型性能的影响与其他数据集类似：移除对抗损失函数对性能产生了负面影响，而移除模态权重则对性能产生了略微正面的影响。3.3 模型有效性和数据集表现差异通过观察不同数据集上的性能表现，可以得出以下结论：模型对多模态数据的整合展现出了良好的效果。在大多数情况下，完整模型都呈现出了较高的召回率，这充分证明了多模态显著性检测方法在不同数据集中的有效性。不同数据集上模型表现的差异受到多种因素的影响，包括数据集的特性、数据的质量以及多模态特征等。RGB-Depth、RGB-Thermal和RGB-Total数据集来自不同的传感器，这可能导致模型在处理这些数据时面临不同的特性和噪声挑战。模态间的信息融合方式也是影响模型在不同数据集上表现的重要因素之一。在某些特定数据集上，对抗损失函数可能对模型性能产生积极的影响，而在其他数据集上则可能表现不尽如人意。4 结论综上所述，多模态显著性检测方法在不同数据集上都展现出较好的性能，但在特定数据集上可能需要根据实际情况调整模型参数或损失函数的设计以获得最佳效果。这表明模型的性能受多种因素的共同影响，因此在特定场景下进行针对性的调优是至关重要的。参考文献1 吴皓，迟金鑫，田国会.基于视觉 SLAM 的物体实例识别与语义地图构建 J.华中科技大学学报（自然科学版），2019，47（9）：48-54.2 程蔚，吴海彬，郑洪庆.基于复合动态模型和证据融合架构的移动物体检测与跟踪方法 J.计算机应用研究，2019，36（10）：3187-3191.3 唐聪，凌永顺，杨华，等.基于深度学习物体检测的视觉跟踪方法 J.红外与激光工程，2018，47（5）：148-158.4 张琪，韩战钢.一种简单有效的鱼群轨迹追踪算法 J.北京师范大学学报（自然科学版），2017，53（4）：406-411.5 韩宇，张磊，吴泽民，等.基于嵌入式树莓派和 OpenCV的运动检测与跟踪系统 J.电视技术，2017，41（2）：6-10.6 孙同同，孙首群.基于视觉检测与跟踪技术在机器人中的应用 J.组合机床与自动化加工技术，2016（2）：79-81.7 赵晓军，耿志辉，陈雷，等.基于 FPGA 的图像识别与跟踪系统 J.青岛科技大学学报（自然科学版），2013，34（2）：199-202，206.8 郑丹，徐佩霞，何佳.视频监控中运动物体的检测与跟踪J.计算机工程与应用，2010，46（31）：192-195.9 李晶，范九伦.一种基于卡尔曼滤波的运动物体跟踪算法J.计算机应用研究，2010，27（8）：3162-3164.