基于超轻量化孪生网络的自然场景奶牛单目标跟踪方法.pdf

2023年10 月第54卷第10 期农报业学机械doi:10.6041/j.issn.1000-1298.2023.10.028基于超轻量化李生网络的自然场景奶牛单目标跟踪方法刘月峰刘博暴祥刘好峰王越（内蒙古科技大学信息工程学院，包头0 140 10）摘要：针对跟踪模型泛化能力差、跟踪模型正样本选取质量低、深层模型参数量大不利于部署等问题，本文提出了超轻量化李生网络模型Siamese-remo。首先结合传统随机采样方法和go-turn方法，设计出新型的正负样本选取策略，增加模型泛化能力；其次采用shiftbox-remo的数据增强方式均匀正样本分布，并提升正样本采集质量；然后通过改进后的超轻量化Mobileone一remo网络提取特征，一定程度减少深层网络对跟踪平移不变性的破坏，并预设不同特征融合参数，单独训练网络分类和回归；最终加人Center-rankloss函数，根据样本点位置影响置信度、IOU排名，对网络分类回归策略进行优化。实验证明，自然场景下奶牛单目标跟踪模型期望平均重合度（Expectedaverageoverlap，EA 0)达到0.47 5，相对于基线模型提升0.0 7 8，与现有跟踪器对比取得了较好的成绩，且参数量仅为现有主流算法的1/2 0，为后续自然场景下奶牛身份识别与目标跟踪系统提供了技术支持。关键词：奶牛；单目标跟踪；特征融合；李生网络；轻量化模型中图分类号：TP391.4文献标识码：A文章编号：10 0 0-12 98（2 0 2 3）10-0 2 8 2-12OSID：Single Target Tracking Method for Dairy Cows in Natural ScenesLIU YuefengLIU BoBAO XiangLIU HaofengWANG Yue(School of Information Engineering,Inner Mongolia University of Science and Technology,Baotou O14010,China)Abstract:The cow single target tracking technology is a new technology proposed for intelligentmanagement of dairy farms and it is the basis for the research of cow multi-objective tracking.Thepresence of padding in the deep network will destroy the translation invariance of the tracking model,thenumber of redundant parameters,and other addressing issues such as low quality of positive sampleselection for tracking models,poor generalization ability of tracking models will also affect the cowtracking performance.Thus a high-performance cow single-target tracking method was proposed.Firstly,Siamese-remo model was used to extract features by improving Mobileone network to reduce the damageof tracking translation invariance by deep network to some extent,and different feature fusion parameterswere preseted to train network classification and regression respectively;secondly,traditional method andgo-turn method were combined to design a positive and negative sample selection strategy to improve thequality of positive sample collection;then special data enhancement was used to increase thegeneralization ability of the model;finally,Center-rank loss function was added to optimize the networkclassification and regression strategy according to the sample point location affecting confidence and IOUranking.The experiment proved that the expected average overlap（EA O)o f t h e c o w s i n g l e t a r g e ttracking model in natural scenes reached 0.475,which was improved by 0.078 relative to the baselinemodel,and achieved better results compared with existing trackers.The number of parameters was onlyone-twentieth of the existing mainstream algorithms,which provided strong technical support for thesubsequent cow identification and target tracking system.Key words:dairy cows;single target tracking;feature fusion;siamese networks;lightweight models0引言随着经济的发展和社会的进步，消费者对于牛肉的品质、奶牛的奶质有着更高的要求，奶牛养殖场需要向大规模、科学绿色养殖的方向发展 1-2 。自然场景下奶牛身份识别和跟踪系统是奶牛养殖场智收稿日期：2 0 2 3-0 4-11修回日期：2 0 2 3-0 6-0 5基金项目：内蒙古自治区自然科学基金项目（2 0 2 2 MS06008）作者简介：刘月峰（197 7 一），男，副教授，博士，主要从事机器学习与大数据研究，E-mail：l i u y u e f e n g 0 10 35 16 3.c o m283刘月峰等：基于超轻量化李生网络的自然场景奶牛单目标跟踪方法第10 期能化管理的重要内容 3-6 。对于需要着重关注的奶牛个体，例如刚治愈的奶牛、行为不正常的奶牛等，需要进行单目标跟踪，并且可以为接下来奶牛多目标跟踪奠定基础。单目标跟踪技术是近年来热门的研究工作，主要研究方向为基于相关滤波的方法 7 和基于Siamese Fc(8-10)的李生网络方法。基于SiameseFC的李生网络方法由模板分支和搜索分支组成，模板由第1帧得到的Anchor获得，推理阶段将模板图像在搜索图像中进行局部搜索，类似于局部单次检测框架。基于李生网络的方法分为Anchor-base方案和Anchorfr e e 方案。Anchorbase方案大多基于多尺度测试，预设一定数目的Anchor在网络中进行训练，而Anchor一free方案大多通过分类和回归直接对目标进行跟踪，获取其位置和预测框。LI等 提出了区域特征提取网络(Siamese region proposal network,Siamese-RPN),它由特征提取的子网络和包括分类回归分支的区域提议子网络构成，在当时公开数据集上取得了领先的跟踪性能指标。LI等 12 随后又将Resnet深层网络作为李生网络特征提取网络逐层聚合，证明了先前由于深层网络存在padding的原因破坏了跟踪平移不变性的要求导致跟踪失败，并加人深度交叉相关实现模板特征与搜索图之间的特征匹配，进一步提升了跟踪性能。ZHANG等 13 提出了一种Anchor-free的方案预测目标的位置和大小，引人特征对比模块，从预测的边框中学习对象感知特征，进一步帮助跟踪器对目标和背景进行分类。GUO等14 使用逐像素卷积代替分离通道卷积，并加人Center一ness中心惩罚项进行跟踪，取得了较高的性能评估指标。CHEN等 15 使用Resnet50作为骨干网络，去掉了最后两个卷积块的降采样操作，采用不同的扩张率提高模型的感受野，用分类模块和回归模块组成自适应头部，超过了当时所有跟踪器的跟踪效果。为了解决背景干扰大、分类和回归样本不匹配的问题，FENG等 16 设计了基于排序的优化损失函数，包括分类和回归排名损失函数，进一步加强了跟踪的性能。上述方法采取的特征提取网络大多基于Resnet50网络进行改进，包含较大的参数量，选取一种轻量化模型提取特征是本文研究的重点。传统正负样本选取策略114-16 将视频数据前后相邻顿图像随机抽取1幅作为正样本，其他视频段中随机抽取1幅作为负样本输人模型训练，将图像数据经过翻转、平移、亮度变换等数据增强处理后输人训练。go-turnl17方法根据目标运动轨迹设计出一种运动增广策略，正负样本靠近目标真实框中心分布密集，向四周发散分布。这两种选取策略对于顿速率高、视频流稳定的摄像头效果明显，然而若出现丢顿或目标相邻顿位移较大的情况，这两种策略效果较差，故设计合适的正负样本选取策略直接决定了本文跟踪器性能。通用跟踪器15-16 正负样本点划分区域方法各异，主要包括根据真实框（ground-truth）作为划分依据和根据真实框设计椭圆作为划分依据的方法。前者将真实框内部作为正样本点选取区域，外部作为负样本点选取区域，由于大部分物体真实框边界存在大量背景干扰，若将背景作为正样本传人网络则会增大模型学习难度。后者结合通用跟踪对象外形特征，设计两个椭圆作为样本点代选区域，增加无关样本点的选取，巧妙地将物体边缘较难学习位置忽略，提升了跟踪精度。现有跟踪器方法使用的特征提取网络大多基于浅层网络Alexnet和深层网络Resnet系列网络，Alexnet网络参数少但特征提取能力较差，Resnet网络有较强的特征提取能力却包含大量的余参数。Mobileone网络基于MobileNet网络 18 改进，是一种轻量型架构，它的特点是低参数量、高效率完成深度学习任务，合并余参数的设计压缩了网络结构，大大提升了推理速度，是一种十分适用于部署移植的网络架构 19-2 0 本文旨在研究一种适合在自然场景下部署的奶牛单目标跟踪器，“自然场景”即饲养奶牛的牛舍场景，其中包含奶牛间遮挡、牛舍栏杆遮挡、昼夜光线变化以及复杂的背景噪声等实际饲养场景。为提升数据样本采集多样性，还加人公开数据集的奶牛数据，并提高正样本质量来增强模型学习能力，最后将跟踪器轻量化压缩。1材料和方法1.1研究方案本文首先将获取到的视频转换为图像数据后制作单目标跟踪数据集，并加人部分公开数据集中“牛”、“马”的跟踪数据，进行多数据集联合训练。首先进行正负样本的选取，结合传统方法和go-turn方法，将图像相邻n帧随机抽取2 幅图像作为正样本，从其他视频序列随机抽取6 幅图像作为负样本；接着进行样本预处理工作，将2 幅正样本采用shiftbox-remo的数据增强方式，每幅图像随机增强11次，均匀正样本的分布，增加样本多样性，共组成24对正样本对，6 对负样本对，并进行一定概率的遮挡、亮度变换、翻转操作；然后传人改进后的backbone特征提取网络Mobileoner e m o，将Mobileone中步长（stride）为2 的双、三支结构重参2023年农284机报学业械数化为单支结构，处理速度更快、参数量更少；预设2组自适应权重，将1/8、1/16、1/32 尺度下的特征层进行融合，一组用于回归分支，一组用于分类分支；再采用分离通道卷积的方式传给分类分支和回归分支；最后模型通过分类损失、回归损失、中心排序损失（Center一rankloss）联合优化网络参数，完成奶牛单目标跟踪器的设计工作，本文具体研究方案流程图如图1所示，跟踪器Siamese一remo网络模型如图2 所示。1.2数据材料获取和数据集构建1.2.1数据材料获取本文使用的数据集由两部分构成，一部分为2020年内蒙古自治区包头市某奶牛养殖场采集到的52 头奶牛视频。视频共2 596 段，每段6 0 min，视频格式为MPEG4，视频帧高度为10 8 0 像素，宽度为1920像素，码率为16 39kb/s，传输速率为6 0 f/s。另一部分为公开数据集中牛类、马类视频和图像。由于牛和马的体型相似，且为了增添训练样本的多样性，本文扩充一定规模的数据，将搜集到的公开数据集中牛类、马类的单目标跟踪视频、图像加人训练集。1.2.2数据集构建本文结合自然场景下奶牛养殖场的视频图像，制作了符合单目标跟踪的数据集。由于奶牛在养殖场中行动缓慢，且处于进食状态的奶牛位置变化较小，故首先将奶牛处于进食状态的视频去除，仅保留奶牛处于移动状态的视频图像；由于奶牛在牛场移动缓慢，故将原视频每10 帧抽取1顿图像；然后本文使用Labelme软件进行数据标注，将每段视频中每头奶牛的行动轨迹标注信息放在一个路径下，最终得到6 3段视频，18 90 段奶牛跟踪序列；最后将数数据集构建获取视频光照情况奶牛移动状态提取有效视频序列白登/黑夜奶牛遮挡程度转换关键顿公开数据集构建数据集自建数据集数据处理正负样传统方法go-turn方法本选取正负样本随机遮挡、亮shiftbox-remo预处理度、翻转等奶牛单目标Mobileone-跟踪模型backboneremoneck多尺度融合head分离通道卷积分类损失Center-rank训练模型损失回归损失模型收敛结果分析奶牛单目标跟踪结果分析参数调优跟踪图1研究方案流程图Fig.1Flow chart of research program据文件进行裁剪和统一图像大小，整理成与GOT1OK格式相同的数据形式，即以真实框中心坐标为中点，经过设计好的长宽计算方式裁剪出大小为12 7 像素的图像作为模板图像，大小为511像素的图像作为搜索图像，若裁剪窗口超出图像范围，则用平均RCB值进行填充，如图3所示。ClsDepthwise81632Crosscross entropy lossMobileone-remoCorrelation搜索分支特征融合Center-rank lossW.W,WDepthwiseMobileone-remoCrossIOU loss81632CorrelationReg模板分支图2Siamese-remo网络模型示意图Fig.2Schematic of Siamese-remo network model285刘月峰等：基于超轻量化李生网络的自然场景奶牛单目标跟踪方法第10 期(a）模板图像(b）搜索图像图3数据集预处理后的样例Fig.3Sample after datasets preprocessing由于从自然场景下获得的上述数据规模较小，难以完成单目标跟踪的要求，故本文选择将DET21、CO CO 2 2 、G O T 10 K 2 3 、VID 2 1、YT B 2 4LASOT251公开数据集中标注为“牛”和“马”类的数据加人到训练集，模型根据不同数据集保存图像的方式分别读取到跟踪序列的真实框。1.3实验方法1.3.1正负样本选取策略本文的正负样本选取策略通过结合Siamban方法 15 和go-turn方法 17 来增加网络泛化性能。李生网络训练样本分为2 个分支：模板分支和搜索分支，从数据集中随机抽取1幅模板图像，首先从其所在视频跟踪序列对应帧前后frame-range中随机抽取2 幅图像，每幅图像进行12 次shiftboxr e m o图像增广操作后得到一组正样本队列；然后从其所在不同视频跟踪序列顿中随机取6 幅图像，进行shiftbox-remo图像增广操作后作为负样本，即1幅模板图像对应2 4幅正样本，6 幅负样本，模板顿图像对应的正样本搜索图像区域中，根据图像中真实框划分区域，分为正样本点、负样本点和无关样本点，分别记为1、0、1，如图4所示，中间小矩形面积包含的样本点为正样本点，大矩形外侧的样本点为负样本点，2 个矩形中间部分为无关样本点，设计无关样本点的目的是图像中真实框边缘样本包含较多复杂背景噪声干扰，且理论上边缘信息网络较难学习，故将其设置为无关样本不参与损失计算。经过实验对比论证，奶牛单目标跟踪模型设计2 个正方形区域划分正负样本点边界效果最佳，正样本取正样本区域内所有正样本点计算损失，负样本随机取3倍正样本数的负样本点计算损失。1.3.2正负样本预处理根据1.3.1节的描述，数据集包含尺寸为127像素12 7 像素的原始模板图像和尺寸为511像素511像素的原始搜索图像，本文根据原始模板图像，在搜索图中裁剪出相应像素的搜索图。首先以搜索图中真实框为基准，假设真实框宽高分别为w、h，裁剪出的搜索图宽wcrop、高herep分别为图4正负样本点选取策略示意图Fig.4Schematic of positive and negative samplepoint selection strategyw+0.5（w+h）、h+0.5（w+h），为了增加泛化性能，对宽高进行小幅度形变处理自然场景下奶牛单目标跟踪受遮挡因素影响严重，为了解决这个问题，本文首先对裁剪框位置进行随机选取，模拟出奶牛部分区域未受遮挡时的真实场景，实现跟踪框“局部一整体”的跟踪能力。采用shiftbox一remo的裁剪方式，假设真实框左上角、右下角坐标分别为（i，y）、（2，y 2），裁剪框左侧可选择区域即（x=Wcrop，x 2），裁剪框上侧可选择区域即（yi-herop，y 2），若超出图像边界，则将坐标极值设为边界坐标，裁剪框位置范围如图5所示，正方形为原始搜索图，红色框为真实框，虚线框为裁剪框，A、B、C、D 为裁剪框移动范围极限位置，本文为了提升正样本质量，选择将裁剪框与真实框之间的交并比1。0.3的图像作为搜索图像，最终将裁剪后的图像统一尺寸为16 0 像素16 0 像素的搜索图。WcrophACcrop20一h(x221B11D111111x.-Wcrop图5shiftbox一remo裁剪方式示意图Fig.5Schematic of shiftbox-remo cropping method为了进一步解决遮挡问题对跟踪模型的影响，设计了适用于上述裁剪方式的正样本区域选取方式，如图6 所示，图6 a为裁剪框位置和原正负样本点选取区域示意图，回归分支正负样本点选取区域如黄色矩形所示，图6 b为分类分支正负样本点选取区域随真实框更新示意图，红色区域为裁剪框位置。根据1.2.2 节正负样本点选取策略，两个黄色矩形286农机业报学械2023年中间部分样本点将作为无关样本忽略，然而经过裁剪、resize操作后仅存在无关样本和负样本传人网络，无法学习到遮挡情况下局部正样本信息，这与本文实现“部分一整体”的跟踪目标相悖，故将分类分支中物体真实框坐标随着图像裁剪操作而更新位置，这样可以提升正样本多样性并提升其质量；回归分支仍保留裁剪操作之前的坐标，这样可以使网络具有预测“部分一整体”的能力，而并非仅可以预测局部位置。HDIPC（a）裁剪框位置和原正负（b）随真实框更新后的样本点选取区域正负样本点选取区域图6 正负样本点划分区域示意图Fig.6Schematics of dividing positive and negativesample points into regions考虑到自然场景下昼夜变换亮度不同，且数据集光线较暗，本文对图像亮度进行数据增广，提升模型在夜间的跟踪能力，本文对模板图像和搜索图像进行了一定程度的翻转、旋转、随机擦除等数据增强方式，提升了模型泛化能力。1.3.3特征提取网络Mobileone-remoMobileone网络是一个轻量化的深层网络模型，相较于Resnet系列网络等深层网络模型，具有简单、高效、即插即用的特点。如图7 所示，为了进一步压缩网络模型结构，并尽可能减小深层网络中padding对于平移不变性的影响，类比于SiameseRPN+模型对Resnet50网络的处理 12】，本文将Mobileone中stride为2 的33卷积padding设置为0，由于scale分支、33卷积分支、skip分支尺度不同无法相加，故将3个分支进行重参数化操作。对于仅有scale分支和skip分支的结构块，实验发现将其重参数化后并不会影响跟踪性能，反而可以进一步压缩模型，减少运算成本，故对Mobileone一remo同样进行重参数化操作。1.3.4多尺度预测深层网络不同层可以提取到图像不同尺度的信息，较浅层可以获得图像高分辨率信息，例如颜色、位置，而较深层可以提取到图像丰富的语义信息，跟踪任务需要计算出跟踪位置和跟踪对象，故采取多尺度特征自适应融合方式训练网络。首先预设两组训练权重W，和W（i=0,12），分别与1/8、1/16、1/32尺度特征相乘，一组用于分类分支训练，一组用于回归分支训练，由深层网络不同层提取图像信息特点可知分类分支深层网络权重占比较大，回归分支浅层网络权重占比较大。1.3.5多功能特征头Siamese-remo将模板图像和搜索图像融合后的特征进行分离通道卷积，包含两个功能头进行跟踪，一个用于分类，一个用于回归。考虑到模板顿在图像预处理阶段会将一定范围背景裁剪保留，本文经过仿真统计出中心99区域数据仍可以捕捉到完整的跟踪模板信息，故卷积前会对模板特征进行中心裁剪 12.15，以真实框中点为中心裁剪大小为99的区域，然后输人分离通道卷积网络，如图8所示。在分类分支中，本文将图像信息分为前景和背景，故输出通道数为2；在回归分支中，回归信息为训练样本点与真实框4条边的距离，分别记为L、训练推理训练推理Stride为1Stride为2Padding为o1x1d3x3d3x3d1x1d3x3d3x3d3x3dConvConvConvConvConvConvConvBNBNReparameterize11BNBNReparameterizeBNBNBNBNBNAct.Act.Act.Act.Act.1xld1x1d1xldIx1d1x1dReparameterizeConvConvConvConvConvBN1ReparameterizeBNBNBNBNBNAct.11Act.Act.Act.Act.1MobileoneMobileone-remo图7基线模型Mobileone与本文模型Mobileone-remo的结构图Fig.7Baseline model Mobileone and model Mobileone-remoHLOSS2-IOU losscrossentropylossLOSS,287刘月峰等：基于超轻量化李生网络的自然场景奶牛单目标跟踪方法第10 期Out_channel为192Out_channel为192pos negchannel为2DepthviseCorelationchannel为4LRTBCentercrop=Conv2d+BN+ReLU+Conv2d+BN+ReLU+Conv2dOut_channel为192图：分离通道卷积和多功能头示意图Fig.8Depth-with cross correlation and multifunctional headR、T、B,故输出通道数为4。1.3.6损失函数本文在分类分支使用crossentropyloss计算；在回归分支使用IOUloss计算；两种损失函数权重组合自适应调优，联合优化训练网络。Loss计算公式为其中式中中-网络自适应学习权重，初始值取1N标签样本总数标杆本息数(i)1gy第i个标签样本为正样本的概率（i)样本为正样本的标签lg(1-y()-第i个标签样本为负样本的概率样本为负样本的标签A一一预测框B一真实框本文创新性地设计了一种基于真实框中心点位置距离的排序损失-Center-rank loss。考虑到本文研究对象为奶牛，目标一定会占据真实框中心点附近大面积区域，故根据坐标位置对目标的分类、回归得分进行排序，靠近目标中心的样本点置信度高于较远位置的样本点置信度；同理，越靠近目标中心的样本点IOU高于较远位置的样本点IOU。由于正样本点数量过多导致排序训练时间过长，且这种强制排名可能带来某些样本点排序的不合理性，本文选择距中心位置一定区域范围内，随机选n个样本点进行排序，可以在一定程度上提高模型预测能力。假设正样本i，j e A p o s，Ce n t e r-r a n k l o s s 的计算Loss=Loss,+Loss2(1)N（i)Loss;=Y1gy（）+(1-()1g(1-5()(2)AnBLos2=1(3）AUB公式为1Lossexp(-(p:-p,)+center-rankNjEAApos.didj1exp(-(ui-uj)(4)Npos.jEAApos.d;dj式中d一正样本i与真实框中心点的距离d,正样本j与真实框中心点的距离iou正样本i的IOU预测值iou正样本j的IOU预测值P正样本的前景置信度Pi正样本j的前景置信度超参数控制损失值N选取的正样本数目，当d，d,时，P;Pos排名在P之前，u的排名在joiou之前总损失函数为Lossa=Loss+Loss.(5)center-rank自最终本文Center一rankloss正样本点选取范围为原正样本选取区域的1/4，选取点数为152实验与结果分析2.1实验系统环境和参数设置本实验操作系统为Ubuntu18.04，C PU 为AMDEPYC754332-CoreProcessor,主频340 0 MHz,GPU为NVIDIAGeForceGTX30904，运行内存为24GB。奶牛身份跟踪模型训练共2 0 个训练周期，对于维度为（N，C，H，W）的特征向量采用dropout方法防止过拟合，概率参数设为0.3对通道维度C进行冻结操作，并对HW维度也按照类似dropout方式进行参数为0.0 5概率的冻结，以模拟出某些非全局特性，使模型学习到一定程度的局部特征。初始学习率为0.0 0 1,经5个训练周期的学习率预热达到0.0 0 5,backbone权重衰减系数为0.0 0 1，全局权农2023年288机报学业械重衰减系数为0.0 0 0 5,batch_size设置为4，num_workers设置为16，预训练模型使用ImageNet训练网络模型2.2评估指标现有的用于单目标跟踪评价的指标有准确率（A c c u r a c y）、鲁棒性（Robustness）、期望平均重合度（EA O）、查准率（Precision）、成功率（Successplot）等。鲁棒性是体现跟踪器稳定性的指标，数值越大稳定性越差，定义为每个视频序列上跟踪失败的视频帧占总顿数的比例，平均鲁棒性即所有视频序列平均跟踪失败比例。EAO结合跟踪器平均重合度和鲁棒性，是一个更全面的单目标跟踪性能评价指标，EAO数值越大跟踪性能越好。查准率为预测框中心点位置与真实框中心点欧氏距离小于一定阈值的视频顿百分比，以像素为单位，根据不同的阈值得到不同的百分比，该评估指标可以反映目标位置的准确性，但是无法反映目标大小与尺度变化。成功率含义为重合率得分，即IOU超过设定阈值即为跟踪成功的顿。2.3单目标跟踪实验本文提出的单目标跟踪模型在奶牛测试集中准确率达到59.4%，鲁棒性达到0.17 2,EA0达到0.475，查准率为6 3.1%，成功率为52.1%，模型参数量达到2.7 10,在大幅缩小模型规模的前提下保持了较高的精度。本文还对模型在其他场景下的跟踪结果进行实验，验证模型的泛化能力，由于公开数据集中奶牛单目标跟踪数据遮挡情况较少且光线较亮，跟踪效果更优，结果准确率达到62.1%，鲁棒性达到0.16 2,EA0达到0.512，查准率为6 7.4%，成功率为54.4%。跟踪结果如图9所示，其中包含本文数据集场景和其他场景的可视化跟踪效果。为了更好地对比本文模型的优势，本文对比现在较为流行的一些单目标跟踪器训练本数据集的结果，采用相同的参数调优策略，尽可能达到该研究方法的最优结果，EAO值如表1所示，各跟踪器在本文测试集的查准率和成功率指标如图10 所示。从图9可以看出，本文模型对于解决目标受复杂背景因素影响、遮挡因素影响等问题具有较好的处理能力。从表1可以看出，仅有SiamFC和SiamRPN模型采用浅层网络Alexnet作为特征提取网络，而其余模型所采用特征提取网络皆为Resnet50框架。本文选用改进的Mobileone超轻量化模型提取特征，在参数量较大缩减的情况下，通过上文的改进策略，Siamese一remo走超出了大部分(a)Framel(b)Frame40(c)Frame80(d)Frame120(e)Frame160(f)Frame200(g)Frame240图9奶牛跟踪模型结果可视化效果图Fig.9Visualizations of dairy cow tracking model results289刘月峰等：基于超轻量化李生网络的自然场景奶牛单目标跟踪方法第10 期表1不同跟踪器跟踪性能EAO结果比较Tab.1Comparison of tracking performance EAO results of different trackers跟踪器参数SiamFCSiamRPNSiamRPN+SiamMASKoCeanSiamBANSiamACMSiamRBOSiamese-remo准确率/%49.253.458.456.459.561.560.959.659.4鲁棒性0.2510.2230.1820.2010.1700.1640.1570.1800.172EAO0.3680.4190.4590.4680.4770.4870.4940.4740.475参数量5.2401065.4721075.491 1075.720 1072.700 10680908070706060%/率2%/率基50SiamACMSiamRBO50OCean40SiamBAN40Siamese-remoSiamese-remoSiamRBO30SiamACM30SiamBANOCeanSiamRPN+20SiamMASK20SiamMASKSiamRPN+10SiamRPN10SiamRPNSiamFCSiamFC110102030405001020304050位置错误阈值重叠阅值图10不同跟踪器的成功率和查准率结果对比Fig.10Comparison of success plot and precision plot results of different trackersResnet50模型的EAO,较性能最高的模型相比EAO仅落后2.1%，参数量却大大缩减。在对成功率和查准率的结果比较中（图10），本文模型较最优模型低1.1个百分点和5.2 个百分点，进一步证明了本文模型的有效性。2.4消融实验2.4.1正负样本选取及预处理策略实验基线模型采用随机抽顿的方式从相邻顿抽取正样本，对图像不进行预处理；go一turn方法采用运动裁剪方式，模拟物体运动轨迹，对搜索图像随机裁剪，重复11次，构成12 对正样本对；本文结合基线模型和go-turn模型样本选取方法，抽取2 幅正样本，随机进行11次shiftbox-remo裁剪方式，构成2 4对正样本对。本文还对模板图像裁剪大小、形状进行对比，假设真实框宽高分别为w、h，裁剪中心为真实框中点，超出位置根据RCB均匀填充。裁剪方式共分为4种：将h、w 放大两倍，然后统一到16 0 像素16 0 像素。将h、w 分别放大至h+0.5（h+w）、w+0.5(h+w）,并比较h+0.5(h+w)与w+0.5（h+w）像素，选择数值大的值裁剪正方形区域，并统一至16 0 像素16 0 像素。在原图直接裁剪160像素16 0 像素大小区域。本文方法将h、w分别放大至h+0.5（h+w）、w+0.5（h+w），然后统一到16 0 像素16 0 像素。实验结果如表2 所示。由表2 可得，对于宽高比例较大的奶牛目标，裁剪方式会进行较大的形变处理，影响实验结果；裁剪方式、对目标没有形变处理，导致泛化性能较差，而本文方法对奶牛目标进行基于宽、高的形变，表2不同正负样本选取及预处理策略的EAO比较Tab.2EAO comparison of experimental results fordifferent positive and negative sample selection andpreprocessing strategies裁剪方式基线模型go-turn模型Siamese-remo模型0.4430.4130.4590.4370.3940.4310.4020.3930.4240.4510.4350.475形变尺度比例适中，取得了最优效果。本文模拟了10 0 0 0 幅图像通过3种裁剪方式的真实框中心点位置，如图11所示，可以看出基线模型没有对裁剪位置平移，故中心点位置全部落到中央；使用运动增广方式对裁剪框位置进行处理，模拟物体运动方向，但数据预处理后样本分布范围较小，泛化能力较差；使用本文的裁剪方式物体可以均匀分布在图像各区域位置，由于需要保证裁剪框与真实框之间I0U大于0.3,故中心点落在图像角落区域的概率逐渐降低，实验结果证明使用本文裁剪方法跟踪效果最佳。2.4.2正负样本点划分方式及选取策略实验实验对比采用图12 a的正负样本划分方式，对比不同负样本点数目对跟踪结果的影响，包括随机取2 4个正样本点，随机取7 2 个负样本点；取全部正样本点，取全部负样本点；取全部正样本点，随机取正样本点3倍数目负样本点；随机取2 4个正样本点，取全部负样本点。还对比3种正负样本点划分方式的有效性，分别为椭圆、圆、矩形,并且对于是否2023年农290机报学械业(a)未裁剪(b）g o-t u m 运动裁剪(c)shiftbox-remo(本文)运动裁剪图11经图像裁剪后真实框中心点位置仿真结果示意图Fig.11Schematics of simulation results of ground truthcenter point position after image cropping(a）矩形，正、负、无关（b）圆形，正、负、无关（c）椭圆，正、负、无关(d）矩形，正、负(e)圆形，正、负(f)椭圆,正、负图12正负样本点采样划分方式示意图Fig.12Positive and negative sample point division method添加无关样本进行研究，对比实验如图13所示。图13中，p为正样本，n为负样本，i为无关样本，r为矩形，c为圆形，e为椭圆形，all p为全部正样本，alln为全部负样本，3num（p）n 为3倍正样本数目的负样本数。实验证明，由于本文跟踪器为特定类别实例跟踪，对于奶牛个体，外观更接近于矩形，椭圆和0.50元0.4750.462;0.464 0.4620.443+0.426;0.4230.4090.396金0.35p+n+i,r/all p+3num(p)n1p+n+i,cp+n+i,