基于SimCC-ShuffleNetV2的轻量化奶牛关键点检测方法.pdf
《基于SimCC-ShuffleNetV2的轻量化奶牛关键点检测方法.pdf》由会员分享,可在线阅读,更多相关《基于SimCC-ShuffleNetV2的轻量化奶牛关键点检测方法.pdf(8页珍藏版)》请在咨信网上搜索。
1、2023年10 月第54卷第10 期农业报学机械doi:10.6041/j.issn.1000-1298.2023.10.027基于 SimCC-SShuffleNetV2的轻量化奶牛关键点检测方法宋怀波1.2华志新1.2马宝玲,2温毓晨,2孔祥凤1,2许兴时1,2(1.西北农林科技大学机械与电子工程学院,陕西杨凌7 12 10 0;2.农业农村部农业物联网重点实验室,陕西杨凌7 12 10 0)摘要:针对现有深度学习技术在奶牛关键点检测研究中尚存在网络复杂度高、检测速度慢等问题,提出了一种轻量化奶牛关键点检测模型SimCC-ShuffleNetV2。在模型中,主干网络采用ShuffleNet
2、V2用于特征提取,有利于实现网络的轻量化;检测头采用SimCC用于关键点位置预测,SimCC采取坐标分类的方法使得检测更加简单高效。为了验证模型的性能,本研究设计了奶牛的关键点及骨架结构,并标注了36 0 0 幅图像用于模型的训练与测试。试验结果表明,SimCC-ShuffleNetV2模型的APs0.9s为8 8.0 7%,浮点运算量为1.510,参数量为1.3110,检测速度为10.87f/s,可以实现奶牛关键点的精确与高效检测。与基于回归的DeepPose网络、基于热力图的HRNet网络进行了对比试验,结果表明SimCC-ShuffleNetV2取得了精度与速度的良好平衡。同时,本研究通
3、过更换不同主干与不同检测头的方式,对比验证了不同模块对模型性能影响,本研究所提出的模型在所有试验中均取得了最佳结果,表明ShuffleNetV2与SimCC的组合具备良好的关键点检测性能。为了验证模型的有效性,将模型应用于4种动作视频中提取骨架序列并将其送入ST-GCN网络以实现不同动作的分类,其分类准确率为8 4.56%,表明本研究提出的SimCC-ShuffleNetV2模型是良好的关键点提取器,可为奶牛行为识别等任务提供关键信息支撑。关键词:奶牛;关键点检测;ShuffleNetV2;Si m CC;动作识别中图分类号:TP391.4文献标识码:A文章编号:10 0 0-12 98(2
4、0 2 3)10-0 2 7 5-0 7OSID:Lightweight Keypoint Detection Method of Dairy Cow Based onSimCC-ShuffleNetV2SONG Huaibol.2HUA Zhixin l.2MA Baoling-2WEN Yuchenl.2KONG Xiangfeng1,2XU Xingshil.2(1.College of Mechanical and Electronic Engineering,Northwest A&F University,Yangling,Shaanxi 712100,China2.Key Lab
5、oratory of Agricultural Internet of Things,Ministry of Agriculture and Rural Affairs,Yangling,Shaanxi 712100,China)Abstract:Cow keypoint detection is important in research fields such as cow body measurement,behavior recognition,and weight estimation.However,existing deep learning methods for cow ke
6、ypointdetection still suffer problems such as high network complexity and slow detection speed.A lightweightcow keypoint detection model SimCC-ShuffleNetV2 was proposed.In this model,ShuffleNetV2 was usedas the backbone for feature extraction to achieve network lightweight.SimCC was used as the head
7、 toachieve keypoint position prediction.SimCC adopted a coordinate classification method that was simpleand efficient.To validate the effectiveness of the model,cow keypoints and skeleton structures weredesigned,and 3 600 images were annotated for training and testing.Experimental results showed tha
8、t theSimCC-ShuffleNetV2 model got an APso.95s of 88.07%,FLOPs of 1.5 10,parameters of 1.31 10,and detection speed of 10.87 f/s,achieving accurate and efficient detection of cow keypoints.Experimental comparisons with the regression-based DeepPose and Heatmap-based HRNet networksdemonstrated that Sim
9、CC-ShuffleNetV2 got a good balance between accuracy and speed.Moreover,different backbones and detection heads were replaced to verify the influence of different modules onmodel performance.And the proposed model achieved the best results in all experiments,demonstratingthat the combination of Shuff
10、leNetV2 and SimCC had good keypoint detection performance.The modelwas applied to extract skeleton sequences from four different action videos of cows,and the ST-GCNnetwork was used to classify the four videos,achieving an 84.56%classification accuracy,which收稿日期:2 0 2 3-0 3-12 修回日期:2 0 2 3-0 4-2 3基金
11、项目:国家自然科学基金项目(32 2 7 2 931)和陕西省技术创新引导计划项目(2 0 2 2 QFY11-02)作者简介:宋怀波(198 0 一),男,教授,博士生导师,主要从事模式识别研究,E-mail:s o n g y a n g f e i f e i 16 3.c o mFig.1Data collectionandannotationmethods图1数据采集与标注方式牛棚栏杆三摄像机农2762023年机报学业械indicated that the proposed SimCC-ShuffleNetV2 model was a good keypoint extractor
12、and could providekey information support for tasks such as cow action recognition.Key words:dairy cow;keypoint detection;ShuffleNetV2;SimCC;action recognition0引言奶牛关键点指奶牛身体部位重要的关节位置,如头部、肩部、腿关节等。关键点相连的骨架作为姿态的最直观体现,可以帮助实现奶牛动作行为的非接触识别,从而为姿态表征的疾病预警提供重要技术支持。同时,关键点检测还是牲畜体尺测量与身体部位分割的前置任务,可为奶牛的体重与体况分析提供更为高效的
13、数据支撑。综上,开展奶牛关键点检测技术的研究和应用,将有助于提高养殖效率和健康水平,具有重要研究价值 2 。传统关键点检测方法通过人工提取图像或视频中的关键点特征,如关节点之间的空间位置关系等,再通过机器学习算法进行学习和匹配其特征及规律 3。JIA等 4 通过骨架对奶牛不同身体部位进行划分用以评估其清洁度。该研究在获得奶牛骨架图的过程中采取特征距离变换,细化与特征检测等步骤,然后计算相邻的骨架路径,并与数据库中的模板进行相似度匹配以获得最佳匹配结果,最后确定每个骨骼分支所属的类别后,将身体分为不同部分。结果表明,侧视图与后视图的平均身体部位分割精度分别为96%和91%,为奶牛的分割任务提供了
14、借鉴。但该骨架提取方法受人为设计特征完备性较差、机器学习算法的特征提取和泛化能力较弱的影响,在实际生产过程中难以应用。随着深度学习的应用,关键点检测技术取得了较多进展。基于卷积神经网络(Convolutionalneuralnetworks,CNN)的方法 5 无需手动设计特征,从整幅图像中学习关键点表征,可以实现端对端的检测,具有良好的特征提取能力和泛化能力,常见的关键点检测网络包括Hourglas(0、D e e p Po s e(7 OpenPose8、H RNe t 等。诸多研究也将深度学习网络应用于奶牛关键点检测中,RUSSELLO等 10 使用T-LEAP姿态估计模型,将LEAP模
15、型修改为时间序列模型,从图像序列中检测关键点从而预估奶牛姿态,试验结果表明,在奶牛目标上的平均正确关键点的预估比例(Percentage of correctkeypoints,PCK)为93.8%。同时,奶牛关键点检测是实现体尺测量、动作识别等任务的基础 1。其中,体尺测量用于评估牲畜体型的大小,体尺关键点检测的准确度直接影响体尺测量的精度。赵宇亮等 12 为了对猪只的5项体尺指标进行非接触式测量,首先在DeepLabCut上选取EfficientNet-b6模型作为最优主干网络进行猪只体尺关键点检测,其测试集误差为5.13像素;在此基础上,通过3D坐标转换实现深度图像上关键点坐标的映射,并
16、对离群特征点进行优化,最后提取体尺曲线进行计算。奶牛关键点连接的骨架是姿态的最直观表征,奶牛的姿态数据可用于统计其基本运动行为时间。LI等 13 为了准确识别奶牛的基本运动行为(走、站、躺),利用HRNet提取奶牛骨架信息,在平行的二维卷积特征中以热图的形式添加对应的奶牛关键点与骨架信息,并选取了40 0 个包含该4种行为的奶牛视频进行训练与测试,结果表明,经过5次交叉验证,最终分类精度为91.8 0%。上述关键点检测研究大多基于手工提取,难以实际应用;或者依赖于DeepLabCut14平台,泛化性不足,且无法解决多目标间关键点的连接问题。目前基于深度学习的主流算法具备较高的准确率,但其网络复
17、杂程度也较高。为解决上述问题,本研究借鉴ShuffleNetV2模型的轻量化性能及SimCC所具有的高效简单的关键点坐标分类能力,提出SimCC-ShuffleNetV2轻量化模型,以期构建一种实时性强、精度高、鲁棒性强的奶牛关键点检测方法,为奶牛动作识别等研究奠定基础。1材料与方法1.1材料本研究视频数据采集于陕西省杨凌科元克隆有限公司,采用DS-2DM1-714型圆顶摄像机(海康威视)进行拍摄,摄像机速率为2 5f/s,分辨率为704像素48 0 像素。如图1所示,摄像机架设于背靠牛棚的长走廊外,目标与摄像机之间的围栏遮挡1.鼻子2.额头3.颈根4.右前腿根5.左前腿根6.右前膝7.左前膝
18、8.右前蹄9.左前蹄10.背部11.尾根12.右后腿根13.左后腿根14.右后膝15.左后膝16.右后蹄17.左后蹄277ShuffleNetV2的轻量化奶牛关键点检测方法宋怀波等:基于SimCC第10 期了一些关键点,会对骨架提取任务造成一定的干扰。如图1所示,本研究以最大的动物姿态数据集AP-10k为参考15,设计了奶牛关键点及骨架结构。从视频中截取18 0 0 幅图像用于关键点检测任务,为了有效模拟奶牛姿态的变化,采用镜像翻转的方式扩充数据集至36 0 0 幅。标注奶牛的边界框与关键点后将其保存为COCO格式,并按照6:2:2 的比例分为训练集、验证集和测试集。由于奶牛动作及姿态变化多样
19、且易受遮挡、光照等因素影响,奶牛关键点检测的准确性不高为了增强模型的鲁棒性,采集了不同情况的奶牛图像:正面视角:奶牛朝正面摄像头时,关节位置会产生一定的形变。关键点缺失:奶牛目标位于图像边缘时,部分关键点会缺失。躺卧姿态:奶牛在躺卧姿态下,某些关节点会被遮挡。小目标:拍摄距离较远时会造成奶牛目标在图像中占据的比例较小。训练集和测试集中均包含了各种影响因素下的奶牛图像,且在训练集和测试集中的比例基本保持一致。1.2试验平台试验在Windows10系统下进行,处理器为Intel(R)Co r e(T M)i 51140 0 F,图形处理器为NvidiaRTX2080Ti。深度学习框架为PyTorc
20、h,编程平台为PyCharm,编程语言为Python,所有算法均在相同环境下运行。1.3总体技术路线本研究总体技术路线如图2 所示,首先将图像送人SimCC-ShuffleNetV2模型,关键点检测过程类似于编解码,ShuffleNetV2用于提取并编码17 个关键点表征。SimCC用于对水平轴和垂直轴执行坐标分类,最后解码出关键点坐标。为了验证模型的有效性,将SimCCSh u f f l e Ne t V2 应用于行为识别任务。从40 0 段包含4种动作(行走、站立、躺卧、跛行)的视频中提取出骨架信息,并将骨架序列送人 ST-GCN(Spatial temporal graph convo
21、lutionalnetworks)【16 网络训练,ST-GCN利用时空图卷积来提取骨架序列间的时空信息,并将时空特征融合起来,最后输出动作分类结果。基于SimCC-ShuffleNetV2的轻量化奶牛关键点检测编码解码O(2),0(2)ShufleNetv2BackboneSimccHead(16)016)关键点表征基于ST-CCN的奶牛动作识别应用视频序列PCPoolBNST-GONST-CCNBlockBlock行为分类结果验证ST-CCN骨架序列图2总体技术路线Fig.2Overview of the proposed method1.4ShuffleNetV2网络结构ShuffleN
22、etV217为主干特征提取网络,结构如图3所示,其中Conv为卷积操作,DWConv(D e p t h w i s econvolution)为深度卷积。分组卷积操作让不同的卷积核学习不同的特征,从而提高模型的表达能力。左右分支连接后将输出特征进行通道混洗,从而达到不同通道间信息交换的目的,有利于增加模型的非线性表示能力。上述结构在保持网络准确性的同时,具有更高的计算效率和更小的模型参数,故本研究将其作为主干网络。1x1 Conv3x3DWConv3x3DWConv1x1Conv1x1ConvContactChannel shuffle图3ShuffleNetV2结构Fig.3Structu
23、reof ShuffleNetV2数数量,通常用衡量模型的复杂度和容量然后对所有层的结果求和。参数量表示模型中的参的计算方式是将参数量乘以输人数据的维度为重要的轻量化评估指标也纳人评价。浮点运算量operations,FLOPs)参数量(Params)与检测速度作Floating point轻量级模型,因此浮点运算量ShuffleNetV2 为此外,本研究所提出的SimCC为0.0 5时的平均APAPs0:95表示在OKS阅值从0.50 到0.95之间,步长AP。其中APso表示OKS阈值为0.50 时的AP,比例,然后计算PR曲线与坐标轴所围面积即为(Recall,R)被检测到的(Preci
24、sion,指检测结果真阳性的例,召回率于给定阈值T时,检测结果视为真阳性,精度当OKS大(IO U)【2 0,用于计算关键点检测的AP。度越高。OKS类似于目标检测中的交并比precision,AP来衡量,AP值越高明模型的准确Average模型的准确度采用平均精青度农2782.023年机报学械业1.5SimCC结构SimCcl18在网络中作为检测头,SimCC模块采用坐标分类的思路,将不同坐标值划分为不同类别,从水平与垂直维度将关键点坐标进行分类,从而实现关键点检测,其结构如图4所示SimCC三人线性投影0(16.0016)水平分类垂直分类图4SimCC结构Fig.4Structureof
25、SimCC在主干网络提取特征时,关键点由(n,H,W)展平至(n,HW),即输出n个关键点的一维向量。再通过线性投影将坐标编码为n个SimCC表征,表征后的坐标可以通过两条独立的一维向量来描述:p=((r o u n d(x Pk),r o u n d(y k)(1)代中round-线性投影一表征前的坐标表征后的坐标1一缩放因子经过线性投影后,输出的特征图维数为Wk维和Hk维。缩放因子k(k1)的作用是使一维向量长度超过图像边长,关键点定位精度增强到亚像素级别。在坐标解码过程中,给定的第p个关键点表征输人至仅一个线性层的水平和垂直坐标分类器。需将坐标还原到图像尺度,要将分类的最大概率所在位置除
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 SimCC ShuffleNetV2 量化 奶牛 关键 检测 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,个别因单元格分列造成显示页码不一将协商解决,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。