基于单目视频的跳台滑雪飞行阶段数据提取方法.pdf
《基于单目视频的跳台滑雪飞行阶段数据提取方法.pdf》由会员分享,可在线阅读,更多相关《基于单目视频的跳台滑雪飞行阶段数据提取方法.pdf(10页珍藏版)》请在咨信网上搜索。
1、系统仿真学报系统仿真学报Journal of System Simulation第 35 卷第 9 期2023 年 9 月Vol.35 No.9Sep.2023基于单目视频的跳台滑雪飞行阶段数据提取方法基于单目视频的跳台滑雪飞行阶段数据提取方法沈梓祎1,杨猛1,2*,杨超1,唐伟棣3,伍勰3,刘宇3,盛斌4(1.北京林业大学 信息学院,北京 100083;2.国家林业草原林业智能信息处理工程技术研究中心,北京 100083;3.上海体育学院,上海 200438;4.上海交通大学 计算机科学与工程系,上海 200240)摘要摘要:针对跳台滑雪运动难度系数高,穿戴式传感器等入侵式设备易发生危险且价
2、格昂贵而导致该运动数据提取困难的问题,提出了一种基于单目视频的跳台滑雪飞行阶段的数据提取方法。针对单目视频存在畸变和画面背景杂乱的问题进行预处理,通过标定相机参数对拍摄画面进行畸变矫正,并使用帧间差分法去除背景;利用OpenPose人体姿态识别库对运动员的关节位置进行初步识别,得到每一帧各个关节点的二维像素坐标;结合跳台滑雪运动员的姿态特性,针对识别出现误差的关节点,提出一种迭代拟合算法对其进行修正;根据修正后的关节点对运动员的运动特征进行提取与计算,并应用生成的人体模型与视频中运动员姿态进行动作比对。实验结果表明,迭代拟合算法提高了关节点识别准确率和识别精度,且修正关节点后生成的SMPL(s
3、kinned multi-person linear)三维人体模型更加贴合实际,证明了该算法对关节点修正的有效性。关键词关键词:跳台滑雪飞行阶段;人体关节点检测;坐标修正;二维轨迹提取;三维人体模型对比中图分类号:TP391.9 文献标志码:A 文章编号:1004-731X(2023)09-2035-10DOI:10.16182/j.issn1004731x.joss.22-1408引用格式引用格式:沈梓祎,杨猛,杨超,等.基于单目视频的跳台滑雪飞行阶段数据提取方法J.系统仿真学报,2023,35(9):2035-2044.Reference format:Shen Ziyi,Yang Men
4、g,Yang Chao,et al.Method for Extracting Data During Flight Phase of Ski Jumping Based on Monocular VideoJ.Journal of System Simulation,2023,35(9):2035-2044.Method for Extracting Data During Flight Phase of Ski Jumping Based on Monocular VideoShen Ziyi1,Yang Meng1,2*,Yang Chao1,Tang Weidi3,Wu Xie3,Li
5、u Yu3,Sheng Bin4(1.School of Information Science and Technology,Beijing Forestry University,Beijing 100083,China;2.Engineering Research Center for Forestry-Oriented Intelligent Information Processing of National Forestry and Grassland Administration,Beijing 100083,China;3.Shanghai Institute of Physi
6、cal Education,Shanghai 200438,China;4.Department of Computer Science and Engineering,Shanghai Jiao Tong University,Shanghai 200240,China)Abstract:To solve the problem of the high difficulty factor of ski jumping and the difficulty of extracting data of this sport due to the danger of invasive device
7、s such as wearable sensors and high price,a method for extracting data during the flight phase of ski jumping based on monocular video is proposed.The distortion and background clutter of the monocular video are preprocessed.The distortion of the captured images is corrected by calibrating camera pa
8、rameters,and the background is removed by the inter-frame difference method.The human pose recognition library,namely OpenPose is used to initially identify the joint position of the athlete and obtain the 2D pixel coordinates of each joint point in each frame.An iterative fitting algorithm is propo
9、sed to correct the joint points with errors in recognition by combining the pose characteristics of the athlete.The athletes motion features are extracted and calculated according to the modified joint points,and the generated human models are applied to compare with the 收稿日期:2022-11-23 修回日期:2023-01
10、-30基金项目:国家重点研发计划(2019YFC1521104)第一作者:沈梓祎(1998-),女,硕士生,研究方向为图像与视频处理、虚拟现实。E-mail:通讯作者:杨猛(1982-),男,副教授,硕导,博士,研究方向为计算机图形学、虚拟现实。E-mail:第 35 卷第 9 期2023 年 9 月Vol.35 No.9Sep.2023系统仿真学报Journal of System Simulationhttp:/www.china-athletes poses in the video.The experimental results show that the iterative fit
11、ting algorithm improves the accuracy and precision of joint point recognition,and the SMPL(skinned multi-person linear)3D human body model generated after joint point correction is more suitable for reality,which proves the effectiveness of the algorithm for joint point correction.Keywords:flight ph
12、ase of ski jumping;human joint point detection;coordinate correction;2D track extraction;comparison of 3D human body model0引言引言跳台滑雪运动在第一届冬奥会就被列为比赛项目,但在中国起步较晚,2017年才正式组建国家队。在该运动中,运动员从极高的跳台上滑下,以高速冲入空中飞行,最后降落着陆,成绩以跳台和落点间的距离计算。在早期跳台滑雪训练中,由于该运动的危险性,主要依靠教练的经验来指导,缺少量化数据标准。近年来,随着科技的发展,开始利用穿戴设备进行数据的采集与分析,但大多
13、在模拟实验室内进行。在场地上,这种入侵式设备不仅会对运动员造成危险,而且对设备要求也较高。因此,本文利用图像与视频处理技术对较为容易获取的跳台滑雪运动单目视频进行分析,对运动员的运动特征进行提取与计算,并形成三维人体模型与运动员进行动作比对。在降低成本、保障运动员安全的同时为教练指导运动员提供可靠的数据参考;生成的跳台滑雪运动人体三维模型还可应用于VR、三维动画等领域。1相关工作相关工作1.1 人体姿态识别方法人体姿态识别方法人体姿态识别是计算机视觉领域的一个重要研究方向。早期的人体姿态识别主要采用基于图结构模型的方法,文献1提出通过图形结构框架对人体部位的外观进行建模。随着深度学习的快速发展
14、,越来越多的工作通过神经网络2来预测人体关节点。在多人姿态识别任务中,主要分为自上而下和自下而上两种方法。自上而下的方法先检测出有哪些人体,然后再利用单人姿态识别方法进行姿态预测,文献3提供了人体跟踪和姿态估计的基线方法,但随着人数增加,效率会大幅降低。而自下而上的方法4则通过预测所有人的关节位置,再将他们分别组装,极大地提升了多人姿态检测效率。文献5提出的一种轻量级网络进一步改善了姿态识别的检测效率。尽管姿态识别算法已经有了较大的进步与发展,但跳台滑雪飞行阶段的数据集较为稀有,因此已有的算法在这种特定场景下的识别仍有所欠缺。1.2 人体参数化三维模型人体参数化三维模型先前的人体三维模型重建主
15、要通过借助设备来获得深度信息6,后来出现结合深度学习7的方法来进行人体三维重建,文献8从视频中估计人体形状。文献9提出一种与姿势相关的人体形状模型SMPL,文献10提出的SMPLify方法支持从一张图像中生成SMPL人体模型,文献11在此基础上添加手部和面部信息,提出SMPL-X模型和SMPLify-X方法。文献12扩充了SMPL的表达能力,有效模拟了软组织的运动。1.3 跳台滑雪运动数据提取与分析跳台滑雪运动数据提取与分析为了进一步获取和研究运动员各项数据,与计算机结合的方法已广泛应用于体育运动研究13。在跳台滑雪方面,文献14利用导航卫星系统和姿态估计系统来测量运动员从出发到着陆的运动学参
16、数。文献15基于人工智能、超宽带的精准定位技术和加速度传感技术开发了跳台滑雪动作技术分析和生物力学反馈系统。文献16通过可穿戴设备测量运动员着陆时的运动学参数并进行分析。2036第 35 卷第 9 期2023 年 9 月Vol.35 No.9Sep.2023沈梓祎,等:基于单目视频的跳台滑雪飞行阶段数据提取方法http:/www.china-文献17对跳台滑雪起跳阶段和早期飞行阶段运动学参数进行详细总结,为跳台滑雪运动分析工作提供参考。虽然跳台滑雪分析方法已经有了一定的发展,但大多借助了传感器技术以及其他设备,只利用单目视频进行研究的工作相对较少。且鲜有将跳台滑雪运动员飞行姿态重建出三维人体模
17、型的工作。1.4 本文流程本文流程本文的主要流程如下:对跳台滑雪运动单目视频存在的畸变问题进行矫正,针对背景杂乱问题进行背景去除的预处理,然后利用OpenPose人体姿态识别库对运动员飞行姿态进行识别,得到关节点坐标;利用迭代拟合算法对关节点识别出现偏差的数据进行修正并对识别丢失的关节点进行补全;根据修正后的关节点坐标对特征进行提取与计算,主要有:运动员二维飞行轨迹、关节角角度、重心瞬时速度以及三维人体模型等,流程图如图1所示。本文的主要贡献有 3 点:迭代拟合算法。针对跳台滑雪飞行阶段的单目视频进行处理,提取运动员二维关节点坐标,结合运动员飞行过程中的姿态特性,对识别有误的点通过迭代拟合算法
18、进行修正。跳台滑雪运动数据提取。针对跳台滑雪运动的特性以及摄像机拍摄为固定角度的特点提出一种专门针对单目跳台滑雪运动视频的数据提取方法,来提取运动员飞行轨迹、瞬时速度、角度等信息。关节点修正效果验证。根据未修正的关节点和修正后的关节点分别生成三维人体模型,反向验证二维关节点的修正效果。同时,最终生成的三维人体模型也可以反映运动员的飞行姿态。图1 本文算法流程图Fig.1 Flow chart of proposed algorithm 2037第 35 卷第 9 期2023 年 9 月Vol.35 No.9Sep.2023系统仿真学报Journal of System Simulationht
19、tp:/www.china-2基于基于OpenPose的姿态提取的姿态提取为了提高跳台滑雪运动姿态识别的准确率,首先对单目视频进行预处理,主要包括相机畸变矫正以及背景去除。之后利用现有的人体姿态识别库对运动员进行关节点识别。2.1 视频预处理视频预处理摄像机镜头是凸透镜,在拍摄时会使画面产生畸变,导致图像与真实世界的物体产生一定偏差且离凸透镜主轴越远偏差越大,进而会影响后续关节点识别与三维重建,因此需要对图像进行畸变矫正。准备一张长宽均为1.5 m的棋盘格并从多个角度进行拍摄来计算相机参数,并利用Matlab软件中的相机矫正功能进行畸变矫正,如图2所示。杂乱的背景会对关节点识别准确度产生一定影
20、响,结合相机拍摄画面固定不变的特点,利用帧间差分法去除背景来获得运动目标,对视频中图像序列的相邻两帧之间做差法,得到运动的物体,使整个画面只关注运动员本身,如图 3所示。2.2 OpenPose姿态提取姿态提取本文使用 OpenPose 在 Body25 数据集上的模型进行人体姿态检测,关节点坐标以像素坐标(xy)来显示,如图4所示,分别为对应的25个人体关节点。为方便展示,后续将识别结果绘制在未去除背景的画面上。图5(a)为识别效果较好的帧,图5(b)则在左腕处和右膝处存在识别错误。图2 相机畸变矫正Fig.2 Camera distortion correction图3 视频背景处理效果F
21、ig.3 Effect after video background processing图4 关节点顺序Fig.4 Order of joint points图5 OpenPose姿态识别效果Fig.5 OpenPose pose recognition effect 2038第 35 卷第 9 期2023 年 9 月Vol.35 No.9Sep.2023沈梓祎,等:基于单目视频的跳台滑雪飞行阶段数据提取方法http:/www.china-3关节点修正关节点修正3.1 异常值判断异常值判断虽然OpenPose算法在现有数据集上已有较高的准确度,但在特定的跳台滑雪运动识别上仍有一些问题,因此对
22、识别错误的帧或关节点进行修正。同时,在后续图中不再显示关注度较低的双眼和双耳坐标,保留鼻子坐标确定头部位置。将一个帧数为 Nprm的视频作为输入,通过OpenPose识别后得到所有帧中25个关节点的坐标Posrk(0k250rNfrm),并将三类关节点数据判断为异常值。(1)空值:该帧画面中没有人体出现或人体姿态识别遗漏,如图6所示。(2)识别的部分关节点坐标为(00):该人体关节点不在画面内,即运动员未完全进入或离开画面范围,如图7(a)所示;或是人体关节点识别遗漏,如图7(b)所示右手腕识别遗漏。(3)偏差值:识别关节点误差值大于预先设定的误差阈值。图 5(b)中左腕和右膝处即为识别偏差。
23、3.2 异常值处理异常值处理针对3.1节三类识别错误的情况提出一种迭代拟合算法对关节点进行修正。设关节k的有效关节点数量为Nnode,为关节坐标识别误差阈值,该值选取于标注数据中点到拟合曲线的最大距离。使关节k的有效关节点Posrk(0kNnode0r,则用拟合曲线上的点取代原关节点,否则保留原关节点,然后重新拟合当前的关节点集合,循环执行上述步骤,直至所有点误差都在曲线Sk的范围内。Sk需满足2个条件:能够贴合准确数据点;受偏差值的影响较小。如图8所示,4种曲线对准确的关节点都有较好的拟合效果,但后三者对偏差值较为敏感。故采用多项式Sk=Ax2+Bx+C作为拟合函数。迭代拟合算法伪代码如下。
24、算法:迭代拟合算法输入:Posrk(0kNnode0r then Posji=Sk(j)Sk=CurveFitting(Posk)j=0 redo loop输出:修正后的关节点坐标集合通过判断前后几帧范围内是否有人体被识别来区别空值是否属于姿态识别遗漏,同时,将识别关节点较少的帧设置为空值并处理;对于关节点坐标存在(00)的情况,经过上述算法处理后判断该点坐标是否在画面像素值范围内,若在则保图6 未识别到人体Fig.6 No human body identified图7 关节点识别遗漏Fig.7 Missing joint point recognition 2039第 35 卷第 9 期2
25、023 年 9 月Vol.35 No.9Sep.2023系统仿真学报Journal of System Simulationhttp:/www.china-留,否则删除。4特征提取与计算特征提取与计算本节将提取与计算以下4个特征,首先是飞行阶段的二维运动轨迹,其次是运动员的空间特征,然后是飞行过程中的时间特征,最后生成运动员三维人体模型。4.1 二维轨迹提取与拼接二维轨迹提取与拼接为拍摄运动员的飞行阶段,共架设4台摄像机以记录飞行过程,其中摄像机分别布置在20、40、60和80 m处,同时,相机摆设尽可能保持镜头面平行以降低拍摄位置问题对轨迹提取的影响。选取位置相对稳定的鼻子关节点运动轨迹作为
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 目视 跳台 滑雪 飞行 阶段 数据 提取 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,个别因单元格分列造成显示页码不一将协商解决,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。