![点击分享此内容可以赚币 分享](/master/images/share_but.png)
基于三维深度信息的人体动作运动轨迹识别V11.docx
《基于三维深度信息的人体动作运动轨迹识别V11.docx》由会员分享,可在线阅读,更多相关《基于三维深度信息的人体动作运动轨迹识别V11.docx(32页珍藏版)》请在咨信网上搜索。
1、基于三维深度数据的人肢体动作运动轨迹识别Recognition of Human Body Action Movement Trajectory Based on the Three-dimensional Depth Data摘要:本文研究了传统人的肢体动作运动轨迹的识别技术,总结了传统识别技术的缺点,然后在此基础上将人的肢体动作的三维深度数据和三维环境下的运动历史图像(3DMHI)相结合,计算出运动历史图像的不变矩作为肢体动作的特征向量,应用于人的肢体动作运动轨迹的识别问题上来。文中详细阐述了基于三维深度数据的人的肢体运动轨迹识别技术的算法理论和实现方案,最后通过对比识别实验结果,验证了基
2、于三维深度数据的人的肢体运动轨迹识别方法具有更好的鲁棒性和更好的准确性。关键词:机器视觉识别;人的肢体动作识别;三维运动历史图像1 引言随着机器人技术的迅猛发展,机器人视觉跟踪技术和自然人机交互技术也开始成为了机器人技术研究领域的重要研究方向。而人的肢体动作是一种自然且直观的人际交流模式,人的肢体动作运动轨迹的识别也理所当然地成为了实现新一代自然的人机交互界面中的不可缺少的一项关键技术,特别是针对一些残障人士,只需要通过人的肢体动作就能给轮椅和残障辅助设备下达指令,更显的尤为便利。之前针对人肢体动作运动轨迹识别的人机交互研究主要侧重于人体皮肤颜色建模,连续动态动作的基于图像属性的鲁棒性特征的提
3、取,然而由于人肢体动作本身具有的多样性、多义性、以及时间和空间上的差异性等特点,因此传统的动作运动轨迹识别研究都有很大的局限性。本文就尝试将人体的三维深度数据引入到人的肢体运动轨迹的识别上面来,开创性的将传统方法拓展到三维空间,这样将减小环境光照、衣物遮挡和人体肤色与背景色的影响,使得计算机对人的肢体运动轨迹的识别更准确和更好的鲁棒性。2 问题描述人的肢体运动轨迹识别问题,即是将传感器实时捕获的人的肢体真实运动轨迹与预先定义好的样本轨迹相匹配的问题。传统方法是应用隐马尔科夫模型来进行真实运动轨迹与模板运动轨迹的匹配。图1.人的肢体动作二维图像基于二维图像的隐马尔科夫模型,如图1所示,通过隐马尔
4、科夫模型进行样本轨迹的匹配,过程如图2所示。但是基于二维的识别有如下的几个难点:(1)光照:当光照发生变化时,人体的亮度信息会发生变化,传感器捕获的图像容易受到自然光和人工灯光的影响。(2)遮挡:由于在识别过程中,肢体运动轨迹可能会被静止的背景区域或者是眼镜、帽子等物体所遮挡,遮挡会产生识别信息的丢失,给识别的可靠性带来了很大的影响。(3)背景:在实际识别过程中,如果人体运动区域与背景区域的颜色、纹理或者形状相似,也会增大识别的难度。图2.基于二维图像的隐马尔科夫模型基于三维深度数据的隐马尔科夫模型,因为引入了三维深度数据,虽然可以有效地去除背景光源照度的影响,和不同目标人员肤色基准值的影响,
5、识别过程不被光照、遮挡和背景等环境因素所影响,但是计算量大,训练效率低下,容易陷入局部最优值等问题,一直制约其在实时监控领域的应用。为了解决这些问题,这里我们将动作历史图像(MHI, Motion History Images)和人的肢体三维深度数据相结合,得到描述人的肢体动作的能量图像MEI,如图3所示,计算运动历史图像MHI的七个不变矩作为肢体动作特征向量,最后建立起肢体动作模板集合,也就是计算出这些肢体动作特征向量集的均值向量和协方差矩阵,识别阶段,通过Mahalanobis距离来衡量新输入的肢体动作与已知的肢体动作模板之间的相似性,只要计算出的Mahalanobis距离在规定的阈值范围
6、之内都可以认为动作识别成功。这样既排除了光照、遮挡和背景等环境因素的影响,又很大程度上提高了识别过程的实时性和准确性。图3.基于三维深度数据的运动能量图像3 问题求解Problem solving3.1 肢体动作的三维运动历史图像表征Body movements characterized by three-dimensional motion history image本文应用将传统的基于二维图像的动作历史图像进行改进,使之与三维深度数据相结合,达到共同表征三维肢体动作信息的目的。In this paper, to characterize the 3D motion information
7、 ,application of traditional motion history image based on two-dimensional image is improved to combine the three-dimensional depth data .运动历史图像作为时间差分法的一个分支,时间差分法是将连续的图像序列中比较两个或者三个相邻帧对应像素点发生的相对变化,得到差分图像进而阈值化来提取图像中的运动区域。本文引入三维深度数据,所以采用改进后的差分方法如下:The motion history image is a branch of time difference
8、 method,the method is to get different image by a continuous image sequence comparisons between two or three adjacent pixels corresponding to the frame ,then to threshold to extract moving regions in an image.This paper introduced the 3D data, the improved differential method is as follows:Dx,y,z,n=
9、Ix,y,z,n-1-2Ix,y,z,n+I(x,y,z,n+1)其中:Ix,y,z,n表示第n帧图像中三维空间位置x,y,z处的像素灰度值,Dx,y,z,n是连续3帧差分后的结果,代表了人体肢体动作发生变化的区域,将Dx,y,z,n阈值化如下:Among them,Ix,y,z,n represents the Pixel gray value in the position (x,y,z) in three dimensional space, Dx,y,z,n is the result of the three consecutive frames difference and it
10、also represents human body movement changed area.The threshold of Dx,y,z,n is as follows:Bx,y,z,n=1 Dx,y,z,n0 otherwise其中是选择的阈值,值过低则不能有效抑制图像中的噪声,值过高则会抑制图像中有用的变化。 is the choice of the threshold. If its value is too low ,it can not effectively suppress noise in images,but if its value is too high,it w
11、ill inhibit the image changes of useful.肢体运动的三维运动历史图像MHI的产生如下:Three dimensional motion history image of body movement(MHI) is made as follows:Hx,y,z,t= Bx,y,z,t=1max(0,Hx,y,z,t-1-1) otherwise运动历史图像MHI不仅反映了肢体动作的外在形状,也反映了肢体动作发生的方向和状态,在运动历史图像MHI中,每个像素的灰度值都与该位置肢体动作的持续运动时间成比例,最近发生的肢体动作姿态的灰度值最大,灰度值的变化体现了肢
12、体动作运动发生的方向。The motion history image MHI reflects not only the external shape of body movements, but also reflects the direction and state of body movements . In the motion history image,the gray value of each pixel is in proportion with the duration of the body movement in the position . The recent
13、body gestures have the maximum gray value. Gray value changes reflect the direction of the body movements. 图4.肢体运动的三维运动历史图像MHI Fig4 Three dimensional motion history image of body movement(MHI)3.2 肢体动作的运动历史图像不变矩计算Calculation of the invariant moment for the motion history image 这种基于肢体的三维运动历史图像MHI表征方法虽
14、然简单快捷有效,但对观察点的位置角度比较敏感,为了克服这一缺点,所以本文选取了不变矩作为肢体动作的运动历史图像的特征向量。不变矩的方法是一种比较经典的图形图像特征提取方法,它的平移不变性、伸缩不变性和旋转不变性能很好地排除观察点的位置和角度的影响。Although the three-dimensional motion history image method based on MHI limb is simple and efficient, it is sensitive to the position of observation point . In order to overcom
15、e this shortcoming, this paper selects the invariant moments as eigenvector for the motion history image. The method of invariant moment is a classical method to extract image feature, its translation invariance, scaling invariance and rotation invariance properties well rule out the impact on the p
16、osition and angle.我们得到肢体动作的三维运动历史图像MHI之后,为了计算它的不变矩,先将他分别在XY平面(如图5)、YZ平面(如图6)和XZ平面(如图7)进行投影。这样就可以得到对于同一个肢体动作的三维运动历史图像的三个视图,然后别对这三个主视图进行不变矩的计算。To get the invariant moment,after we get the three-dimensional motion history image, we projected it in the XY plane, YZ plane and XZ plane. This method can be
17、 for the three views of a 3D motion history image with one gesture. Then we did the calculation of moment invariants for the three main view. 图5.肢体运动的MHI的XY面投影 Fig5. XY surface projection of the MHI 图6.肢体运动的MHI的YZ面投影Fig6. YZ surface projection of the MHI 图7.肢体运动的MHI的XZ面投影Fig7. XZ surface projection
18、of the MHI对一个尺寸为MN的数字图像fx,y,其中p+q阶矩mpq被定义为:For a size of M * N digital image f(x,y), the p+q order moment mpq is defined as follows:mpq=x=1Ny=1Mfx,yxpyq其中p,q=0,1,2,Among them, p,q=0,1,2,其p+q阶中心矩pq定义为: p+q order central moment pq is defined as follows:pq=x=1Ny=1Mfx,y(x-x)p(y-y)q其中x,y表示物体图像上的点,x,y是物体的
19、质心:(x,y) represents the object image point, x,y is the object centroid:x=m10m00,y=m01m00。再通过零阶中心矩00对其余各阶中心矩进行归一化可以得到运动历史图像的归一化中心矩:Then through the normalizing of the central moment by the zero order central moments ,we can get the normalized center moment of the motion history image. pq=pq00r, r=p+q
20、+22, p+q=2,3,4,HuMK利用二阶和三阶归一化中心矩的线性组合,得到了7个不变矩构成的不变矩组,对于图像的平移、旋转和缩放均保持不变,这个不变矩组如下:HuMK get seven invariant moments based on the linear combination of two order and three order normalized central moment.The image translation, rotation and scaling are unchanged and the invariant moments are as follows
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 三维 深度 信息 人体 动作 运动 轨迹 识别 V11
![提示](https://www.zixin.com.cn/images/bang_tan.gif)
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【人****来】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【人****来】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。