基于单目手势识别交互系统-毕业设计论文.doc
《基于单目手势识别交互系统-毕业设计论文.doc》由会员分享,可在线阅读,更多相关《基于单目手势识别交互系统-毕业设计论文.doc(46页珍藏版)》请在咨信网上搜索。
1、本科毕业设计(论文) 基于单目手势识别交互系统的设计与实现学 院 机电工程学院 专 业 数字媒体技术 基于单目手势识别交互系统的设计与实现 李林钢 机电工程学院摘 要随着计算机技术的逐渐发展,出现了一些符合人的习惯的人机交互技术。其中,手势的检测和识别技术作为一种有着自然性、简洁性和直接性的一种新型的交互方式,是这些交互技术当中倍受重视的研究和应用的技术之一。近几年来,已经有相当一部分的应用采用了这种手势识别的方式作为跟机器交互的手段,受到了世界各个国家的科研机构和科技企业的重视与青睐。基于计算机视觉的手势识别需要解决一系列的问题。首先是要做到的是从背景中将手分割出来;然后将有用的信息与冗余的
2、信息分离开来,并将相关的手势信息提取出来;最后从相同的手势中根据实际情况,解读出它的特定的含义。针对这些问题,本文讨论里一种采用基于单目的特定颜色模型的背景分离方法和基于关键信息的手势提取方法,用Visual C+ 2010和OpenCV进行开发,实现在多种摄像头下的手势识别交互系统,主要包括以下方面:(1)针对不同摄像头画质的缺陷,采用中值滤波或均值滤波然后还原细节的方法实现图像较好的降噪,再用不同采样半径的USM锐化的方式实现图像信息的强化。(2)根据人手和背景色相等方面的差异,采用亮度+两个颜色通道的色彩模型进行色彩分离,并将未选择到的阴影和高光等区域利用连续色的原理进行进一步的选取。(
3、3)根据选取结果有很多干扰区域的情况,实现最大面积连通区域的提取算法,以排除关键信息提取时的干扰。(4)根据手的区域的情况和交互的自然性,采用稳定的手的重心作为手的位置,利用近大远小的关系,采用手占摄像头面积的大小判断手离摄像头的距离。(5)针对以上识别的结果,实现了一些常见的人机交互应用,包括屏幕画图器、鼠标模拟器等。关键词:手势识别;Visual C+;背景消除;连通区域;关键信息提取AbstractWith the development of computer technology, some human-computer interaction techniques which me
4、et peoples habits appear. Among them, gesture detection and recognition technology, as a new natural, simple and direct technology, is highly valued. In recent years, there have been considerable part of the application using this gesture recognition approach as a means of an interaction with the ma
5、chine, and it draws attention of and was favored by the scientific research and technology enterprises of various countries.Computer vision-based gesture recognition needs to solve a series of problems. The first is is how to split the hand from the background; then separate the useful information a
6、nd redundant one, and extract the relevant information gesture; finally, decipher the specific meaning of the same gesture in accordance with the actual situation. To solve these problems, this paper discusses a gesture recognition interactive system with a kind of background separation methods base
7、d on specific color model, and a kind of gesture extraction method on key information, developed by Visual C + + 2010 and OpenCV, fits a variety of camera, which includes the following aspects:(1) For different quality defects among cameras, this system uses median filter or mean filter and restores
8、 the detail method to reduce the image noise conservatively. Then use different sampling radius of USM sharpening to enhance the image information.(2) According to the difference of colors between background and hands, this system uses the brightness and the two color channels as a color model for c
9、olor separation. The not chosen distinct, such as the shadow and highlight areas will be further selected using a continuous color method.(3) According to the results there are a lot of interfering regions of selected areas. The system achieves the maximum connected area region extraction algorithm,
10、 which excludes the interference of the key information extraction.(4) According to the hand region of the case and for the naturalist interactive, the system uses the stable point - gravity center of the hand as the hand position, and uses the size of the hand to know the distance from the area wit
11、h the near-far smaller principle.(5) According to the results above, the system achieves some common interactive applications, including screen drawing control, mouse simulator, etc.Key words: Gesture Recognition; Visual C+; Background Removal; Connected Region; Key Information Extraction目 录1 绪论11.1
12、 手势识别交互的背景11.2 手势及识别方式的分类21.3 基于计算机视觉的手势识别技术需要解决的问题21.4 本程序主要实现的功能32 摄像头信息的采集和预处理52.1 OpenCV关于摄像头操作的API52.2 在控件中呈现有关摄像头的图像62.2.1 HDC的获取62.2.2 将IplImage*位图渲染到控件当中62.3 摄像头图像的预处理72.3.1 图片的缩放72.3.2 图片的降噪82.3.3 图片的锐化113 手的区域的提取133.1 肤色种子的获取133.1.1 获取鼠标相对图像位置的颜色133.1.2 自定义肤色种子143.2 基于手与背景在一定颜色模型上的区别的初步提取1
13、43.3 将手的范围扩展到其他区域153.4 外部孤立点的消去163.4.1 获取连通区域的面积和标记区域ID183.4.2 最大面积和对应区域的获取193.5 内部孤立点的修补194 手的关键点的提取214.1 手的重心和面积的确定214.2 手的边缘的提取215 程序主体代码的实现235.1 工程的环境和架构235.2 主类成员变量的定义245.3 程序的初始化代码245.4 从输入控件中获得识别参数265.5 总体识别语句的实现286 应用设计306.1 屏幕画图的设计306.1.1 获取CWindowDC306.1.2 定义和设置笔刷306.1.3 绘图语句306.2 模拟鼠标功能的实
14、现316.2.1 手的有效偏移量的获取326.2.2 鼠标点击功能的实现327 手势识别的综合测试34结论36总结36展望与改进36参考文献38致谢39 1 绪论1.1 手势识别交互的背景随着整个社会逐步的信息化,带给了我们一种新的交互方式人机交互(human-computer interaction)。而这一交互活动越来越成为人们日常生活的一个重要内容。近几年来,随着计算机技术的逐渐发展,出现了一些符合人的习惯的人机交互技术,如头部跟踪、人脸识别、表情识别、唇读、体势识别以及手势识别等等1,并逐步向以人为本的方向迈进。其中,手势的检测和识别技术作为一种新型的方式,是这些交互技术当中倍受重视的
15、研究和应用的技术之一。手势是一种有着自然性、简洁性和直接性的一种人机交互手段。1如果能只用人手作为计算机的输入设备,那么我们就无需学习其他繁重的硬件设备的操作,仅需根据人们的习惯,确定一些适当的手势,即可用简单的方式控制机器。而手势是人的一种很常用的交流方式。像人可以用手指的方向来表示物体的位置,用挥手来表示过来或再见,用一定的手势表示数字等等2。近几年来,已经有相当一部分的应用采用了这种手势识别的方式作为跟机器交互的手段。受到了世界各个国家的科研机构和科技企业的重视与青睐,如IEEE自1995年起召开的人脸与姿势自动检测年会FG(IEEE Conference on Automatic Fa
16、ce and Gesture Recognition)以促进包括手势检测识别技术在内的技术交流与发展。2图1.1 手势识别应用1.2 手势及识别方式的分类手势(gesture)本身具有多义性和多样性,由于领域、文化背景等的不同,对手势的定义也会不同。这里把手势定义为:手势是人手产生的各种姿势和动作,手势和姿势(posture)的主要区别在于姿势更为强调身体的总体形态而手势更强调手的细节。1手势按时间关系可分为静态手势(指姿态,又称手形)和动态手势(指动作,由一系列姿态组成)。静态手势对应时间上的一个点,而动态手势对应着一段时间内的一条轨迹,需要使用随时间变化的空间特征来表述3。动态手势具有丰富
17、和直观的表达能力,与静态手势结合在一起,能创造出更丰富的语义。按手势目的又可以分为操控手势和交际手势10。在人机交互系统中,操控手势的一种典型应用就是在二维和三维的虚拟环境中来操控物体。交流手势主要是指在自然环境中伴随人们自然对话的自由形式手势。手势相对于语言来说是一种表达人们想法的单独的补充模式。在对话中与手势相关联的信息是一种语句的时间和空间结构,可以用机器来提取它们11。手势的识别方式可分为利用机械装置的识别和基于计算机视觉的识别。机械装置,如数据手套是虚拟现实中重要组成部分,可以将手指的复杂的三维位置和动作利用附着的感应器传到到计算机当中去。然后可以重新呈现手部动作。数据手套传感的识别
18、方法的技术关键是手套能不能将手指、手掌、手腕的弯曲真实的以数据形势反演到系统数据库中,让系统根据模型对手势进行有效识别。由于手部软组织和计算复杂性,数据手套的计算速度总是存在延时,同时从人机交互的角度手套佩戴也十分不方便。如果多人使用还存在卫生等问题4,再加上这些传感器昂贵的价格,因此数据手套等机械识别的方式在推广上会受到很多的障碍。近些年来,基于计算机视觉的识别方法提供了一种成本较低的能减少用户限制的手势识别的方法,这种方法也是本系统的主攻方向。在基于计算机视觉的识别方式中,通常的做法就是把手势识别问题看成模式识别问题来对待。通过摄像头等设备来获取图像或视频,再把它们分解成特征集,然后用这些
19、特征集与预先定义好的模式进行匹配。1.3 基于计算机视觉的手势识别技术需要解决的问题无论是利用数据手套还是用手部粘贴高亮标签使作为输入设备会给使用者带来不舒适感如出汗等,且设备价格昂贵,难以推广。在上述研究的基础上,研究者渐渐把研究的重心转移到的不佩戴手套或不粘贴设备的自然手识别检测技术之上,以追求使用者更舒适的体验,其中从计算机视觉的研究方式入手是当前比较主流的研究方向,然而实现起来难度更大。首先是要做到的是从背景中将手分割出来,通常会用肤色分割的方法基于皮肤的色调将不同于周围背景手的区域分离出来但是会受到光线等因素干扰,分离出手后需要用合适的模型对手的动作建模。之后从模型中估算出参数,根据
20、估算出的参数对手势进行分类,得出结论。由于在数据采集时容易受到背景干扰,往往要求背景颜色和手的颜色有较好的区分度。4其次人体由多个部分组成,其中手指往往包含丰富的信息,而头和手臂所以及人手本身因光滑而产生的大量阴影等信息则大多为冗余信息,故如何将有用的信息与冗余的信息分离也是提高手势识别能力的关键。再次,人手是弹性物体,同样的手势的表现效果可能差别很大5,并且同样的用户者要重复做出完全相同的手势也是不可能的,如何降低甚至消除这个因素的影响对整个识别的准确率也有一定影响。最后,手势往往具有复杂、多重的含义,单一的方法很难准确地解读人手的具体内涵进而实现最终的识别,故需要综合多种方法。6针对上面提
21、到的多种难题,不同的研究和开发人员提出了许多种不一样的方案。综合以上,本文将提出一种能适应各种摄像头的,能抵抗一定干扰信息的一种基于计算机视觉的进行手势识别解决方案。1.4 本程序主要实现的功能(1)实现对摄像头的发现和选取,与对每一帧图像的采集和缩放。(2)实现对图像的清晰化,包括点状噪声的去除、细节的还原以及之后整体的锐化。(3)实现对背景信息的剔除,包括对肤色的提取和分割,对阴影和高光区域的扩散和对一些孤立点的剔除。(4)实现关键信息,如手的重心、手的远近(手的面积)等的确定。(5)利用以上关键信息,实现一些应用。为了保证软件的实时性,同时便于以上功能的实现,开发工具选用Visual C
22、+ 2010,第三方类库采用OpenCV2.0来完成这项工程。2 摄像头信息的采集和预处理2.1 OpenCV关于摄像头操作的API要进行手势信息的获取,首先需要拥有一定的硬件,如数据手套、摄像头等。对于软件方面则要安装相应的驱动程序和了解它们的API。幸好OpenCV提供了一系列通用而且简洁的外部接口以便于实现以上的工作,对摄像头操作代码流程如图2.1所示:m_Video=cvCreateCameraCapture(i);/获取第i个摄像头信息给视频指针CvCapture *m_Video;/定义视频指针m_Video;/视频指?针?m_Video=cvCreateCameraCapture
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 手势 识别 交互 系统 毕业设计 论文
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,个别因单元格分列造成显示页码不一将协商解决,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【人****来】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【人****来】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。