基于眼动追踪和触觉反馈的人-多机器人班组交互系统.pdf
《基于眼动追踪和触觉反馈的人-多机器人班组交互系统.pdf》由会员分享,可在线阅读,更多相关《基于眼动追踪和触觉反馈的人-多机器人班组交互系统.pdf(9页珍藏版)》请在咨信网上搜索。
1、第 卷 第 期兵 器 装 备 工 程 学 报 年 月 收稿日期:修回日期:录用日期:基金项目:国家自然科学基金项目()作者简介:翟佳佳()女硕士研究生:.通信作者:曾洪()男教授博士生导师:.:./.基于眼动追踪和触觉反馈的人 多机器人班组交互系统翟佳佳曾 洪沈熠韬徐晓英孙燈峰(东南大学 仪器科学与工程学院 南京)摘要:针对在动态复杂、非结构化的场景中缺乏自然、高效人机交互方式的问题提出了一种基于眼动追踪和触觉反馈的人 多机器人班组交互系统用于管理由多机器人和人组成的团队 该系统利用混合现实头盔在现实世界中叠加虚拟交互界面操作员通过基于凝视信号的非语言注意力感知的输入方法进行人机交互指令的输入
2、进而控制多机器人进行协同运动同时操作员通过振动和挤压 种触觉反馈模态来感知多机器人系统编队队形的尺寸变化与编队完成状态 为了验证人机交互系统的有效性与可行性设计了触觉反馈实验与人 多机器人班组交互系统实验实验结果表明:所提出的基于眼动追踪和触觉反馈的人机交互系统能有效控制多机器人系统进行编队指令执行成功率达.与仅通过视觉反馈相比在有触觉反馈的情况下操作员可以使用更少的时间完成多机器人状态感知交互效率提高了.关键词:触觉反馈眼动追踪人 多机器人班组人机交互多机器人系统本文引用格式:翟佳佳曾洪沈熠韬等.基于眼动追踪和触觉反馈的人 多机器人班组交互系统.兵器装备工程学报():.:.():.中图分类号
3、:文献标识码:文章编号:()():.:引言多机器人系统通过机器人之间的能力互补和行动协同能够完成单个机器人难以完成的任务进而实现整个系统的效能提升并且多机器人系统具有单个机器人造价低廉、冗余度好、鲁棒性强等优点这些优点使得多机器人系统在各个领域得到了广泛的应用 在环境勘探领域多机器人系统进行分布式部署来进行大范围的环境数据采集在边境监控领域多机器人系统通过网络化的监控系统对重要设施和区域进行全天候的监视和巡逻 此外抢险救灾领域已经广泛开展了各种城市搜救()行动在这些行动中多机器人系统已被证明能够显著提高灾后搜索与救援的效率由于上述场景通常是高度动态和非结构化的故操作员能够以自然、高效和直观的方
4、式控制机器人系统变得非常重要 遥操作是一种被广泛采用的方法例如大多数 机器人都是通过远程操作控制 同时相比于自主解决方案自主监控机器人更为常见操作员可以在机器人自主运行和执行任务时对其进行远程访问和监控 但与遥操作解决方案相比在目标环境中配备专家操作员已被证实可以显著提高响应时间和效率 事实上与机器人共享环境为操作员提供了迄今为止远程操作技术无法匹敌的态势感知水平 因此与其他考虑远程操作的解决方案不同本文中允许操作员成为团队的一部分与机器人伙伴在同一环境中移动 然而这种模式只有在操作员能够以自然直观的输入方式控制机器人并接受机器人队友的有效反馈时才会奏效在实际应用场景中操作员往往需要进行视觉
5、运动集成的任务且双手经常会被占用例如勘探专家手持勘探测量设备进行实地测量和采集数据、士兵时刻保持双手不离枪并无声行动、消防员手持消防水管进行灭火行动等 因此传统手动参与的输入方式如触摸屏、手控器、手势识别等无法满足需求 此外考虑实际应用场景可能存在嘈杂环境以及士兵需要无声运动的特殊需求语音输入并不是一个理想的选择 在这种情况下脑机接口与基于混合现实()头盔的眼动接口可以提供一种无需手动输入的隐式输入通道 以实现自然、高效的指令输入 人眼跳动的最高速度为 ()/相比人的手动操作具有更快的反应速度 此外操作员通过基于 头盔的眼动接口只需投入少量精力来管理凝视信号并且凝视本身就包含位置信息可以用来定
6、位图像中的目标对象 与脑机接口相比眼动追踪具有设置快速、易于校准、无需与操作员接触、鲁棒性高等明显优势从而使操作员的行为更自然使用体验更佳除了输入方式的研究外有效的反馈对于实现高效的人机交互也至关重要 反馈信息可以向操作员传达关键信息帮助操作员理解和掌握机器人系统的状态以及执行任务的情况 最简单的方式是视觉反馈传统的无人驾驶汽车以及机器人的交互界面上通常会以视觉反馈的形式为操作员提供地理空间信息以及警告信息等 然而在实际应用场景中视觉反馈的有效性会受到信号干扰、视角遮挡或者视觉负荷过高等问题的影响进而导致用户在视觉通道上无法获得有效的反馈 因此从其他通道向用户呈现反馈信息以作为视觉信息的补充就
7、显得尤为重要 研究表明触觉信息因其灵敏、鲁棒性高、私密等特点可以作为视觉信息的有力补充例如 等设计并研制了一种放置于指尖的振动触觉装置该装置通过产生不同的振动模式来表示多机器人系统目前所处的运动状态 等为多机器人系统的每一种运动状态设计了不同的振动模式编码故操作员通过不同的振动触觉反馈模式完成了在室外环境中的导航任务 但上述文献均仅采用了单独的振动模态来反馈多机器人系统的运动状态限制了系统反馈的信息量与多样性忽视了面对不同环境与任务触觉反馈方式的适应性为解决在高度动态和非结构化的场景中缺乏自然、高效人机交互方式的问题提出了一种新的人 多机器人班组交互系统用于控制由机器人和操作员组成的异构团队
8、该系统利用基于 头盔的眼动接口进行目标指令的输入进而控制多机器人进行协同运动同时通过振动和挤压 种触觉反馈模态来感知多机器人系统编队队形的尺寸变化和编队完成状态并设计实验验证了该系统的可行性通过对比试验证明该人机交互方法能提高控制效率、减轻操作人员负荷 系统框架基于眼动追踪和触觉反馈的人 多机器人班组交互系统兵 器 装 备 工 程 学 报:/./框架如图 所示 操作员头戴 头盔、身穿触觉反馈装置与多个移动机器人共享环境在此环境下通过局域网能够实现操作员与多机器人系统的双向通信同时操作员能够通过 头盔实时观察和感知现实作业环境并在需要时切换出控制指令菜单界面 该菜单界面为虚拟可视化的交互界面能够
9、检测操作员的有效注视并进行识别从而得到目标选择指令进而映射为编队控制指令并发送到多机器人系统协同控制器以自然无感的方式实现对编队控制指令的准确选择 多机器人系统协同控制器接收到编队队形指令后控制多机器人进行队形变换、内部避碰和外部避障等任务 与此同时操作员依靠触觉反馈装置在手臂皮肤表面产生的触觉力来感知编队状态图 基于眼动追踪和触觉反馈的人 多机器人班组交互系统框架.系统功能模块设计与实现.基于 头盔的眼动追踪输入方法首先设计了基于 的人机交互界面如图 所示在图 中操作员通过 头盔可观察到虚拟可视化控制指令菜单界面该菜单界面以全息图形式呈现在操作员周围的真实世界中 为了使机器人团队适应不同的工
10、作环境和任务需求可以预先定义多机器人编队形状图案并设计与之对应的控制指令菜单界面图 面向人 多机器人班组交互的眼动输入方法流程.针对实际应用中多机器人系统的协同需要设计了以下 类编队控制指令如图 所示分别为三角形编队、矩形编队、五边形编队、直线编队、扩大编队和缩小编队图 虚拟可视化控制指令菜单界面.人 多机器人班组共享环境时操作员为视觉运动集成的 为有效地与机器人进行交互提出了一种基于凝视信号的非语言注意力感知的输入方法利用 头盔进行眼动追踪检测操作员注视指令菜单界面产生的有效注视事件以便生成目标选择指令 在眼动数据分析研究中区分具体的眼动事件是至关重要的步骤 常用的眼动事件检测是根据经验设置
11、眼动速度阈值根据阈值区分不同的眼动事件但是由于个体差异具体阈值的设置会对事件检测结果产生影响 鉴于此使用自适应阈值算法实现眼动事件检测 首先 头盔用于实时采集操作员的眼动信号并计算眼动速度 其次进行眼动事件监测即计算扫视速度阈值初始扫视速度阈值为(初始值范围 ()/)逐步计算范围内眼动角速度的中值和方差更新扫视速度阈值更新公式如式()所示()()()式()中:表示中值 表示绝对中位差()缩放因子表示第 次眼动角速度 表示前 个眼动角速度序列表示第 次扫视速度阈值不断更新扫视速度阈值直到其稳定在一定范围内停止条件如式()所示 ()式()中:表示眼动注视的位置 表示图 中视线焦点区域选择的图案设置
12、 的间隔时间是为了防止操作人员视线漂移造成误操作有效注视事件的注视位置进一步映射为编队控制指令并发送到多机器人系统协同控制器.多机器人协同控制针对不同的任务场景多机器人需要变换为相应的队形或尺寸进行任务的执行因此本节阐述了分布式多机器人编队算法控制多机器人编队变换)移动机器人模型 本文中选用 轮差分驱动式机器人作为控制对象其运动学模型图如图 所示图 移动机器人运动学模型.该移动机器人在世界坐标系中的坐标为 线速度为 角速度为 方位角即其运动方向与 轴正方向夹角为(时产生吸引力当 时产生排斥力避障控制项定义如式()所示 ()()式()中:为第 个机器人的障碍物集合为集合 中第 个障碍物的位置 为
13、人工势函数当 时产生排斥力当 时无作用力为障碍物的最大安全距离.多机器人系统状态信息的触觉反馈表达方法根据.节提出的基于 头盔的眼动追踪方法可以向多机器人系统发出队形变换或尺寸变换的控制指令 由于多机器人系统从接收指令到收敛到期望队形或尺寸需要一定的时间故操作员仅通过视觉观察难以快速判断多机器人执行指令状态且随着机器人数目的增多判断难度随之增加 为了降低人机交互难度以及为操作员创造高度沉浸感本节设计了基于挤压触觉的多机器人系统尺寸变换与基于振动触觉的队形变换 种模式来反馈多机器人系统的运动状态信息)穿戴式触觉反馈装置 穿戴式触觉反馈装置交互系统框图如图 所示该装置主要由 部分组成:主控模块电源
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 追踪 触觉 反馈 机器人 班组 交互 系统
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。