智能家居人机交互专项方案.doc
《智能家居人机交互专项方案.doc》由会员分享,可在线阅读,更多相关《智能家居人机交互专项方案.doc(39页珍藏版)》请在咨信网上搜索。
1、在智能家居试验室建设方案中,人机交互系统是一个相对比较独立系统。但它运行即需要其它子系统支持,同时也想高级服务提供依据。其中关键交互设备有家居机器人、智能手机、移动平板、智能视机、健康设备、遥控器、计算机等。1家居机器人1.1人机交互技术在终端机器人中关键提供触摸显示和语音交互方法,并提供摄像头扩展接口,利于更高层次开发。触摸显示交互是多媒体技术交互方法一个,其依靠于7寸触摸显示器进行操作界面实现和用户触摸输入。现在,在手机、平板等电子消费领域得到了很广泛应用。其有一个缺点是,触摸显示器安放在机器人机体结构中,属于机器人一部分,具体使用过程不是尤其方便。语音交互是本设计中关键部分,是终端机器人
2、和其它家电设备最大却别。经过自然语言交流,首先用户能够很方便使用机器人进行家庭中多种设备控制,其次其还能和老人对话,提供心理慰藉,或用于幼龄儿童教学。终端机器人中语音交互方案采取科大讯飞语音云平台进行高效开发。语音识别过程为:在当地进行语音采集,将采集信息发送到语音云端,当地接收来自云端识别结果在,然后进行智能处理;语音合成过程为:将要合成文本发送到语音云端,云端将语音信息返回到当地进行播放。科大讯飞云平台只是提供具体识别和合成,而怎么让语音识别更智能化则需要深入研究。1.2系统硬件1.2.1整体架构电子芯片技术飞越发展,CPU处理关键处理和运算性能越来越强。基于最大化利用CPU能力、降低成本
3、和降低系统能耗思想,本设计采取单处理关键,由Cortex-A8(S5PV210)统筹系统全部外设,进行设备控制和信息采集。对于外部设备,设备本身复杂程度和传输方法、传输速率上全部有不一样,所以在对系统设备进行选型时尽可能降低设备种类复杂程度。系统框架中定义了2种设备总线:USB总线和IO数据总线。USB总线用于数据传输量大、传输速率高复杂设备,IO数据总线则对应传输速率低简单设备。USB总线采取Hub形式进行多设备扩展。IO数据总线则采取抽象化和模块化思想设计,建立单独底层扩展系统,规范对应设备接口。系统从总线角度出发,将硬件分为2部分:底层扩展系统和上层Cortex-A8平台。底层扩展系统关
4、键用于传感器数据采集、机器人动力系统控制和情感控制,设备类型和控制较为简单。而上层Cortex-A8平台则是在关键控制器基础上搭载触摸显示器、用户按键接口、音频输出和USB类摄像头、Wi-Fi适配器、蓝牙适配器。整体硬件架构图1图11.2.1 Cortex-A8和S5PV210ARM Cortex-A8 处理器是基于ARMv7-A体系结构,其设计关键面向高性能和低功耗。现在,其突出优势已经得到了市场认可,在智能手机、机顶盒、数字电视、打印机等终端设备中含有广泛应用。Cortex-A8处理器关键特点以下:1)128 位SIMD 引擎支持高性能媒体处理(NEON);2)优化1 级高速缓存和集成2
5、级高速缓存;4)Thumb-2 技术,提升性能并节省指令存放空间;5)动态分支估计,降低分支错误估计危害;6)完整内存管理单元(MMU);7)Jazelle-RCT技术优化即时生产(JIT) 和动态自适应编译(DAC);8)高功效和高性能内存系统;Mini210s开发板以Cortex-A8S5PV210为关键控制器。S5VP210是一款高效率、高性能、低功耗32为RISC处理器,其适适用于智能手机和平板电脑等智能终端。S5PV210在Cortex-A8基础上拓展了多媒体方面性能,其包含很多强大硬件编解码功效,内置MFC(Multi Format Codec)、高性能PowerVR SGX540
6、 3D图形引擎和2D图形引擎、IVA3硬件加速器、HDMIv1.3等多媒体相关处理模块。S5PV210采取584引脚FCFBGA封装,含有丰富外围接口如TFT LCD控制器、摄像头接口、MIPI DSI、ATA接口、UART、24通道DMA、定时器、GPIO、USB Host 2.0、USB 2.0 OTG等。S5PV210同时含有丰富高质量外部存放接口,其DRAM支持LPDDR1、DDR2、LPDDR2,Flash/ROM支持NAND Flash、NOR-Flash、SRAM等。S5PV210芯片结构图图2所表示。图2 S5PV210芯片结构图1.2.2 Mini210s开发平台Mini21
7、0s是一款高性能高性价比Cortex-A8开发板,搭载三星S5PV210处理器,运行主频可高达1GHz,同时集成PowerVR SGX540高性能图形引擎。Mini210s开发板配置了512M DDR2内存和4G MLC NAND Flash,其外部应用接口很丰富如WM8960音频芯片、miniHDMI高清输出、USB2.0、CMOS摄像头、SDIO、矩阵键盘等接口(详见图4-15),其电源电路也支持低功耗待机省电模式。该款开发板提供开源Android2.3.1系统源码和Linux kernel源码,方便用户进行二次开发。同时其还提供方便易使用开发板烧写工具Superboot,缩短了系统开发周
8、期。依据终端系统功效设定要求,Mini210s开发板板载资源关键使用电阻触摸显示、USB OTG接口、音频接口三个部分。电阻触摸显示接口和7寸一线正确电阻触摸显示器连接,实现Android系统操作界面显示和触控操作检测。WiFi、蓝牙、USB摄像头等设备经过和USB HOST接口连接USB Hub完成基于USB设备设备扩展。音频部分采取I2S0接口,外接WM8960 CODEC解码芯片,提供声音输入和speaker输出(内置D类功放,能直接连接81W扬声器)功效。图3 Mini210s接口布局1.3服务内容1.3.1 机器人动作及情感表示图4 小优机器人动作和情感是其和其它家居设备最关键区分,
9、能够实现愈加好人机交互模式。机器人动作关键包含2类,机器人正常行走和头部运动。行走控制是在2轮轮系结构上经过控制直流电机实现,机器人能够灵活地进行前进、后退、左右转等动作。头部运动关键包含了抬头和扭头动作,2个自由度均经过直流电机实现。机器人相关动作作为服务公布到智能家居服务网关,其它终端能够经过网关或直接网络连接实现机器人动作控制。机器人情感表示是机器人智能性关键表现。其表现路径关键有三个方面:LED情感输出、机械动作和语音,经过三者结合向用户立体地展现了具体情感。3.2.2 网络接入网络是物联网关键基础之一,是物联网终端基础特征。物联网终端工作环境为一个家庭,其面积通常在几十到几百个平方米
10、,所以在选择通信介质时需要选择覆盖面积较大、信号穿透力强网络通信方法。再则该终端在家庭中大多数情况出于运动状态,通信介质应选择无线类型。现在,消费市场流行短距离无线通信方法关键有蓝牙和WiFi。蓝牙和WiFi技术全部是工作在全球通用2.4GHz ISM频段,有效处理了移动终端设备之间和和Internet通信。通常蓝牙技术有效通信距离为10m,新蓝牙标准4.0能够达成100m以上超长距离。WiFi有效通信距离则在几十米,发射功率足够大情况下能达成100m以上,足够覆盖整个家庭环境。另外,蓝牙传输速率较低,假如处理视频类数据时会出现延迟问题。所以,设计中使用WiFi作为机器人网络通信介质,连接局域
11、网和互联网。为了方便WiFi模块驱动移植,设计中选择USB接口WiFi模块EDUP EP-8508GS。其采取REALTEK8188cus芯片,使用802.11n无线传输技术,传输速率高达150Mbps,内置高精密天线,传输稳定。另外,蓝牙通信在智能设备如手机、医疗健康类设备等中应用广泛,为了支持这类设备,终端系统使用USB接口蓝牙适配器提供蓝牙通信通道。3.2.3 智能家居应用在具体家居环境中,物联网终端首先作为设备对外公布自己服务,如动作相关服务、视频服务等(能够依据具体需求对其进行扩展),其它终端设备能够经过网络方法对其进行服务调用,其次终端能够经过网关调用其它设备所提供服务,比如家电控
12、制实现。服务调用实现依靠于家庭环境中网络环境,关键有2种模式:服务器模式和直接连接模式。具体网络结构图3所表示。 服务器模式依靠于现有家居PC网关,家居环境中多种设备和服务器网关进行连接,网关对设备统一进行管理。当需要控制其它设备时,设备从网关获取控制方法并将控制请求发送到网关,网关接收到请求后先判定目标设备正常后将控制请求发送到目标设备,目标设备接收请求并依情况进行响应。服务器模式优点是能够对设备进行统一管理,设备能够动态增减,但整体结构比较复杂,给家居环境增加了额外设备开销。直接连接模式中各设备经过网络直接经过物理通信方法发送控制指令和数据直接抵达被控设备。因为直接连接模式没有网关对设备进
13、行统一管理,所以在网络环境中必需对设备列表进行固化,不能实现设备动态添加。但此种模式技术实现简单而且没有额外开销。图3智能家居网络结构图物联网终端机器人对两种网络环境全部提供支持。智能家居控制时,终端经过WebService协议和网关通信,实现具体设备控制。同时终端也能够经过Wifi和家电控制终端直接连接,终端机器人经过socket通信传输控制指令,家电控制终端经过Wifi转RS232模块将socket信息转化为串口数据,处理模块接收控制指令后进行对应操作。终端机器人作为设备时,建立网络监听,接收对应控制信息即可进行响应3.2.5 智能提醒及应用扩展 人到老年后伴随年纪增加记忆力不停退化,往往
14、会出现遗忘需要完成事情或是忘记吃药等现象。针对这一老年人实际需求,物联网终端机器人含有智能提醒功效。用户依据需要经过语音命令或设置界面进行事件设定,设置内容关键包含时间和事件内容,当抵达预定时间时机器人将进行相关时间语音提醒并在Android系统窗口推送时间提醒消息。 智能提醒服务关键是基于时间、时间提醒应用,针对老人心理慰藉问题也能够开发语音相关诊疗软件。实际上,Android系统拥有很庞大应用APP商店,涵盖了健康、保健、娱乐、教育等多个方面,用户依据本身需求对应用程序进行定制,而且应用商店中绝大多数软件全部是能够无偿使用。对于部分专有性较强应用,开发者依据具体需求使用过Android S
15、DK和相关工具即可开发。而且其上层应用开发几乎完全和底层硬件相独立,大大缩小了开发难度。也正是因为强大应用商店库和高效开发性,终端机器人实现选择搭载Android操作系统。2智能手机2.1 智能手机人机交互方法 智能手机作为物联网家居中一个关键智能终端,在人机交互上有多个表现方法。常见就有感应器、触摸屏、物理按键、加速度感应器、环境光线感应器、距离感应器、陀螺仪、指南针、GPS、摄像头、时钟、录音和常规数据输入口(2/3/4G数据、WIFI、蓝牙、数据线)。(1)触摸屏触摸屏是大家所熟知命令输入设备,已经发展出全套多手指手势,用于自然命令输入。在智能手机上使用最多是点击、长按、横滑、拖动,以单
16、指手势为主。两指以上手势并不太适合手机,因为常见持机方法是单手持机。多指手势比较适合平板电脑。(2)传感器现在移动操作系统全部提供了对传感器支持,假如硬件设备提供了这些传感器,现在支持传感器有加速度传感器、光线传感器、压力传感器、方向传感器、磁场传感器、温度传感器等,经过这些传感器,用户能够很方便取得手机运行状态、目前摆放方向、外界磁场、温度和压力等。(3)GPS最直接用途是在地图应用中调取目前位置,在LBS服务中取得POI点名称。不过Nike Running将其用于统计跑步路径,也是一个比较有趣拓展。(4)摄像头 摄像头其实是一个很强大信息取得设备。二维码在O2O领域巨大潜力已经被微信搅起来
17、了。之前一个颇为神奇用途就是被heart rate经过拍摄手指血管来测量心律。其它用途还有些人脸身份识别、计算机视觉手势识别、物体追踪等等。 (5)录音 录音是一个长久被忽略人机交互方法,发觉它潜力人则发明了很神奇交互方法。比如 Square用它作为信用卡刷卡信息输入口; 部分游戏用它模拟部分“吹一吹”效果; Chirp利用声音传输身份识别码,用以在手机间传输文件;另外,伴随移动智能终端设备发展,人机交互方法也日益多元化。Mirage Table:真人和虚拟影像互动由微软推出Mirage Table(幻影桌面)是一项颇为神奇技术,它将两台3D投影仪、Kinect体感监测仪、3D眼镜和人动作结合
18、在一起,打造出一个真人和影像互动效果。经过MirageTable,大家全部动作全部会被Kinect捕捉并转化称3D影像,然后和已经有3D物品进行交互,比如用手移动影像中多米诺骨牌、皮球等。同时一个实体物品能够经过虚拟影像复制出多个,也能够将移动虚拟物品到任何位置。用户只需要佩戴3D眼镜就能够看到MirageTable上3D投影图像。曲面设计能够让操作者经过投影仪来和虚拟画面实现互动交流,就像打保龄球一样。“MirageTable”还能够实现人和人之间双向写作,经过Miragetable,两个操作者不仅能够看到对方并谈话,而且一个人能够和视频中另一个人虚拟对象进行互动交流,甚至能够“触摸”虚拟对
19、象。还能够一起下象棋、搭积木,甚至研究部分比较复杂项目方案等。假如说AR(增强现实)技术能够在现实基础上模拟出虚拟场景,让人进入虚拟版现实世界,那么Mirage Table则能够将用户带入一个虚拟世界,想象一下,假如未来全部网络游戏全部能够将用户融入其中,在虚拟环境下直接操作,使用新奇装备,实现惊艳特效,世界将会变得多么神奇!基于Kinect操控创新微软推出Xbox 360体感外设Kinect很受用户欢迎,不过它意义并不仅仅是游戏外设,而在于对人机交互方法探索和创新。正因为如此,Kinect技术才能被广泛应用到其它创新产品之中,成为智能人机交互经典产品。国外一家专注于人机交互技术创业企业3Ge
20、ar Systems利用微软Kinect技术,推出了SDK包,能够帮助开发者将手势动作反馈到应用软件之中。这套系统能够帮助3D建模人员更方便快捷地对模型进行拼装操作,操作过程能够在一般显示器之上展现。开发者只需要购置Kinect传感器和固定装置就能够在这款SDK包基础上,设计新APP产品。Kinect作用还不止于此。Oblong试验室近期公布了一项科研结果,它将Kinect和Xbox上IE浏览器结合起来,脱离鼠标来操作电脑屏幕,能够实现一系列复杂操作,比如拖动、摆放屏幕上个体,对三维模型进行旋转、缩放,进行复杂命令操作,或用手机、平板或遥控器来控制大屏幕,甚至能够多人玩游戏、经过手势控制飞行器
21、,在多个屏幕之间进行无缝切换等。微软研究院联合华盛顿大学也研发出了一个名为SoundWave系统,该系统可利用计算机内置麦克风和扬声器,提供和Kinect类似对象识别及手势识别功效。SoundWave将计算机内置扬声器用做超声波(18-22KHz)发射源,其频率会伴随你手或身体位置改变而改变。然后,计算机内置麦克风会测量这一频率改变,并把参数告诉一套相当复杂软件,由该软件计算出手势和动作。语音交互行业应用苹果于花2亿美金亲自将Siri收购,并将其深度融入到iPhone 4S中。Siri 和手机紧密结合,能够极大提升设备操作简易性、环境适应性和真正意义上智能性。实际上,不仅仅是Apple自己iP
22、ad、 iTV和车载设备,全部未来所谓智能设备全部将会使用Siri模式。不过智能人机交互技术在行业应用中,还存在部分不足。以语音交互为例,传统语音交互包含关键技术包含语音识别和语音合成等全部已经比较成熟。在多年以前,IBM 语音识别软件在 PC 上就有不错识别率了,而微软名为Tellme项目也连续了多年。然而,即使达成100%正确率,仅限于输入识别功用语音识别不能代表智能人机交互真正意义,它并不是革命性。要实现完美人机交互,语音技术就必需跟人工智能技术结合起来。现在以语音方法为主人机交互系统现在关键应用在如呼叫中心IVR系统、智能手机等终端中语音拨号,短信朗诵、车载语音导航系统等。但普遍存在交
23、互模式比较机械固定(以声控命令为主)、用户体验通常、交互过程繁琐等问题。2.2 智能手机市场现实状况目前市场上主流移动操作系统平台有Andorid、iOS、Windows Phone。互联网数据中心(International Data Corporation,IDC)近日公布了全球最新智能手机市场份额数据,从数据表格中我们能够看到Android开始占据超出大半江山。而且依据IDC对未来5年智能手机市场估计,到Android市场份额仍将占到二分之一以上,到时候Microsoft市场份额(Windows Phone and Windows Mobile)将会有一个大幅度提升,将占到19.2%。智
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 智能家居 人机交互 专项 方案
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,个别因单元格分列造成显示页码不一将协商解决,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【a199****6536】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【a199****6536】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。