基于三维图像视觉的手机app交互界面设计.pdf

第4 1卷 第4期 佳 木 斯 大 学 学 报(自 然 科 学 版)V o l.4 1N o.4 2 0 2 3 年0 7月 J o u r n a l o f J i a m u s iU n i v e r s i t y(N a t u r a lS c i e n c eE d i t i o n)J u l y 2 0 2 3文章编号:1 0 0 8-1 4 0 2(2 0 2 3)0 4-0 0 6 3-0 3基于三维图像视觉的手机a p p交互界面设计唐 睿1,马 莉2(1.芜湖职业技术学院,安徽 芜湖2 4 1 0 0 0;2.安徽机电职业技术学院,安徽 芜湖2 4 1 0 0 2)摘 要:针对手机a p p交互界面设计感官效果不足、时间消耗大的问题,提出基于三维注册的a p p交互界面设计方案。基于S UR F算法提取图像特征点,通过汉明距离匹配提取的图像特征点;利用相邻帧间特征点匹配获取单应性矩阵,求解摄像机位姿以完成三维图像视觉注册。测试结果表明,该方法三维图像注册的时间开销低、误差小,并且取得了理想的用户满意度。关键词:三维图像;视觉;界面;人机交互;特征点;三维注册中图分类号:T N 9 4 9 文献标识码:A0 引 言手机应用程序(a p p l i c a t i o n,a p p)界面是用户与系统实现信息交互的关键载体,缩短用户与手机a p p距离、强化用户体验是交互界面设计的重要着手点1。其中,良好的视听效果成为手机界面设计的首要目标,以充实用户的感官体验。可见,手机a p p交互界面设计不仅仅是美学、艺术学、设计学科知识,更广泛涉及认知心理学、设计心理学、行为心理学、社会学等交叉研究领域。增强现实技术在手机a p p交互界面设计中受到推崇。增强现实技术将虚拟模型叠加在真实场景上,令人与场景模型之间进行互动,补充了人对现实世界感知的不足。三维注册是增强现实不可或缺的步骤,为增强现实手机a p p交互界面设计提供了基础元素2。因此,从三维图像视觉注册入手研究了手机a p p交互界面设计的方法,以提高三维图像注册效率和优化精度为目标,基于S UR F算法提取图像特征点、基于摄像机位姿求解实现三维图像视觉注册。1 基于三维 图 像视觉注册的手机a p p交互界面设计方法1.1 手机a p p界面的人机交互用户与手机间的信息沟通通过交互界面来完成,因此手机内部复杂系统的强大功能依托界面来实现。图1描述了手机与用户之间的交互(人机交互)过程。由图可知,手机a p p界面是沟通系统与用户的关键介质,人将信息输入手机界面中,界面将信息传递给手机系统,系统收到指令并输出回复3;此回复信息由界面传递到人的眼前。此过程中,手机a p p界面根本任务是完整且高效的呈现二者对话信息,提高用户使用手机的体验感。图1 人机交互过程示意图感官层面的增强现实技术给人以三维可视化的视觉冲击,成为当前手机a p p交互界面设计的主流趋势。手机a p p界面三维图像视觉注册是实现其增强现实效果的重要环节,即通过求取摄像机位置信息4,在真实世界中正确摆放三维虚拟物体的位置。三维注册效果越好,用户在手机a p p交互界面中感知的虚拟物体越真实,因此对三维注册方法进行了深入探究与优化。1.2 基于S UR F算法的图像特征点提取定义视觉图像中存在一个像素点G(x,y),以视觉图像的不同尺度作为特征点提取范围,基于S UR F算法的近似H e s s i a n矩阵高效率检测图像的特征点5,H e s s i a n矩阵的应用是特征提取的关键。公式(1)描述了尺度上H e s s i a n矩阵H的收稿日期:2 0 2 3-0 3-0 8基金项目:芜湖职业技术学院校级科研重点项目(w z y r w z d 2 0 2 3 1 2)。作者简介:唐睿(1 9 8 2-),男,安徽芜湖人,讲师,硕士,研究方向:三维动画设计、非遗传承。佳 木 斯 大 学 学 报(自 然 科 学 版)2 0 2 3年表达式(1):H X,=Ex xX,Ex yX,Ex yX,Ey yX,(1)公式(1)中,x方向上高斯二阶偏导数同G(x,y)的卷积用Ex x(X,)表示,同理,高斯二阶偏导数同G(x,y)在y方向、x y方向的卷积用Ey y(X,)、Ex y(X,)描述。为了减少特征点检测的时间开销,S UR F算法将原本模板同图像的卷积运算取消,用B o xF i l t e r滤波器与积分图像运算的方式代替6,也保障了特征提取的精度,方法见公式(2):d e tH =Ax xAy y-0.9Ax y 2(2)公式(2)中,将 此 点 视 为 特 征 点 的 前 提 是d e t(H)不小于1,近似高斯二阶偏导数与图像像素的响应结果分别用Ax x,Ay y,Ax y表示。为了使特征点提取具有尺度变换特性,为图像构建多尺度空间金字塔,此处变换B o xF i l t e r滤波器的规格大小,图像金字塔构建需要在相同时间节点上处理多尺度空间图像,另外图像尺寸不需要变动。获得各个特征点的尺度层位置、确定两尺度层图像的3 3 3邻域,在这两个范围内对特征点实施非极大值一致操作;然后基于亚像素插值计算出高稳定性的特征点,同时该特征点具有较强的鲁棒性。1.3 基于位姿求解的三维图像视觉注册对提取的图像特征点进行匹配,由汉明距离计算方法完成。将虚拟的三维信息叠加至真实世界指定位置是三维图像视觉注册的终极目标,即预估求解摄像机的位姿7。位姿求解过程中应用两个关键变量:一是透视投影点,二是注册目标真实世界信息同图像坐标映射关系,求解注册过程如下。定义(X,Y,Z,1)为针孔摄像机模型内随机点的齐次坐标,(x,y,1)表示投影点位于图像坐标内的齐次坐标,公式(3)描述了二者的投影关系:x,y,1 T=QM X,Y,Z,1 T(3)公式(3)中,摄像机内参数矩阵和尺度因子分别为Q,前标定摄像机得到,后者为经验预设;摄像机位姿矩阵用M表示,基于摄像机旋转分量与平分量求取,M=v1,v2,v3,1。手机a p p交互界面三维图像视觉注册期间,需令注册平面和世界坐标系平面(Z为0时)重合8,改写公式(3)为(4):x,y,1 T=Q v1,v2,m X,Y,1 T(4)此处引入单应性矩阵概念实现手机a p p交互界面中视觉图像的三维注册,定义单应性矩阵为BW,则BW=Q v1,v2,mi ,其中表示图像帧数。当不小于2时将世界坐标系统内目标平面映射至此刻帧图像上。此刻帧同目标平面间的单应性矩阵以累乘相邻帧间单应性矩阵的方式计算,方法见公式(5):BW=B-1B-1-2B10H0W(5)式(5)中,B-1,B0W分别表示第帧图像与(-1)帧的单应性矩阵、原始帧和目标平面的单应性矩阵。基于公式(5)在BW中求解出此刻摄像机位姿矩阵如公式(6)所示:M=v1,v2,v3,m (6)摄像机位姿参数满足公式(7)中的关系:v1v2v3v3v3=v2v2v1v1 (7)求解出摄像机位姿,手机a p p交互界面的三维图像视觉注册完成,虚拟三维信息与现实世界位置实现良好叠加,将信息精准传递至用户眼中。图2 三种三维注册方法的时间开销统计/m s2 测试与分析依托U n i t y 3 D软件平台,调用O p e nC V函数库在W i n d o w s 7操作系统中进行手机a p p交互界面设计测试,导入O B J格式三维虚拟模型作为界面视觉设计的信息元素。为体现方法的优越性,基于放射投影三维注册的界面设计(方法1)、基于边框标识三维注册的界面设计(方法2)进行同步界面设计测试。2.1 三维图像视觉注册性能分析三维注册是沉浸式手机a p p交互界面设计的关键一环,精准的三维注册能够将虚拟三维信息合理的叠加在现实世界中,提高手机界面的人机交互水平。为此,对各方法三维注册的时间开销和误差进行统计,分别如图2和表1所示,其中表1为单幅图像的MA E(平均绝对误差)和R M S E(均方根误差)均值。46第4期唐 睿,等:基于三维图像视觉的手机a p p交互界面设计表1 三种方法的MA E和RM S E值统计误差指标本文方法方法1方法2MA E0.2 1 50.3 4 50.3 4 1RM S E0.3 5 40.4 2 80.3 0 4 分析图2可知,视觉图像三维注册过程中方法的时间曲线最低、曲线走向最为平稳呈下降趋势,三维注册耗时由初始1 3 3 m s降低至8 0 m s左右。相比之下,方法1虽然也表现了良好的趋向,但其总体时间消耗量较大,在1 5 0 m s 2 0 0 m s之间;方法2初始耗时虽低,但三维注册过程中的波动大、稳定性较差。这是因为本方法基于S UR F算法提取图像特征点过程中取消了原本模板同图像的卷积运算,用B o xF i l t e r滤波器与积分图像运算的方式代替,减少了卷积运算量因而特征点检测的时间开销而大大减少,进而降低了三维注册用时、提高了手机a p p交互界面设计的效率。另外,方法平均绝对误差和均方根误差展现良好优势,说明该方法在图像三维注册过程中能够较好的将虚拟信息叠加在现实世界坐标中,二者重合度高,提升了手机a p p交互界面设计的感观效果。2.2 手机a p p界面设计满意度在5个行业选取2 0名自愿者(2 04 0岁)作为手机a p p界面设计满意度调查的对象,分别从沉浸感、立体感、易用性、实用性、可推广性等方面考察了手机a p p界面设计的效果,每项满分为1 0 0分,三种方法支持下设计的手机a p p界面满意度调查结果如表2所示。表2 手机a p p界面满意度调查结果(单位:分)评价指标立体感沉浸感易用性实用性可推广性本文方法9 5.69 7.89 6.29 5.49 7.8方法18 8.49 6.48 9.49 4.29 6.8方法29 2.49 7.19 0.29 3.59 4.6 表2数据显示,本文方法设计的手机a p p界面满意度较高,不仅具有良好的立体感与沉浸感,而且易用性、实用性强,具有较好的大范围推广应用潜力。3 结 语科学技术大力发展之下手机界面技术瓶颈已有较大突破,手机a p p交互界面逐渐以用户的感官、文化、情感体验作为优先设计原则。从三维视觉图像注册入手探寻一种行之有效、耗时较短的手机a p p交互界面设计方法,以强化界面交互设计的可视化效果。最终在测试环节验证了方法的优越性,无论是三维图像视觉注册性能还是界面设计用户满意度方面,都取得了理想的效果,为三维图像在手机a p p交互界面设计中的应用提供了有益探索。参考文献:1 刘浩然.人机交互界面的平面视觉图像色彩增强系统设计J.现代电子技术,2 0 1 9,4 2(8):7 7-8 1.2 赵林,张令涛,王赞,等.调度自动化系统多视图人机交互界面设计J.电力系统自动化,2 0 1 8,4 2(6):8 6-9 1.3 黄国兵,王凯,杜峰,等.使用手机A P P实现F TU人机交互界面设计J.单片机与嵌入式系统应用,2 0 1 8,1 8(1 1):8 0-8 2.4 黄振彬.基于视觉传达技术的三维图像虚拟重建系统J.现代电子技术,2 0 2 0,4 3(1 9):4 5-4 8.5 周翔,唐丽玉,林定.基于二进制鲁棒不变尺度关键点-加速稳健特征的自 然特征虚实注 册方 法 J.计 算 机 应 用,2 0 2 0,4 0(5):1 4 0 3-1 4 0 8.6 高阳,史再峰,庞科,等.基于关键特征点提取的图像快速配准方法J.南开大学学报:自然科学版,2 0 2 0,5 3(2):5 6-6 1.7 张振杰,李建胜,赵漫丹,等.基于三视图几何约束的摄像机相对位姿估计J.浙江大学学报:工学版,2 0 1 8,5 2(1):1 5 1-1 5 9.8 查晨东,张雷,袁博.一种基于特征点稳定跟踪的三维注册方法J.电子设计工程,2 0 1 9,2 7(1 6):1 5 1-1 5 5.M o b i l eA p pI n t e r a c t i v e I n t e r f a c eD e s i g nB a s e do n3 DI m a g eV i s i o nT ANGR u i1,MAL i2(1.W u h uV o c a t i o n a l a n dT e c h n i c a lC o l l e g e,W u h uA n h u i 2 4 1 0 0 0,C h i n a;2.A n h u iE l e c t r o m e c h a n i c a lV o c a t i o n a l a n dT e c h n i c a lC o l l e g e,W u h uA n h u i 2 4 1 0 0 2,C h i n a)A b s t r a c t:A i m i n ga t t h ep r o b l e m s o f i n s u f f i c i e n t s e n s o r ye f f e c t a n d l a r g e t i m e c o n s u m p t i o no fm o-b i l ea p p i n t e r a c t i v e i n t e r f a c ed e s i g n,a na p p i n t e r a c t i v e i n t e r f a c ed e s i g ns c h e m eb a s e do nt h r e e-d i m e n-s i o n a l r e g i s t r a t i o ni sp r o p o s e d.I m a g ef e a t u r ep o i n t sa r ee x t r a c t e db a s e do nt h eS UR Fa l g o r i t h m,a n dt h ee x t r a c t e d i m a g ef e a t u r ep o i n t sa r em a t c h e db yH a mm i n gd i s t a n c e.T h eh o m o g r a p h ym a t r i xi so b-t a i n e db ym a t c h i n gt h e f e a t u r ep o i n t sb e t w e e na d j a c e n t f r a m e s,a n dt h ec a m e r ap o s e i ss o l v e dt oc o m-p l e t e t h e 3 Di m a g ev i s u a l r e g i s t r a t i o n.T h e t e s t r e s u l t s s h o wt h a t t h em e t h o dh a s l o wt i m eo v e r h e a da n ds m a l l e r r o r f o r3 Di m a g er e g i s t r a t i o n,a n da c h i e v e s i d e a lu s e rs a t i s f a c t i o n.K e yw o r d s:3 Di m a g e;v i s i o n;i n t e r f a c e;h u m a n-c o m p u t e r i n t e r a c t i o n;f e a t u r ep o i n t s;3 Dr e g i s-t r a t i o n56