毫米波雷达手势识别在空调上的设计与实现.pdf

458 2023中国家电科技年会论文集0 引言人类进入现代化生活以来，科技的发展给人们的生活带来翻天覆地的变化，人们对于高质量、智能化的生活需求不断增长，特别是在人机交互方面，从接触式控制到遥控式控制再到手势控制、语音控制等，发生了质的改变。其中，手势控制作为其中一种新颖、隔空、直接的控制方式，这种简单的控制方式证明了它的潜在价值。手势识别主要通过多角成像、毫米波雷达识别、结构光、光飞时间等方式来实现。多角成像方式很容易受到光线、遮挡物等因素的影响，并且会有泄露用户私密信息的风险；而结构光和光飞时间两种识别方式也容易受到环境因素的影响；毫米波雷达识别具有不受光线、不泄露用户隐私的优势。空调器作为一种调节环境温度和湿度的家用电器，用户经常要使用到它，因此，其控制方式对用户的体验来说非常重要，本文将以毫米波雷达手势识别在空调上的设计与实现为研究方向探索其可行性、可靠性和准确性。研究将在空调器上设计和搭建一个基于毫米波雷达的手势识别系统，当用户在空调器前进行手势操作时，识别系统对当前手势进行解析并得到手势相关数据，然后将手势指令发送给空调器控制系统，最后控制系统做出相应的控制操作。同时，本研究将分别采集多组手势在不同操作距离下的准确度数据，从而评估出搭载毫米波雷达系统空调器在手势识别方面的准确率和可行性，进而证明毫米波雷达手势识别技术在空调器上的设计和应用是可以实现的、意义非凡的。作者简介：吴振樑，学士学位。研究方向：电控软件技术研究。地址：广东省中山市南头镇南头大道59号。E-mail：。毫米波雷达手势识别在空调上的设计与实现吴振樑 胡志娟 陈伟杰TCL空调器（中山）有限公司 广东中山 528427摘 要：随着科技的不断发展，HMI（Human-Machine Interface，人机接口）方式也在不断地演进。为了提高用户对空调器的交互体验和操作便利性，特别是为了解决在找不到遥控器的情况下实现对挂机、天花机控制的问题，研究毫米波雷达手势识别技术在空调上的设计与实现，通过实验测试的方式得出空调器手势控制的准确率达到了89%，表明毫米波雷达手势控制在空调器上的应用是可行的、有意义的。关键词：毫米波雷达；手势识别；空调控制；HMIDesign and implementation of millimeter wave radar gesture recognition in air conditioningWU Zhenliang HU Zhijuan CHEN WeijieTCL Air Conditioner(Zhongshan)Co.,Ltd.Zhongshan 528427Abstract:With the continuous development of technology,the HMI(Human-Machine Interface)methods are also evolving.In order to enhance user interaction and operational convenience with air conditioners,especially to address the issue of controlling wall-mounted or ceiling air conditioners when the remote control is not available,the implementation of millimeter-wave radar gesture recognition technology on air conditioners has been designed and tested.The accuracy of air conditioner gesture control,as determined through experimental testing,reached 89%,indicating that the application of millimeter wave radar gesture control on air conditioners is feasible and meaningful.Keywords:Millimeter-wave radar;Gesture recognition;Air conditioning control;HMI中图分类号：TB6;TM925.12 DOI:10.19784/ki.issn1672-0172.2023.99.104 4592023中国家电科技年会论文集1 技术原理综述1.1 毫米波雷达工作原理1.1.1 距离测量原理毫米波雷达测距的原理是通过测量发射信号与接收信号的时间差来计算出距离1。发射信号与接收信号的时间差难以测量，所以一般通过其他方式计算出距离。手势识别需要较高的分辨率和精度，因此本实验采用毫米波频率为60 GHz的频率调制连续波（Frequency Modulated Continuous Wave，FMCW）雷达2。信号的发射、接收和混频过程3如图1所示，FMCW雷达发射信号频率以线性的方式随着时间连续递增，假设图1发射信号的斜率为S，那么发射信号频率FTX的时域公式表示为：FTX=St （1）在信号发射到物体表面时一部分会反射回来被接收天线接收到，那么接收信号频率FRX的时域公式表示为：FRX=S(t-T)（2）发射信号与接收信号的时间间隔为T，将发射和接收信号混频后得到中频信号FIF表示为：FIF=ST （3）那么，时间间隔T表示为：（4）已知光速为C，那么可得距离R为：（5）由公式（4）和公式（5）可得：（6）1.1.2 角度测量原理雷达角度分辨率的提高有助于提高多组手势识别的成功率，而增加雷达的接收天线有助于提高雷达角度的分辨率，因此本实验采用一发三收的FMCW雷达。如图2所示，为一发三收FMCW雷达天线发射接收信号简化图，以其中两个接收天线为例说明角度计算原理，接收天线RX1所接收到物体反射回来的信号与雷达天线平面法线的夹角为，接收天线RX1与RX2的距离为d，当物体与雷达的距离足够远时，认为发射回来分别被接收天线RX1和RX2接收到的信号是平行的，因此，天线RX2与物体两者间的距离和RX1与物体两者间的距离之差为dsin()，波长为，那么，设两接收天线的相位差为，则为：（7）4公式（7）变形可以求得夹角为：（8）图2 一发三收FMCW雷达天线发射接收信号简化图1.2 毫米波雷达手势识别技术概述1.2.1 多普勒频移当波源和接收器相对运动时，波源信号的频率会发生变化，这种变化被称为多普勒频移。如图3所示，运动波源前面的波长变得较短，频率变得较高；运动波源后面的波长变得较长，频率变得较低。由手势运动反射回来的一部分毫米波信号带来的多普勒频移现象，通过对中频信号的数据处理，可以得到手势的距离、速度、方向图3 多普勒频移图1 雷达信号频率时域图460 2023中国家电科技年会论文集等物理量，进而提取更多的手势特征。1.2.2 手势识别数据处理流程如图4所示，为毫米波雷达的多组手势识别数据处理流程，数据处理芯片对每个接收天线接收到的信号做2D-FFT数据处理，得到多组距离维和多普勒维的二维矩阵，将这些二维矩阵进行非相干累加后得到距离多普勒热力图5，从多普勒热力图中提取多个特征，分析和处理这些特征数据，输出相对应的手势类型。数据处理流程是手势能否准确识别的关键环节。图4 手势识别数据处理流程1.2.3 手势设计与手势特征收集本次实验为空调器设计了四组简单并且常用的手势（如图5所示），需要注意的是，为了防止误触发，手势需要在距离空调器100 cm以内才会正常被识别。第一组，手心正向雷达天线平面，然后手部慢慢匀速向上划动；第二组，手心正向雷达天线平面，然后手部慢慢匀速向下划动；第三组，手心正向雷达天线平面，然后手部慢慢匀速向左划动；第四组，手心正向雷达天线平面，然后手部慢慢匀速向右划动。分别收集四组手势各100组数据，分析并提取各组手势数据的手势特征，建立手势特征库。图5 常用的四组手势1.3 空调人机交互技术综述至今为止，基于空调器的人机交互方式已经非常多，例如空调器的显示操作面板（数码屏和按键）、线控器、遥控器（包含红外、蓝牙遥控器等）、手机App、语音控制等方式。其中，显示操作面板的按键操作局限性比较高，每次操作前需要用户先移动到空调器前面，而且该操作方式常用于柜式空调器，像挂式空调、吊顶空调等并不适用。当找不到遥控器时，无法令挂式空调和吊顶空调实现简单的开关机动作，所以手势控制就成为了这两类空调的重要交互方式之一。线控器常用于风管机、吊顶空调等嵌入式的空调器，其操作方式也有局限性，也需要用户移动到线控器的安装位置才能进行操作，但是线控器一般安装在比较便利的地方，所以在操作便利性方面一定程度上优于柜式空调器的显示操作面板。用遥控器操控空调器是大多数用户最常用的交互方式，在遥控信号的有效距离内，遥控器都能对空调器进行有效操控，但是当遥控器是红外遥控器时，会受到光线、遮挡物等因素的影响。手机App和语音控制方式是实现空调器智能控制的方式，通过这两种方式，除了可以设置空调器的设定温度、模式等常规控制对象之外，还可以实现空调器的场景化定制，与智能窗帘、音响等其他家用电器进行互联、互动、互通。2 毫米波手势识别在空调上的设计 2.1 毫米波雷达系统框架设计如图6所示，是简化的雷达系统框架图，射频信号发生器生成特定频率的载波信号，函数生成器生成所需的锯齿波波形，调制器将载波信号与锯齿波波形进行调制，将最终的信号送到锁相环PLL（Phase-Locked Loop），PLL将信号倍频后使用功率放大器放大信号，通过天线将信号发射到环境中。当毫米波到达目标后，目标会反射一部分能量回到雷达系统的接收天线。接收天线接收被反射回来的信号，低噪声放大器放大接收到的信号，混频器将接收到的信号与PLL倍频后的信号混频，转换成中频信号。中频信号经放大器放大后再进行模数转换和数字信号处理。图6 简化的雷达系统框架图2.2 雷达模组在空调器上的安装位置与角度由于毫米波雷达的信号覆盖范围像一个圆锥体，所以雷达在空调上的安装位置和倾斜角度对雷达信号的覆盖范围影响很大。本次实验所采用的雷达覆盖范围为水平100、俯仰100，对手势数据采集影响较大的是俯仰角度，等于100。如图7所示，雷达安装在空调器内机距离地面高度为H的位置，H等于170 cm。设定雷达信号 4612023中国家电科技年会论文集的最矮覆盖高度S和最短覆盖距离D的值分别为100 cm和50 cm，根据图7所示的角度关系，可以推算出雷达天线平面与空调器垂直机身夹角的计算公式：（9）将各个已知参数的值带入公式（9）计算可得：4.46。因此，假定雷达在空调上的安装高度H为170 cm、雷达信号的最矮覆盖高度S和最短覆盖距离D的值分别为100 cm和50 cm的情况下，雷达天线平面与空调器垂直机身夹角为4.46。实际上，当空调器为挂式空调时，因为挂式空调内机的安装高度会更高，所以这个夹角的值会偏大一些；当空调器为吊式空调时，雷达模组的安装方式大概会有两种，其中一种是类似上述的安装方式，雷达天线平面与空调器垂直机身的夹角也可以依据公式（9）计算出来。另外一种安装方式就是雷达模组天线平面平行于吊式空调内机面板，即平行于水平面安装，这时就不需要考虑安装倾斜角的问题。图7 雷达模组在空调器上的安装示意简图2.3 基于空调器的手势识别软件框架设计这次实验一共设计了四组不同的手势，因此要选取空调器最常用的四个按键功能一一对应起来。选取温度加、温度减、模式切换、开关机四个常用的按键功能分别和四组手势对应起来，如图8所示，手部向下划动代表温度加；手部向上划动代表温度减；手部向左划动代表模式切换；当空调器处于关机状态时，手部向右划动代表开机，当空调器处于开机状态时，手部向右划动代表关机。实际上，当空调器带有联网功能时，可以在App设置哪一组手势对应哪一个按键功能，特别是当手势的种类比较多时，用户可以根据自己的喜好来选择手势，并将所选手势与按键功能对应起来。3 实验数据设计与分析3.1 实验数据设计为了验证毫米波雷达手势识别在空调器上的准确率，并且在不同距离挥同一组手势时雷达可能存在识别差异的情况，分别在距离雷达30 cm、60 cm、90 cm处分别测试每组手势50次，4组手势一共600次手势动作，分别记录每次手势识别的状态：识别成功、识别错误、不能识别。其中需要特别说明的是手势识别错误表示当前手势被识别成其他三组手势中的一组了。3.2 实验数据分析表1、表2和表3分别记录了在30 cm、60 cm和90 cm处对4组不同手势的测试情况，表4是对向上划、向下划、向左划、向右划、距离雷达30c m、距离雷达60 cm和距离雷达90 cm一共7种分组手势识别准确率的计算，以及所有数据汇总后对手势识别准确率的计算。数据表明向上划这组手势的识别准确率最低，向左划这组手势的识别准确率最高，距离雷达越远时，手势识别的准确率会逐渐下降。600次手势识别有534次是识别成功的，有27次是识别错误的，图8 部分软件流程图表1 距离雷达30 cm处的手势识别情况手势与识别状态向上划向下划向左划向右划识别成功（次）45464847识别错误（次）2201不能识别（次）3222表2 距离雷达60 cm处的手势识别情况手势与识别状态向上划向下划向左划向右划识别成功（次）44434744识别错误（次）3213不能识别（次）3523462 2023中国家电科技年会论文集还有39次是不能识别的，总体识别准确率达到89%。虽然总体识别准确率还有提升的空间，但是89%识别准确率表明毫米波雷达手势识别在空调上的应用是成功的、可实现的。4 结论本文研究毫米波雷达手势识别技术在空调上的设计与实现，通过实验测试得出毫米波雷达手势控制在空调器上的总体识别准确率达到89%，识别错误或者不能识别的原因可能有手势挥动幅度不够、手势挥动动作错误、软件算法不够完善等。其中，识别错误的次表3 距离雷达90 cm处的手势识别情况手势与识别状态向上划向下划向左划向右划识别成功（次）41424443识别错误（次）4324不能识别（次）5543表4 手势识别情况汇总准确率与分组向上划向下划向左划向右划30 cm60 cm90 cm汇总准确率（%）86.787.392.789.393898589数是最少的，应当尽可能地降低识别错误出现的次数，因为识别错误要比识别不成功更容易给用户带来不好的体验。相对较高的整体识别率表明，毫米波雷达手势控制在空调器上的应用是可行的、有意义的，一定程度上使空调器的交互体验更具趣味，操控更加便利。随着研究的深入和算法的逐步完善，毫米波雷达手势识别在空调器上的总体识别准确率也会跟着逐步提高，给用户越来越舒适的体验。参考文献1 陈伟杰,周浩,陈妃味.毫米波雷达在空调器上的应用研究J.家电科技,2021(05):118-121.2 许妍,常俊,吴彭,等.基于毫米波雷达传感器RAI图像的手势识别方法J.电子测量技术,2023(06):15-22.3 余玟铮,殳国华,匡政睿,等.基于Transformer模型与毫米波雷达的手势识别J.电气自动化,2022(05):104-107.4 黄育夫,熊军,习涛.基于毫米波雷达的空调节能技术研究J.家电科技,2022(zk):176-180.5 龚树凤,方一鸣,施汉银,等.基于深度学习的毫米波雷达手势识别实验教学设计J.实验技术与管理,2023(04):168-176.