![点击分享此内容可以赚币 分享](/master/images/share_but.png)
基于IMU传感器与深度度量学习的人体行为识别算法.pdf
《基于IMU传感器与深度度量学习的人体行为识别算法.pdf》由会员分享,可在线阅读,更多相关《基于IMU传感器与深度度量学习的人体行为识别算法.pdf(6页珍藏版)》请在咨信网上搜索。
1、第48 卷总第52 3期网络首发:2 0 2 3-0 4-2 5基于IMU传感器与深度度量学习的人体行为识别算法时尚,何正燃,董恒(南京邮电大学通信与信息工程学院,江苏南京2 10 0 2 3)移动通信【摘要】人体行为识别可以定义为通过一系列观察和周围环境来确定一个人的各种姿势和日常活动。很多研究尝试将深度学习技术用于HAR中,然而,现有的基于DL的HAR方法存在复杂度较高、算力需求大和泛化性与鲁棒性不足的问题。为了解决上述问题,围绕基于智能手机内置IMU传感器的HAR方法,提出了一种名为RMDML的HAR方法,该方法结合了轻量化神经网络Res-MLP和深度度量学习的特征嵌人技术,旨在提取具有
2、可分离性与可判别性的泛化特征,从而提高模型识别性能和泛化性能。RMDML模型在公开数据集UCIHAR上取得了97.2 6%的准确率,高于几种常见的HAR算法,证明了所提出方法的有效性。【关键词】人体行为识别;惯性测量单元传感器;残差多层感知机;度量学习doi:10.3969/j.issn.1006-1010.20230324-0001中图分类号:TN929.5文献标志码:A文章编号:10 0 6-10 10(2 0 2 4)0 3-0 131-0 6引用格式:时尚,何正燃,董恒.基于IMU传感器与深度度量学习的人体行为识别算法.移动通信,2 0 2 4,48(3):131-136.SHI Sh
3、ang,HE Zhengran,DONG Heng.Human Activity Recognition Algorithm Based on Inertia Measurement Unit Sensors and Deep MetricLearning JJ.Mobile Communications,2024,48(3):131-136.Human Activity Recognition Algorithm Based on Inertia Measurement Unit(College of Information and Telecommunications Engineerin
4、g,Nanjing University of Posts and Telecommunications,Nanjing 210023,China)Abstractlearning(DL)techniques for HAR.However,existing DL-based HAR methods suffer from issues such ashigh complexity,large computational requirements,and insufficient generalization and robustness.To addressthese issues,a ne
5、w HAR method called RMDML is proposed that focuses on inertia measurement unit(IMU)sensors embedded in smartphones.RMDML combines a lightweight neural network called Residual Multi-LayerPerceptron(Res-MLP)with deep metric learning feature embedding technology to extract generalizable featureswith se
6、parability and discriminability,thereby improving the model recognition performance and generalizationability.RMDML achieves an accuracy of 97.26%on the publicly available UCI HAR dataset,which is higherthan several common HAR algorithms,demonstrating the effectiveness of the proposed method.Keyword
7、shuman activity recognition(HAR);inertia measurement unit(IMU)sensor;residual multilayer perceptron(Res-MLP);metric learning0引言人体行为识别(Human Activity Recognition,HAR)作为一种通过一系列观察和周围环境来确定一个人的各种姿势和日常活动的技术,随着5G时代I 的到来和物联网技术的高速发展,已经被广泛应用于日常生活中并成为了智能化产品的核心功能之一。HAR具备极大的发展潜力收稿日期:2 0 2 3-0 3-2 4*基金项目:科技部科技创新2
8、 0 30-重大项目(2 0 2 1ZD0113003)OSID:Sensors and Deep Metric LearningSHI Shang,HE Zhengran,DONG HengHuman activity recognition(HAR)is the process of determining a persons various postures and daily activitiesthrough a series of observations and the surrounding environment.Many studies have attempted to
9、use deep扫描二维码与作者交流和广泛的应用场景。例如人机交互2 、体育活动3、智能家居【4、医疗保健5 和犯罪监控。随着物联网技术的发展,越来越多的学者将目光放到了基于惯性测量单元(I n e r t ia M e a s u r e m e n t U n it,I M U)传感器数据的HAR方法上。IMU传感器包括加速度计、陀螺仪、磁力计等,广泛应用于智能手机、汽车电子、航空航天及军事领域。基于IMU传感器的HAR方法具有价格低廉、功耗低、一“新一代人工智能”数据采集不受环境约束等优点,但也存在需要佩戴传感器的不便之处。随着移动网络技术和智能手机的普及,1312024年3月第3期第4
10、8 卷1研究与探讨1总第52 3期基于智能手机内置IMU传感器的HAR算法开始被学者们所关注7 ,这种方法可以在日常生活中完成对用户行为的识别需求,不需要佩戴其他传感器。同时,随着手机芯片算力的不断提高,智能手机处理数据的能力也越来越强大,这也为相关算法的运行提供了良好的环境。随着深度学习(DeepLearning,D L)技术的发展,该技术已经成为识别任务的最新方法,被广泛应用于6 G通信技术8 、自动调制分类9、信道状态信息【10 、射频指纹识别 和信号识别12 等领域,HAR领域也开始使用深度学习技术来提高模型的性能和效率。图1展示了一种基于智能手机内置IMU传感器的深度学习算法模型,利
11、用智能手机内置的加速计和陀螺仪采集数据并进行预处理,然后经过神经网络提取高维数据特征,以达到识别行为的目的。文献13提出了使用DNN作为神经网络模型的HAR算法。文献14 构建了一个基于CNN的模型,使用从用户智能手机中集成的三轴加速度计等IMU传感器收集的数据来识别人类活动,三维原始加速度计数据可以直接用作训练CNN模型的输人,无需任何复杂的预处理。文献15 使用CNN和LSTM模块构建了通用深度框架DeepConvLSTM,该框架不但可以应用于均质传感器模态,还可以融合多模态传感器以提高性能。文献16 首先为基于IMU传感器的HAR技术引了半监督CNN,其中基于CNN的编码器-解码器和卷积
12、梯形网络用于学习更好的高级特征,使用L2正则化(L2Regularization)方法来抵抗噪声传感器数据中的异常值,它可以减少90%以上的标记数据并且能确保模型的性能。尽管上述基于IMU传感器的HAR方法已具有较高的识别准确率,但依然存在模型复杂度高,泛化性和鲁棒性较差的问题。文献17 提出了基于IMU传感器与轻量化神经网络Res-MLP的HAR方法,该方法有效地降低了模型复杂度,但是该方法的泛化性和鲁棒性仍不足。为了进一步提高Res-MLP方法的识别性能和泛化性能,本文将Res-MLP与深度度量学习方法进行结合,提出RMDML-HAR方法。该方法使用Res-MLP作为特征嵌入网络,并使用了
13、一种面向特征可判别()个内置IMU传感器的混合度量损失函数,不仅维持了Res-MLP算法的低复杂度,还提高了模型的识别性能和泛化性能。1面向特征可判别的混合度量损失函数为了提高基于IMU传感器与Res-MLP的HAR方法的识别性能和泛化性能,本文引入了深度度量学习18 方法,使用度量损失函数进行模型的参数更新。度量学习是一种基于“学会比较”或“学会测量”的理念,旨在比较或测量不同样本之间的相似性的优化方法。度量学习不仅学习了如何对训练样本进行分类,还学习如何衡量不同样本之间的距离或相似度,从而更好地推广到未见过的测试样本,提高模型的泛化性。基于度量学习的分类方法的关键在于如何获得良好的特征嵌入
14、。具有泛化性的特征嵌人方法所提取的特征一般需要满足3个特性:可分离性、良好的类间差异性和类内一致性,而具备上述3种特性的特征一般也可以称之为可判别特征。可判别特征不仅需要能够在特征空间中区分不同类别的信号样本,还需要提高类间的差异性(即提高来自不同行为的信号样本在特征空间中的距离),同时也需要提高类内的一致性(即缩小来自相同行为的不同信号样本在特征空间的距离)。本文提出了一种基于混合度量的可判别特征嵌人方法,该方法采用除去最后一个全连接层的Res-MLP作为特征嵌入的骨干网络,即fre(W r E)。同时,使用Softmax损失函数和两个典型度量损失函数组成的混合损失函数代替单一的Softma
15、x损失函数,这可以有效地在特征空间中缩小来自同一类别的不同样本之间的距离,同时扩大来自不同类别样本之间的距离。下面依次介绍3种损失函数。(1)So ftm a x 损失函数从训练数据集中的样本经Res-MLP所提取的特征向量为Vtr=fF(W FE;x r),将其输人至全连接层,以将特征向量从特征空间F映射至类别空间。那么,该全连接层的输出可以表示为ztr=fc(W c;v r)。基于此,Softmax损失函数可以表示为:标签加速计数据收集陀螺仪预处理分类模型训练集训练特征提取测试集行为识别图1基于智能手机内置IMU传感器的深度学习算法模型132移动通信2024年3月第3期第48 卷总第52
16、3期时尚,何正燃,董恒:基于IMU传感器与深度度量学习的人体行为识别算法e(0)Lsoimax=-E/ZZy,(i)log,其中z()是第i个元素,表示样本属于第i类的非归一化概率。(2)中心损失函数中心损失函数不仅考虑分类准确率,还对类间距离有一定的要求,可以有效缩小来自相同行为的不同信号样本在特征空间上的距离,以提高类内一致性。中心损失函数的表达式如下:(2)其中c,表示样本的标签为y的类别的中心特征,Jre(WF;x)表示x在Res-MLP网络中提取的特征向量。(3)三元组损失函数三元组神经网络19 将训练数据集D中的样本分为锚点样本x、正样本x和负样本x三部分,其中正样本是与锚点样本都
17、是属于同一行为,而负信号样本则来自不同行为。三种行为样本被成对输人到基于Res-MLP的特征嵌人中,三元组神经网络可以促使基于Res-MLP的特征嵌人缩小锚点样本x4n与正样本x*在特征空间上的距离,同时,扩大锚点样本与负样本x在特征空间上的距离。欧氏距离通常被用来度量特征空间中的距离。令:d,=/Fre(Wrix)-fre(Wreix)ld_=/Fre(Wreix)-Jre(Wreix)l则三元组损失函数可以表示为:Lrpla=Ed.-d,+5,其中,表示可调的裕度。基于以上3种损失函数,本文提出的混合度量函数可以表示为第一阶段:特征嵌入Cm(eWe;e(Wre);Mome =-somar
18、feWei fre(WrE)(1)(6)其中入Metric用于衡量Softmax损失函数与度量损失函数的平衡。2 RMDML-HAR算法2.1算法框架本文提出的基于Res-MLP与深度度量学习的RMDML-HAR框架如图2 所示。除去数据的预处理部分,典型的HAR框架可以分为2 个阶段:特征嵌人和分类器。前者是建立从样本空间到特征空间的映射,即fE:F,后者是将特征映射到类别中,即fc:FV,其中F为特征空间。Juar(Wuar)=ffre(WrE);We Wuar=Wre;We)(7)其中WFEEWFE,W c EW c,而WFE和We分别代表特征嵌入的参数空间与分类器的参数空间,并且WFE
19、Wc=W。RM D M L算法的特征嵌入网络使用Res-MLP,并使用混合度量损失函数来更新模型参数,此外,分类器使用神经元个数为6 的全连接层。(3)2.2算法优化方法(4)WFe和W。的更新都是基于梯度下降的方法,如公式(8),其中n 表示学习率。OCHM(5)而中心损失函数中的特征中心c,的更新方式不同,在理想情况下,只要特征嵌人输出的特征发生改变,中心损失函数的特征中心c,就需要更新,这意味着需要计算出所有样更新模型Res-MLP(WFE)fFE(8)度量损失函数XMetricLriplet+CceCenterDense+SoftmaxSoftmax损失函数第二阶段:分类器Jc(W)分
20、类器图2 RMDML-HAR算法框架LCE预测类别不移动通信2024年3月第3期133第48 卷1研究与探讨1总第52 3期本对应的特征向量,然后求出每类的平均特征作为特征中心C%,但是考虑到样本量过大,本文采用在每批样本上更新,即(9)Eir(6(v,=n)Vre(Wrix.)-c,Ac1+6(y,=y)其中为学习率,()为条件选择函数,如果括号中的条件成立,()将等于1,否则为0。基于Res-MLP与度量学习的特征嵌人方法具体算法细节如下:算法1:基于Res-MLP与度量学习(RMDML)的特征嵌入方法输人:UCI HAR数据集 Du(x,),输出:fre(WrE)1设定超参数2学习率n,
21、训练周期T,批大小Bs,平衡因子Meric,裕度3构建基于Res-MLP的特征嵌人4构建Res-MLP作为特征嵌人fe(W FE)(除去最后一个全连接层)5添加度量函数CTriple和Lcenter6特征嵌人后添加一层全连接层fcWc;Jre(W r E),并添加Softmax损失函数Lsofmax7划分训练验证测试8按8:2 划分训练集Dcr与验证集Ducl9模型训练10 当t=1,2.,T时,执行:11前向传播12V,=fre(Wei;xt)13zm=fe(We;vr)14计算损失函数值15使用混合度量函数LHM16Cm feWe;fre(Wrt);Mame=somar feWe;r(Wr
22、e)17反向传播与参数更新OLHM18OWFE19WetlWe-naW2021返回:特征嵌入在验证集上损失函数最小的权重Wr3实实验与结果分析3.1模型训练本文采用公开数据集UCIHAR数据集2 0 I进行实验。134移动通信2024年3月第3期该数据集由30 名年龄在19-48 岁的志愿者在腰间佩戴智能手机,依靠智能手机中内置的IMU传感器(加速度计和陀螺仪)收集了他们的身体活动数据。UCIHAR数据集中包含6 种不同活动,包括步行、上楼、下楼、坐、站(10)立和平躺。其中2 1个志愿者的样本用于训练,并在训练集中取2 0%的样本作为验证集,9个志愿者的样本用于测试模型性能。实验使用Tens
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 IMU 传感器 深度 度量 学习 人体 行为 识别 算法
![提示](https://www.zixin.com.cn/images/bang_tan.gif)
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。