基于混合注意力的轻量级偏瘫步态评估系统.pdf
《基于混合注意力的轻量级偏瘫步态评估系统.pdf》由会员分享,可在线阅读,更多相关《基于混合注意力的轻量级偏瘫步态评估系统.pdf(10页珍藏版)》请在咨信网上搜索。
1、基于混合注意力的轻量级偏瘫步态评估系统余炳威,赖舒婷,詹润源,郑坤升,周成菊,冯达钦,潘家辉(华南师范大学软件学院,佛山528225)通信作者:冯达钦,E-mail:摘要:脑卒中患者通常会出现偏瘫步态,而视觉式步态分析可以用于检测这些变化.然而,当前公开的病理步态数据集规模较小、缺乏对偏瘫严重程度的详细分级,并且传统的视觉式深度学习步态分析方法通常需要较高计算量和较大参数量,不适用于小规模病理步态数据集.本文设计了一款轻量级偏瘫步态评估系统.系统使用一种轻量级卷积神经网络(convolutionalneuralnetworks,CNN)来评估偏瘫步态表现.通过线性拼接不同尺度的分组卷积,低成本
2、地获得高效率特征.系统引入多维度混合的轻量级注意力模块来帮助 CNN 关注空间和通道维度上的显著特征,从而更好地平衡系统有效性与模型参数量.此外,本文还构建了一个专门用于步态识别的偏瘫模拟步态数据集,为模型训练和测试提供数据支撑.实验结果表明,系统的神经网络仅使用 VGG-191/53 的参数量,将步态识别准确率提高至 96.91%,高于预训练后的 VGG-19,与其他轻量化 SOTA 方法相比同样具有精度优势.系统的开发成本低,可部署于移动设备,并支持实时检测,为家庭式病理步态分析提供了一种可行的方案.关键词:卒中康复;步态分析;偏瘫数据集;轻量级神经网络引用格式:余炳威,赖舒婷,詹润源,郑
3、坤升,周成菊,冯达钦,潘家辉.基于混合注意力的轻量级偏瘫步态评估系统.计算机系统应用,2023,32(10):96105.http:/www.c-s- Lightweight Hemiplegic Gait Assessment SystemYUBing-Wei,LAIShu-Ting,ZHANRun-Yuan,ZHENGKun-Sheng,ZHOUCheng-Ju,FENGDa-Qin,PANJia-Hui(SchoolofSoftware,SouthChinaNormalUniversity,Foshan528225,China)Abstract:Strokepatientsoftenex
4、hibithemipareticgait,andvisualgaitanalysiscanbeappliedtodetectsuchchanges.However,publiclyavailablepathologicalgaitdatasetsaresmallinscaleandlackdetailedgradingofhemiplegiaseverity.Furthermore,state-of-the-artdeeplearningalgorithmsforgaitanalysisusuallyhaveahighneedforparametersizeandcomputationalco
5、mplexity,leadingtolowperformanceonsmall-scalepathologicalgaitdatasets.Toaddressthesechallenges,thisstudydesignsalightweighthemiplegicgaitrecognitionsystem.Thesystemutilizesanattention-basedlightweightconvolutionalneuralnetwork(CNN)toaccesshemiplegicgaitperformance.Bylinearsplicinggroupedconvolutiona
6、tdifferentscales,high-efficiencyfeaturescanbeobtainedatalowcost.Additionally,amultidimensionalhybridlightweightattentionmoduleisintroducedtoassistCNNinfocusingondistinctivefeaturesinbothspatialandchanneldimensions,achievingagoodbalancebetweensystemeffectivenessandlightweightdesign.Moreover,ahemipleg
7、icsimulationgaitdatasetisconstructed,specificallyforhemiplegicgaitrecognitiontosupportmodeltrainingandtesting.Theresultsdemonstratethattheproposednetworkthatusesonly1/53parametersofVGG-19improvestheaccuracyofgaitrecognitionto96.91%,whichishigherthanthatofpre-trainVGG-19.ComparedwithotherlightweightS
8、OTAmethods,italsohastheadvantageofaccuracy.Thesystemhaslowdevelopmentcostsandcanbedeployedonmobiledevices.Itsupportsreal-timedetection,providingafeasiblesolutionforhome-basedpathologicalgaitanalysis.Key words:strokerehabilitation;gaitanalysis;hemiplegiadataset;lightweightneuralnetwork计算机系统应用ISSN1003
9、-3254,CODENCSAOBNE-mail:ComputerSystems&Applications,2023,32(10):96105doi:10.15888/ki.csa.009260http:/www.c-s-中国科学院软件研究所版权所有.Tel:+86-10-62661041基金项目:国家自然科学基金(62076103);科技创新 2030 项目(2022ZD0208900)收稿时间:2023-03-24;修改时间:2023-04-27;采用时间:2023-05-06;csa 在线出版时间:2023-07-21CNKI 网络首发时间:2023-07-2196系统建设SystemCo
10、nstruction1引言脑卒中是全球性流行病之一,据 2019 年全球疾病负担研究(globalburdenofdiseasestudy,GBD)的数据统计,全球约 204 个国家和地区共有 1.01 亿例脑卒中患者,脑卒中造成 1.43 亿伤残调整生命(disabilityadjustedlifeyear,DALY)以及 655 万死亡病例1.脑卒中由脑血流堵塞或出血引起,在急性期过后产生偏瘫等后遗症,严重影响患者日常生活中的自理能力.然而,脑卒中康复是一个极其漫长的过程,需要大量的医疗和财力投入,为了减轻患者及其家属的负担,一个能够自动评估脑卒中严重程度以诊断中风恢复进展的低成本系统是非
11、常有必要的.由脑卒中引起的偏瘫,会导致行走功能障碍(也称偏瘫步态),并伴有痉挛和步态不平衡的症状2.通过观察患者步态特征,我们可以评估患者的康复进度.患者的步态信息采集一般有两种方式,分别是基于可穿戴设备的步态分析3和基于视觉的步态分析4.基于可穿戴设备的步态分析需要在人体的每个部位安装传感器,如加速度传感器(accelerator);而基于视觉的步态分析使用成像传感器捕捉步态数据,无需穿戴设备,减轻了患者采集过程中的体力负担,提高了患者的舒适度,便于患者居家完成诊断.为了实现一个可靠的基于视觉的步态评估系统,我们需要足够多样性的数据集和高效的分类算法.部分病理步态数据集是公开的,但由于病人的
12、隐私问题,大多数公开数据集收集到的步态是由健康受试者模拟的.其中,数据集 DAI5模拟了 1 种正常步态和 7 种不同肢体摆动幅度的异常步态.INIT、GAIT-IST和 GAIT-IT68模拟了 1 种正常步态和偏瘫、双瘫、神经退行性疾病及帕金森 4 种病理性步态.以上数据集中,受试者数量最大的8是 21,其他6,7均不超过 10,大多数现有的公开数据集受试者数量规模较小,且缺乏对偏瘫步态的详细严重程度分级.两个最相关的数据集 GAIT-IST7和 GAIT-IT8均提供了严重程度级别的样本,但没有进行严重程度分级的实验.基于视觉的步态分析算法主要可分为基于三维CNN 框架和基于二维 CNN
13、 框架.三维 CNN9,10在捕捉视频时空特征方面的有效性已被广泛证明,但由于参数过多,往往存在过拟合和收敛过慢的问题.基于二维 CNN 的算法缓解了三维 CNN 中参数量过大的问题,它可以根据输入模态进一步分为基于序列的方法11和基于模板的方法7,12.基于序列的方法将连续的人体姿态序列作为输入,利用 CNN 对其进行处理,从中提取步态特征并进行分类或识别.相对于基于序列的方法,基于模板的方法具有更紧凑的输入,在轻量化方面具有更大的优势.大多数基于模板的方法采用步态能量图像(gaitenergyimage,GEI)12提取步态特征,但GEI 容易受着装等多种协变因素的影响,留有许多无关信息;
14、相比之下,基于骨骼低维特征的骨骼能量图像(skeletonenergyimage,SEI)7可以避免这些影响,有效提取关键信息.综合以上分析,基于模板并将 SEI 作为算法输入的方法具有更大的优势.然而,在基于模板的方法中,Loureiro 等人7和 Verlekar 等人12的研究都使用 VGG-1913进行步态分析,算法仍然包含大量模型参数,在处理小规模病理数据集时存在过拟合的问题,从而导致分类精度低.一种解决方案是先在另一个大规模数据集上进行预训练,再使用病理数据集进行微调,然而该方案需要额外的时间进行预训练,并需要另一个相关的大规模数据集,训练成本和难度较高.针对上述问题,本文设计了一
15、个基于视觉自动评估偏瘫步态严重程度的轻量级系统,时延低且适用于处理小规模数据集.此外,本文构建了一个面向脑卒中康复评估的以步态图像序列形式组成的数据集.基于相关医学文献1419和对真实患者步态的观察,本文将偏瘫步态分为 3 个等级,这比现有的公开数据集更加详细合理,且受试数量为 14 人,大于目前大部分病理数据集.值得注意的是,本文还通过一个轻量级注意力模块将注意力机制引入病理步态分析,以帮助网络关注通道和空间维度中的关键特征.相较于 squeeze-and-excitation(SE)模块20和 convolutionalblockattentionmodule(CBAM)21两种流行的注意
16、力分配策略,本文提出的注意力模块在有效性和轻量化之间取得了良好的平衡,是实现病理步态分析的关键.2相关工作 2.1 轻量级深度学习架构传统的步态分析深度学习算法总是存在较高的计算复杂性,往往在小规模的病理数据集表现欠佳.轻量级体系结构是一种可选的解决方案.与传统的轻量级架构,如Inception22、SqueezeNet23对比,基于深度可分离卷积(depthwiseseparableconvolution)的轻量化策2023年第32卷第10期http:/www.c-s-计 算 机 系 统 应 用SystemConstruction系统建设97略在精度上更具优势,如 EfficientNet2
17、4、MobileNet25等.而 GhostNet26则使用与之相关的深度卷积(depth-wiseconvolution)进行改进,在模型的计算成本以及分类精度上达到了更好的平衡.深度可分离卷积主要包括深度卷积(depthwiseconvolution)和点卷积(point-wiseconvolution)两个过程,可以在保持有效的特征提取能力的同时降低卷积参数.深度卷积将输入的每个通道划分为独立的组,对每个组使用一个卷积核进行卷积,与普通卷积相比,其卷积核的通道数明显减小.点卷积指对深度卷积的结果进行 11 卷积,以弥补深度卷积造成的通道间相同空间位置信息交互的不足.GhostNet26中
18、的 GhostMoudle 在深度可分离卷积之前插入了一个普通卷积以提取输入的关键特征,再将输出与深度可分离的结果进行拼接,以提高精度,且没有显著增加计算成本.然而,GhostNet26的注意力机制只探究了通道维度上的注意,忽略了空间维度上的注意,而这是找出空间特征图中的关键区域的重要因素.Woo 等人21认为,空间注意力主要由池化操作和卷积操作组成,可以对空间域特征进行最大和平均池化操作,并将两个结果进行卷积操作,以此获得注意力权值.这种方法可以在不生成大量参数的情况下提取空间注意力.本文提出了基于 GhostNet26的网络框架,并对注意力模块进行了改进.2.2 注意力模块注意力机制可以让
19、网络从较少的相关信息中学会去关注部分关键的信息.根据不同的注意力领域,注意力可划分为空间、通道、时间、混合注意力等.对于图像,如在本文任务中使用的 SEI 或 GEI 则包含了空间和通道维度的注意力.一些具有代表性的通道注意力网络20,27,28以及由 squeeze-and-excitationnetwork(SENet)20提出的 SE 模块已被广泛应用于轻量级网络构建,如 GhostNet.SE 模块首先通过全局平均池化对信息通道维度进行压缩,然后通过两层全连接(FC)层学习通道间信息,最后通过非线性激活函数得到注意力权值分配.在这个模块中,两个 FC 层具有大量模型参数,使网络在轻量化
20、上并不理想.而 efficientchannelattention(ECA)模块28提出可以使用自适应一维卷积代替 FC 层,使网络更加轻量.具有混合通道和空间的注意力模块也可以提高模型的性能,如 CBAM21.因此,本文将在空间维度上引入轻量级通道注意力模块,以提高性能.3轻量级卒中评估方法在本节中,我们将展示部署在智能手机上的卒中步态评估系统.如图 1 所示,系统包含两个分支:基于 WiFi的远程系统和完全部署在智能手机上的本地系统.FilmingData acquistionPose estimationPre-processingPose estimationPre-processin
21、gClassficationClassficationGait assessment on serverGait assessment on smartphoneDisplayDisplayResultNeural network analysisNeural network analysis图 1面向智能手机端的步态评估系统框架图计 算 机 系 统 应 用http:/www.c-s-2023年第32卷第10期98系统建设SystemConstruction我们的远程系统以 APP 的形式部署,使用 WiFi,通过TCP/IP协议以及套接字技术,将智能手机摄像头记录的步态序列传输至部署了预处理
22、器和步态评估模型的桌面级设备,桌面级设备再对步态序列进行分析与加工,最后通过 WiFi 返回处理结果,APP 则通过 UI界面显示分析结果.相比于远程系统,本地系统采用轻量级姿态估计方法和轻量级神经网络以及TensorFlowLite 框架,无需额外的服务器和网络,便可完全在智能手机上实现步态序列的姿态估计、SEI 生成和神经网络分类 3 个过程.系统的两个分支均包含 3 个主要部分:步态数据的采集,预处理及分析.下面,我们首先阐述基于WiFi的远程系统,并在系统实现与性能分析部分进一步讨论本地系统.3.1 预处理在预处理阶段,本文首先利用人体姿态估计算法OpenPose29从输入的彩色图像序
23、列中提取骨骼.然后将图像大小裁剪并统一缩放成 224224 的分辨率,并使人物骨骼居中.最后,通过步态周期检测提取骨骼序列的单个步态周期,根据式(1)计算 SEI,其中 It(x,y)对应于单帧图像,N 为每个步态周期的图像数.预处理流程如图 2 所示.g(x,y)=1NNt=1It(x,y)(1)VideoCut&ResizeOpenPoseSEI式(1)Gait cycledetection图 2骨骼能量图像 SEI 生成过程 3.2 使用基于注意力的轻量级 CNN 进行分类传统的基于深度学习的病理步态分析方法使用小规模数据集训练高复杂度模型,导致高时延和过拟合.因此,本文设计了一种轻量级
24、网络,并进一步提出了一种注意力模块,以帮助网络关注提供更多信息的空间和通道特征,从而进一步提高分类精度.在多种轻量级的 CNN 算法中,GhostNet26在计算成本和准确率之间有着良好的平衡,被选为本文的baseline 算法.在 baseline 的基础上,本文提出的模型对注意力机制进行轻量化和维度混合的改进,即改进的GhostNet.如图 3 所示.22422412345678910111213141516outputConv2dG-neckG-neck with attentionFCSoftmaxBlock1Block2Block3Block4Block5图 3改进的 GhostNe
25、t 结构整个网络主要包含 5 个模块,每个模块包含数个Ghostbottleneck(G-neck).我们使用的 G-neck,如图 4所示,由我们提出的轻量级混合注意力(lightweighthybridattentionmodule)模块和 GhostModule 组成.GhostModuleGhostModuleGhostModuleGhostModuleLHAMLHAMDWConv(a)Bottleneck(Stride=1)(b)Bottleneck(Stride=2)图 4G-neck 模块G-neck 包含两种结构,不同之处在于其中一种包含一个额外的 DWCon(深度卷积),以实
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 混合 注意力 轻量级 偏瘫 步态 评估 系统
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。