基于高效时空图卷积的异常步态识别算法研究.pdf

生 物 医 学 工 程 研 究 ():./.国家重点研发计划资助项目()国家自然科学基金资助项目()通信作者:.基于高效时空图卷积的异常步态识别算法研究尹梓名姜艺喻洪流单新颖于龚瑶傅宇栋罗军(.上海理工大学 健康科学与工程学院上海.上海康复器械工程技术研究中心 上海.民政部神经功能信息与康复工程重点实验室上海.国家康复辅具研究中心北京.南昌大学第二附属医院 康复科南昌)摘要:为实现人体异常步态的自动识别本研究提出一种基于高效时空图卷积神经网络的异常步态识别算法使用两个 深度相机传感器提取人体三维骨架数据基于时空图卷积采用早期多分支融合策略生成关节、运动和骨骼三类特征经特征融合后使用两个时空图卷积块作为主流网络进行训练结合时空关节注意力机制增强模型鉴别能力 在两个公开数据集上测试分别取得了.和.的平均准确率实验结果高于其他基于骨架的图卷积神经网络方法 本研究提出的高效时空图卷积网络能有效鉴别异常步态有助于异常步态的早发现、早诊断和早治疗关键词:图卷积网络注意力机制异常步态识别深度相机人体骨架中图分类号:文献标志码:文章编号:()(.):.:引言异常步态通常由老年退行性疾病、神经系统疾病和肌肉骨骼疾病引起严重影响患者的日常生活 异常步态的分类诊断有助于医生确定患者潜在的疾病协助医生及早发现与治疗降低疾病对生物医学工程研究第 卷患者和家庭的影响 然而由于传统的步态分析方法大多依赖于临床医生的经验或繁琐的仪器测量导致诊断的主观性强、成本高、效率低难以在社区医院和家庭推广不利于疾病的早期发现 因此急需一种面向社区医院和家庭的低成本、易操作又能准确识别异常步态的可靠方法目前常用于人体步态分析的传感器有可穿戴和非可穿戴两类 相比于可穿戴传感器非穿戴式传感器作为一种非入侵式的测量工具可收集受试者最真实状态下的步态数据 足底压力传感器是用于步态分析的典型非穿戴式传感器当受试者在传感器上行走时通过测量每个承重传感器上的垂直压力值即可收集行走时准确的脚部压力但足底压力传感器成本较高难以应用于社区医院和家庭近几年微软先后推出了两款面向家庭的体感游戏设备 和 已在游戏领域获得广泛应用 作为一种深度相机其不仅能获得 数据还能获取每个像素的深度数据无需将传感器连接到身体上即可轻松获取人体 骨架数据同时 传感器捕获数据的准确性也已得到验证 的精度更是高于 和 提供的可获取人体骨架信息的开发工具包()加上人工智能算法的快速发展都为基于视觉的步态分析和异常步态识别提供了良好的软硬件基础和技术支持步态分析的传统方法一般为目测分析和使用可穿戴传感器(如三维动捕设备和惯性传感器)等 智能步态分析方法可分为机器学习和深度学习 一些研究基于异常步态的先验知识从人体 骨架数据中手工提取步态特征最早采用贝叶斯分类器和人工神经网络分类器从 中提取骨骼数据和计算步态特征来识别帕金森疾病但手工特征表达能力有限难以泛化且可能会丢失关键特征 深度学习技术如递归神经网络()和长短期记忆网络()在处理高维步态数据、自动提取数据特征等方面具有优异表现也显著提高了步态分析的性能 等比较了支持向量机()和 对异常步态识别的准确率发现直接输入骨架数据的 网络能有效地提高步态分类的准确率 等使用 网络提取手工特征和深度特征并将二者结合通过 来进行步态分类 等通过使用基于 的自动编码器从三维骨架中提取特征并通过分类器识别异常步态 然而由于人体骨架本质上是一系列非欧几里得图该类方法无法有效地学习到骨架关节中潜在的空间关系随着图卷积神经网络的发展基于骨架的动作识别算法在时空图卷积上有了更深入的研究 等提出的 建立了骨架序列在时间和空间上的特征提取模型和基于骨架的动作识别模型受 的启发大量的时空图卷积网络模型相继出现 等在 的基础上采用双流框架 使网络捕获的动作特征更加丰富但增加了网络计算量 等提出一种多尺度时空图卷积网络 可捕捉短程关节和远距离关节间的关系同时丰富了模型在时间和空间上的感受野 等提出的位移图卷积网络通过将位移操作加入到图卷积中不仅增大了模型的感受野还显著减少了模型复杂度 等提出了一种解开和统一图卷积网络采用解开多尺度图卷积的方法和 统一时空图卷积算子促进了跨空间和时间的直接动作信息交流实现了有效的特征学习 等提出了残差图卷积网络 采用早期融合多分支输入策略而非将多个模型进行融合减少了模型负担基于此本研究将高效时空图卷积 从人体动作识别领域应用到异常步态识别领域在 的基础上采取早期多分支融合策略显著减少了冗余的可训练参数 同时在每个卷积块中加入时空联合注意力模块 该注意力模块可联合处理空间和时间注意可在整个骨架序列中找到最重要的关节以增强模型的鉴别能力 最后分别在两个公开数据集上进行了实验得到的结果均优于其他图卷积网络和异常步态识别方法 方法.数据集本研究使用了两个基于骨架的步态评估公开数据集进行模型训练 第 期尹梓名等:基于高效时空图卷积的异常步态识别算法研究 骨架数据集:使用 个传感器分别放置在 长的步道两侧步道宽 同一侧的传感器之间间隔.骨架数据由每个传感器单独生成 当受试者与传感器之间的距离小于 时停止采集 名健康受试者在指南的指导下被要求模拟镇痛、僵硬、蹒跚、跨步和特伦德堡等 种病理步态 每位受试者、每种步态走 次最终包含 个步态数据 根据关节点数量该数据集简称为 图 正常步态和病理骨架步态.病理步态数据集:设置 长的步道步道尽头放置一台 传感器由 名健康男性参与数据收集观看病态步态的视频并训练后开始模拟镇痛、僵硬、蹒跚、跨步和特伦德堡等 种病理步态进行数据采集每个人每种步态走 次最终包含 个步态数据 根据关节点数量该数据集简称为 本研究的步态骨架数据见图 和 传感器所采集到的人体关节点见图 图 和 的采集点.实验设计所有实验均在具有一个 的 .深度学习框架上进行 使用随机梯度下降()优化器以端到端的方式训练模型 初始学习率设置为.并运行 个 批量大小()设置为 权重衰减设置为.每个输入数据由一个连续的 帧骨架组成不满 帧的骨架序列由 填充 总体实验流程见图 通过 收集步态数据从中获取人体骨骼关节点坐标对坐标数据进行多分支处理最后输入到网络进行训练得到最终的预测结果图 实验方法流程图.在模型训练过程中为得到更准确的结果实验中每个数据集都选择其中 名受试者的数据作为验证集进行交叉验证其余数据作为训练集 根据两个数据集不同的受试者人数 进行了 次交叉实验 进行了 次交叉实验最后计算交叉验证的平均准确度和其他评价指标.构建网络模型.数据预处理将人体三维骨骼数据经预处理后得到三类输入特征:关节位置、运动速度和骨骼特征假设原始 序列坐标集为 其中 分别表示输入坐标帧数和关节点数 相对关节位置集可表示为 )其中:()式中 为中心脊柱关节的索引 因此关节位置特生物医学工程研究第 卷征的输入由 和 联合组成运动速度特征集由快速运动 和慢动作 构成其中:()骨骼特征集包含关节长度 和关节角度 各关节点的长度和角度计算公式为:()式中 为 与 第 个 关 节 点 相 邻 的 节 点 为关节点的三维坐标点.构建模型 在获得关节、速度和骨骼三种类型的输入数据后与多流模型不同本研究在模型早期阶段融合三个输入分支并使用一个主流来提取鉴别特征见图 该结构不仅保留了丰富的输入特征而且减少了大量训练参数更易于训练图 模型结构图.输入分支由有序堆叠的一个批归一化层、一个由 层实现的用于将数据转为特征向量的初始化层以及两个用于信息特征提取的图卷积层组成 将三个输入分支得到的特征拼接后作为模型的输入特征经两个图卷积层输出 将输出特征经过全局平均和全连接层后得到最终的步态分类结果每个图卷积层由有序堆叠的一个空间图卷积、多个时间图卷积层和一个注意力模块组成 时间图卷积层的数量决定了图卷积的深度 本研究采用的注意力模块为 将帧数层和关节点层分别进行平均池化处理后变成的特征向量作为输入特征输入注意力模块再通过一个全连接层连接信息之后使用两个独立的全连接层分别获取到帧维度和关节点维度的注意力分数最后的结果可作为整个动作序列的注意力分数见图 其公式表达如下:()()()()式中和 分别表示输入和输出特征图表示连接操作和分别表示频域外积和元素乘积操作()和()分别表示在帧维度和关节点维度的平均池化操作()和 ()为两个激活函数 均为训练参数 实验结果与分析本研究使用两个数据集在模型上分别重复进行 次交叉实验每折交叉实验均进行 次取其平均值作为该次交叉验证的结果将所有交叉验证结果的平均值和标准差作为模型结果见表 最终在 数据集上 次实验的平均准确率达到了.在 数据集上 次实验的平均准确率达到了.由于每次交叉验证选取该数据集中单个试验者的步态数据作为验证集虽然因个体步态数据的不同导致在 数据集上第 和 次实验的结果与其他结果存在差异但对大部分数据和最终的平均准确率无影响并且在两个数据集上的单次最高准确率都达到了 本研究使用混淆矩阵来评估模型性能混淆矩阵显示了实际值与预测值间的差异 两个数据集上最大准确率和最小准确率的混淆矩阵见图 图()、()为 数据集上具有最大、最小准确 第 期尹梓名等:基于高效时空图卷积的异常步态识别算法研究图 模块结构.表 模型准确率 次数()().平均值.率的训练模型图()、()为 数据集上具有最大、最小准确率的训练模型 步态类别的标签为:正常步态镇痛步态 蹒跚步态跨步步态 僵硬步态特伦德伦堡步态表 数据集上训练模型的敏感性和特异性 类别敏感性()特异性().表 数据集上训练模型的敏感性和特异性 类别敏感性()特异性()根据混淆矩阵计算出各自的真阳性()、假阳性()、真阴性()和假阴性()表 和表 分别展示了两个数据集在最小准确率训练模型的敏感性(/()和特异性(/()结果可知在两个数据集上特伦德伦堡步态都常被误分为镇痛步态出现该情况的原因在于两种步态在临床表现上有一定相似性特伦德伦堡步态是由于髋关节外展机制异常所致臀肌组织肌无力会导致盆骨在行走时下垂致对侧身体躯干会向站立一侧倾斜而镇痛步态是由于下肢任何部位的疼痛导致的步态异常患者行走会减少患侧的站立时间且将躯干向健侧依靠因此这两种步态都存在步行站立期长、重心偏移的特点导致在模型分类结果上出现误差 而其他五种类别的步态敏感性和特异性均较高为证明本研究网络模型的有效性本研究还将骨架数据输入到基于图卷积骨架数据的模型中进行结果比较 表 为每个算法在两种数据集上的精度比较生物医学工程研究第 卷图 混淆矩阵比较.表 模型准确率比较 模型()().结论本研究利用深度相机传感器获取人体三维骨架数据使用深度学习图卷积网络算法进行训练提高了异常步态识别的准确率为临床自动步态分析和康复训练方案的制定奠定了基础本研究采用早期多分支融合技术将人体三维骨骼数据经预处理后得到关节位置、运动速度和骨骼特征三类输入特征 将三类特征融合后输入主流网络进行训练 为网络中每个卷积块增加了 模块在时间和空间维度均可捕捉到人体运动中最关键的节点 对比结果显示本研究所采用的 能更有效地对异常步态进行分类在两种数据集上的平均准确率分别达到了.和.均优于其他模型 但由结果分析可知模型对有些步态的分类还不够准确后续考虑对网络模型进行修改在多分支输入过程中增加一个重心特征或探索更适合异常步态的注意力模块 同时由于数据限制本研究识别的异常步态的类别有限后续将进一步与临床医院和康复中心合作收集真实患者的步态数据和更多类型的异常步态以提高分类的准确性参考文献 .:.():.杨敏费飞冷莹等.基于足底压力传感器的人体步态分析系统设计.传感器与微系统():.第 期尹梓名等:基于高效时空图卷积的异常步态识别算法研究 .:():.:.:.():.:.():./().:.():./().:.朱业安徐唯祎王睿等.偏瘫步态障碍的自动识别和分析.生物医学工程学杂志():.郭永亮卢健军冯重睿等.帕金森病患者慌张步态的三维步态分析.中国康复理论与实践 ():./.:.:.():.():.:.:.():./().:.():./().:./().:.:/.:.():.:.:.(收稿日期:)