基于HRNet的高效人体姿态估计算法.pdf

：引用格式：安胜彪，贾鹏园，白宇基于的高效人体姿态估计算法无线电工程，（）：，（）：基于的高效人体姿态估计算法安胜彪，贾鹏园，白宇（河北科技大学 信息科学与工程学院，河北 石家庄）摘要：高分辨率网络（，）因并行连接高分辨率卷积且在并行卷积中重复进行多尺度融合来维持高分辨率表示，弥补了重复上采样和下采样过程造成的信息损耗等问题而受到广泛研究。但该网络只选取最高分辨率特征表示作为输出，忽略了其他分辨率分支的特征，且对遮挡等原因产生的困难点的检测精度较低。为了提升网络对关节点定位的精度，提出了一种改进的网络模型（）。提出了一种结合注意力机制的特征融合方法，对各通道提取到的信息进行融合，提高了网络对关键点的提取精度；为了解决困难点检测精度不高等问题，在特征提取网络后添加调优模块并设计多级监督机制进行监督；为了减少坐标编解码过程中的误差损失，使用一种新的解码策略。实验结果表明，模型在和两个数据集上的精度分别达到了 和，比基线网络分别提高了 和，验证了模型的有效性。关键词：人体姿态估计；注意力机制；坐标编解码；困难点中图分类号：文献标志码：开放科学（资源服务）标识码（）：文 章 编 号：（），（，）：（），（），；，；，：；收稿日期：基金项目：国家自然科学基金（）；河北省自然科学基金（）：（）；（）引言人体姿态估计是计算机视觉领域的一个重要问题，解决这个问题是正确理解图像和视频中人类行为重要的一步。随着人体姿态估计方法的不断改进，其广泛应用在自动驾驶、视频监控、动作识别、和游戏行业等领域。目前的人体姿态算法可分为基于传统的方法和基于深度学习的方法。其中传统方法一般是基于图结构。最近基于深度神经网络的人体姿态估计取得了较大进展。按检测的不同，可分为单人姿态估计和多人姿态估计。信号与信息处理 年 无线电工程 第 卷 第 期 多人姿态估计又可分为自上而下和自底而上种估计方法。自底而上主要算法有、等。自上而下主要算法有、（）等。本文提出并设计了（）网络模型，该模型基于算法进行改进。首先在基础上添加一个带有极化自注意力（，）的双向特征金字塔模块（，），该模块通过给不同层赋予不同的权重来融合多分支信息，提升了网络的检测精度；随后构建了一个调优模块，该模块以作为基础模块，增强了网络模型对局部信息的提取能力，提高了网络对困难点的检测精度；接着，针对简单点和困难点不平衡问题，构建多级监督机制；最后，为了减少热图生成和转换过程中的误差问题，采取一种新的编解码策略，提升了网络的整体性能。算法概述 网络是中国科学技术大学和亚洲微软研究院在年研究出的人体姿态模型。与现有的大多数方法 从低分辨率表征中恢复高分辨率表征不同，并行连接高分辨率到低分辨率的子网，使用重复的多尺度融合，在整个网络过程中始终维持高分辨率的表示，其整体结构如图所示。图结构 以输入分辨率 为例进行说明。网络由个组成。由操作和层组成，操作由个步长为的普通卷积组成，层由个模块组成。主要对图片进行初步的信息提取，使分辨率降为输入图片的。在进入后续的个之前首先都要进行操作，该操作的目的是在原始分支的基础上，新增一个分辨率缩小倍、通道数增加倍的分支，以形成新。、分别由、个模块组成。每个模块在每个分辨率上由个组成，后续接着跨分辨率的单元。以为例，个分支分别通过个，接着进行分支之间的融合（）。具体融合方法如图所示。对于上采样操作，先经过一个卷积核为卷积层，接着使用邻近插值的方法来对齐通道数和扩大分辨率。对于下采样操作，它使用的卷积进行倍下采样，使用个的卷积进行倍下采样。网络最终以最高分辨率的分支作为输出。图融合方法 基于改进的人体姿态估计网络网络的结构如图所示。信号与信息处理 图结构 特征融合模块网络仅以最高分辨率分支作为最终的输出，即只保留了最高分辨率分支的特征，忽略了其他分支的特征，不利于网络精确地定位关键点的位置。为此提出带有注意力机制的特征融合模块。为了减少降低维度造成的损失，在特征融合模块降低通道数后加入注意力模块。结构如图所示。图结构 整体计算公式为：。（）第二分支中间节点的计算公式为：（）()。（）第二分支输出节点的计算公式为：（）()。（）此处以使用第二层的输入输出为例。是下采样或上采样操作；为了避免数值的不稳定，设置 ，为卷积运算，是权重参数，用于区分特征融合过程中不同特征的重要程度，是第二层的输入特征，是自上而下过程中生成的中间特征，是第二层的输出特征。其余三分支特征，均以相同方式构建。注意力机制由通道维度的自注意力分支和空间维度的自注意力分支组成。其原理是先在一个方向上对特征进行压缩，然后对损失的强度范围进行提升。具体可分为滤波和高动态范围（，）。其中，滤波的作用是使一个维度的特征（比如通道维度）完全坍塌，同时使正交方向的维度（比如空间维度）保持高分辨率。的原理是，首先在注意力模块中最小的上用函数来增加注意力的范围，然后再用函数进行动态的映射。注意力模块网络结构如图所示。信号与信息处理 年 无线电工程 第 卷 第 期 图注意力模块网络结构 由图可知，通道分支先使用卷积核为的卷积层将输入特征转换为了和，其中的通道完全被压缩，的通道仍然保持一个较高水平，接着使用对的信息进行增强，然后将和进行矩阵乘法，并在后面接上卷积和（）将通道上的维度升为。最后用函数使得所有参数都保持在 。空间分支原理和通道分支类似。重组形状为操作，可以将转换成指定的形状。调优模块随着网络训练时间的增加，网络训练过程中会倾向于简单点的训练而忽视由于遮挡等原因造成的困难点的训练，为此设计了一个调优模块。该模块由模块、上采样单元和模 块 组 成。其 中模 块 是 在基础上将两通路的相加操作用模块做了替换。上采样单元采用双线性上采样方法，使个分支变为相同的分辨率。为了生成高质量的热图，在调优模块后加入模块，该模块由卷积核为的转置卷积构成，经过该模块后的输出分辨率为输入分辨率的倍。针对简单点和困难点检测的难易程度不同，设计了多级监督机制，如图所示。模块如图所示。调优模块如图所示。图模块 图调优模块 误差模块热图大小往往比网络的输入要小，因此将热图上关键点的位置映射回原图像时会产生误差。为了信号与信息处理 进一步降低误差，此次实验采用中的编解码策略。对于解码，首先调整热度图使其符合高斯分布，接着通过计算每个热图的一阶导数和二阶导数来准确地揭示潜在的最大激活值。对于编码策略，以非量化位置为中心生成高斯热图。实验设置及结果分析 实验数据集本实验在和两个数据集上进行模型的训练与验证。数据集包含超过万张图片和万张人体实例标注。人体实例标注个关键点，其中号关键点是由其他关键点估计得出，并未标记。数据集的标注如表所示。表数据集的标注 标注号名称标注号名称鼻子右膝脖子右脚踝右肩左臀右肘左膝右手腕左脚踝左肩右眼左肘左眼左手腕右耳右臀左耳数据集来自视频，包含了广泛的人类活动和事件。它有 张场景图像和 张人体标注（其中 张标注用于训练集，张标注用于测试集），对每一个人体标注了个关键点。数据集的标注如表所示。表数据集的标注 标注号名称标注号名称右脚踝上颈部右膝头顶右臀右手腕左臀右肘左膝右肩续表标注号名称标注号名称左脚踝左肩骨盆左肘胸左手腕 标准物体关键点相似度（，）作为数据集的验证标准，具体实现如下：（）（）（），（）式中：为预测到的关键点坐标与其对应的真值关键点坐标之间的欧几里得距离，为目标尺度，为归一化因子，为真值关键点的可见性标志。标准正确关键点的百分比（，）是数据集中使用的人体关键点估计评价标准。定义为检测的关键点与其对应的间的归一化距离小于设定阈值的比例。，也就是设定的阈值是。归一化距离是关键点预测值与人工标注值的欧式距离。数据集以人体头部矩形框的左上点与右下点的欧式距离作为尺度因子，使用此尺度因子的姿态估计指标也称（）。实验设置本文实验环境使用 系统、显卡进行模型的训练及测试。数 据 集 的 图 片 输 入 大 小 设 置为 ，数据集的图片输入大小设置为 。选用优化器，初始学习率为，在、轮时分别降为 、。总训练轮数为。如无特殊说明，本文实验均在以上实验环境中进行。实验结果及分析在数据集中计算得到后，可得到以下度量标准：（）为平均准确率，、表示等于 和 时预测的准确率，为预测中等目标时的准确率，为预测大目标时的准确率，（）为平均召回率。不同方法在验证集上的实验结果如表所示。信号与信息处理 年 无线电工程 第 卷 第 期 表不同方法在验证集上的实验结果 方法参数量 本文 由表可知，本文所提方法相较于、和等网络在上分别提升了、和，相较于在上提升了。相比于基线方法，本文所提方法在和上分别提高了 和。从参数量角度出发，本文所提方法比基线方法增加了 。虽然模型的参数量和运算复杂度有所增加，但最终预测效果得到了较大提升。验证集中的数据包括个主要关节，分别为头（）、肩（）、肘部（）、手腕（）、臀部（）、膝盖（）和脚踝（）。不同方法在验证集上的实验结果如表所示。根据文献，造成这种小幅度提升的原因是数据集的准确率趋于饱和。表不同方法在验证集上的实验结果 方法 头肩肘部手腕臀部膝盖脚踝 本文 由表可以看出，本文模型相较于基准网络在各个关键点的定位上，均有一定的提升，综合提升了。相比于、，分别提升了、。消融实验针对数据集，对所加模块逐一进行消融实验。各个模块消融实验对比如表所示。首先，在加入带有注意力的特征融合模块，并将该结果记为，该结果在之后加入调优模块并使用多级监督策略，将该结果记为，该结果对比基线有了比较明显的提升；在基础上，加入后处理之后，将该结果记为最终的结果。总体较网络提升了，验证了设计的网络的有效性。表各个模块的消融实验对比 方法 头肩肘部手腕臀部膝盖脚踝 信号与信息处理 针对数据集，对特征融合模块中所加的注意力模块和调优模块进行消融实验。消融实验测试了和两个注意力模块，对于调优网络的设计，测试了是否使用多级监督机制种情况。注意力模块和调优模块的消融实验如表所示。基线定义为网络后面加入特征融合网络。表注意力模块和调优模块的消融实验 实验注意力机制调优模块非多级监督 多级监督 参数量 基线 一 二 三 四 五 六 由表可以看出，在使用特征融合模块和没有使用多级监督调优模块的基础上，使用和注意力模块使网络分别提升了 和；在使用特征融合模块和使用多级监督调优模块的基础上，使用和注意力模块使网络分别提升了 和，且所加注意力模块几乎在不增加计算量的基础上，提升了网络的性能，验证了注意力机制的作用。实验二比实验一提升了，实验四比实验三提升了，实验六比实验五提升了，证实了在调优模块后使用多级监督机制是必要的。可视化分析图给出了本文所提网络在数据集上的部分预测图，图中蓝色实心圆为预测的人体关键点位置。从图中可以看出，在不同光线或人物存在遮挡的情况下，网络仍能较好地检测出关键点的位置。这表明本文所提方法具有一定的鲁棒性，达到了预期的效果。图人体姿态估计检测效果 结论本文以为基础网络，结合特征融合模块、调优模块和编解码策略构建了网络。其中，特征融合模块通过给不同层赋予不同的权重，使网络更加关注重要的信息，实现了高效的多尺度融合。调优模块主要是针对困难点的检测。编解码策略减少了热图映射到原始图片空间过程中的误差。实验表明，相比其他一些网络取得了不错的效果。但如何在提高精度的前提下，降低网络的参数量仍是未来研究的重点。?参考文献贺莉，李慧萌，金庆凯，等健美操运动员高难度视频动作识别方法研究安阳工学院学报，（）：韩美林基于神经网络的体育视频关键姿态检测商洛学院学报，（）：，（）：许常蕾，王庆，陈洪，等基于体感交互的仿上肢采摘机器人系统设计与仿真农业工程学报，（）：，：，：信号与信息处理 年 无线电工程 第 卷 第 期 ，（）：，：，：，：，：，：，（）：，：，：，：，：，：，：，：，：，：，（）：，：，：（）：，：，：，：，：，：，：，：，：，：，：，（）：，（）：，：（）：，（）：，：，：，：（）：，：作者简介安胜彪男，（），硕士，副教授。主要研究方向：集成电子系统和集成电路。贾鹏园女，（），硕士研究生。主要研究方向：深度学习、计算机视觉。白宇男，（），博士，讲师。主要研究方向：信息物理系统（）、同步系统、深度学习、基于模型的系统设计和形式化方法。信号与信息处理