一种基于Involution卷积的三维人体重建方法.pdf

收稿日期:基金项目:北京市社会科学基金一般项目()北京市自然科学基金青年基金项目()第一作者简介:童立靖()男博士副教授主要从事数字图像处理、计算机视觉的研究通信作者:张成智()男硕士研究生主要从事计算机视觉的研究文章编号:():././.一种基于 卷积的三维人体重建方法童立靖张成智(北方工业大学 信息学院北京)摘要:针对从视频中恢复三维人体模型运动序列时由于图像特征提取能力有限而导致三维人体模型运动序列重建效果不佳的问题提出了一种基于 卷积的三维人体重建方法 首先为了引入自注意力机制在 网络结构中加入 算子获取视频图像帧的特征向量然后使用姿态估计网络和形状估计网络获取人体姿势以及形状参数最后使用蒙皮多人线性模型()生成三维人体模型的运动序列 在三维姿态户外数据集()上与视频人体姿态形状估计推理()方法以及时间一致性网格恢复()方法进行对比实验平均精度相比于、分别提升了.、能够为运动捕捉、三维人体动画制作等工作提供更为准确的三维人体模型关键词:三维人体姿态估计视频序列 算子中图分类号:文献标志码:():.()()().:在虚拟现实、人体运动捕捉、人体运动的理解与分析等领域从视频中恢复三维人体模型运动序列是一个重要的基础问题三维人体运动序列的恢复精度对于画面中人体的真实感、人体行为理解等问题具有关键作用随着深度学习理论与技术的发展从视频中估计三维人体运动姿势与形状且基于参数化人体模型进行三维人体重建取得了较大的研究进展 等提出了端到端可训练的人体网格恢复系统使用对抗损失并对标准 模型进行初始化通过循环回归迭代的方式来输出相应的三维人体网格 李健等使用 模型重构三维人体 王辉等使用 和长短时记忆网络来预测三维人体 叶俊等使用时空多特征融合的方式来估计三维人体姿态该方法利用了姿势序列信息 等通过 关节第 卷第 期 湖北民族大学学报(自然科学版).年 月 ().热图来预测参数化人体模型 参数 等通过图像分割的方式来分割人体部位然后回归 参数的信息 等根据单视角 信息以端到端的方式重建三维人体 特别是 等、等通过扩展 来从视频中恢复 姿态和形状参数以计算一致的身体形状和平滑的运动 上述端到端的方法在.室内数据集上取得了较好的效果但在 数据集上表现效果不佳 为了提高在野外数据集上的效果 等提出了 方法该方法利用双向门控循环单元()将输入帧中的静态特征编码为时间特征并将其输入 参数回归器 引入 个运动鉴别器从而让回归器产生合理的三维人体运动类似的方法在定性结果上还是会受到时间的影响 等提出了一种波位预测模块该模块在时间编码器 的基础上增加了 个编码过去和未来的 特征以防止网络过度依赖当前帧从而产生更平滑的效果 他们还去掉了卷积神经网络()提取的输入静态特征和 生成的时间特征之间的残差结构 上述方法都是输入视频序列提取图像特征经过姿态以及形状估计最后通过 参数化人体模型输出对应的三维人体运动序列 所优化的部分是在卷积神经网络提取完图像中人体的特征之后利用帧与帧之间的相关信息或使用生成式对抗网络生成较为连续的三维人体模型以上方法主要是使用 提取图像特征但由于传统 做卷积运算时通道数和卷积核的乘积代表卷积操作的输出每 个卷积核对应 个通道而通道数往往数百甚至上千所以为了限制参数量和计算量的规模一般取 的小卷积核做卷积运算 这样的卷积核做图像特征提取时有时难以提取图像中大视野范围内的图像特征限制了深度学习网络的图像特征提取能力从而不利于三维人体运动序列的恢复 论文基于 网络结构引入自注意力机制提出了一种基于 卷积的三维人体重建方法能够根据图像输入动态生成不同大小的卷积核从而提高了图像特征提取的能力图 卷积原理.()标准人体模板()形状变化()姿态变化图 参数化人体建模.相关技术.算子 算子能够完成一种新型的卷积操作利用输入数据的内在关系灵活地学习不同位置之间的空间特异性关系这种空间特异性的优势使得 卷积可以更好地处理不同位置之间的信息交互从而提高模型的表现力 卷积核的生成公式如式()所示:()()式()中 是坐标()邻域的 个索引集合 为线性变换函数为对应的 卷积核表示特征图上包含 的某个图像块其卷积原理如图 所示图 中左半部分表示 卷积核的生成过程由 经过 变为 然后重塑尺寸为 右半部分为获得 卷积核后生成新特征图的过程 首先 核与原特征图中的当前像素 邻域的像素逐个相乘然后在 个通道上重复此操作最终获得 的三维矩阵 将三维矩阵中的宽、高二维进行求和操作保留通道维度得到新的特征图的向量就可以一次性生成 个像素位置的 个通道的值.技术 是一种参数化人体模型由姿态参数 和形状参数 组成可以进行人体建模工作 由姿态参数控制模型姿态的变化形状参数控制体型的变化人体建模过程如图 所示 其中图()为 模型标准人体模板图()为改变形状参数情况下三维人体建模效果图()为改变姿态参数后人体姿态的变化第 期 童立靖等:一种基于 卷积的三维人体重建方法 基于 卷积的三维人体重建方法.系统总体框架基于 卷积的三维人体重建方法主要由 部分组成:基于 卷积的图像特征提取、基于多层 的姿态估计网络、基于 回归器()的形状估计网络以及基于 的参数化三维人体建模其总体框架结构如图 所示图 基于 卷积的三维人体重建框架.图 瓶颈模块结构.由图 可知对于 帧图像的视频序列(为各图像帧)将其输入姿态估计网络其中 是 加入 卷积的深度学习网络用来提取图像特征向量 为门控循环单元的神经网络针对输入的多帧向量 计算帧与帧之间的潜在向量 将 与 同时输入形状估计网络经过 提取多维特征向量并输入到 回归器计算人体姿势与形状参数 和 最后使用 参数化人体模型根据 和 来重构人体姿势与形状输出三维人体网格模型的运动序列.图像帧特征向量的提取对于给定的图像序列帧 为了给 单元输入其对应的特征向量 论文使用了 深度学习网络并引入了自注意力机制 算子其具体步骤如下:)图像降维 对于输入的大小为 图像帧序列 首先经过卷积核为、步长为 的卷积操作然后进行池化核为、步长为 的最大池化操作进行下采样得到了尺寸为 的特征图)图像特征提取 对于得到的尺寸为 的特征图使用 个共享参数的残差块()进行特征提取在每个残差块内部包含多个瓶颈()结构以缩减特征通道维度并减少计算量 为了提高所提取特征向量的有效性在瓶颈模块结构中引入了自注意力机制 算子其模块结构如图 所示由图 可知对于输入的特征图序列首先进行 的卷积操作降低输入特征图的维度 第 层为 卷积操作对于第 层卷积操作的输出特征图进行 卷积提取图像特征输出的特征图为()()()()()式()中()表示输出张量的第 行、第 列和第 个通道的值 和 表示卷积核在特征图上的偏移量表示每个位置上输入特征图的数量()表示卷积核在位置()和通道 上的权重用于计算输出特征图中位置()和通道 的值()()表示输入特征图在位置()()和通道 上的值第 层为 卷积操作对于第 层 卷积操作的输出特征图进行 卷积操作进行升维将通道数增加到原来的 倍 经过第 层卷积后输出的特征图可以反映更高层次的特征信息瓶颈模块第 个卷积层使用了可逆 卷积算子 传统 使用 的小卷积核小卷积核的空间跨度限制剥夺了卷积核在不同空间位置上适应不同视觉模式的能力且多个通道数对应的卷积核之间会存在计算冗余 相对卷积来说使用 卷积可以捕捉长距离视觉的特征关系更好地从长序列的视频中重建三维人体运动序列)特征向量的输出 经过残差块处理后的特征图使用全局平均池化层进行池化操作 该层将特征图划分为若干块每块的大小为 对于每块特征图求解其中所有元素的平均值并将这个平均值作为块的代表值使用所有代表值组成 个一维向量作为全局平均池化层的输出 此向量即为整个特征图的特征 湖北民族大学学报(自然科学版)第 卷向量它反映了此帧图像的特征信息.基于 的三维运动序列重建基于.节得到的图像特征向量为了生成对应的三维人体运动序列需要进行三维人体姿势与形状参数生成、三维人体网格模型生成.三维人体姿势与形状参数生成 使用了一种三维人体姿势估计网络来获取人体姿态信息 对于输入的视频序列帧使用基于 卷积的 网络提取图像特征向量 并将其输入到 单元构成隐藏层有 个神经元的双层循环神经网络 单元用于捕捉视频序列中的时序信息其基于前一图像帧为当前图像帧生成 个潜在的特征向量 为了迭代地优化 进行运动序列恢复时所需要的 和 参数将姿势估计网络的 与 输入给形状估计网络该网络使用 回归进行 和 参数的提取 回归器由 个全连接层组成每 层有个神经元输出的是包含姿势、形状和相机参数的 维向量 其使用当前姿态估计和当前形状估计来预测形状残差即计算当前形状估计与真实形状之间的差异 然后将该残差添加到当前形状估计中得到 个新的形状估计对每一时刻的 人体模型参数进行回归最终输出 需要的 和 参数 在 回归器的每一次迭代中将当前的 和 参数与图像特征向量 作为整体进行输入然后在每次回归中计算每帧图像所对应的姿势和形状参数.三维人体网格运动序列生成 输入视频序列每一帧图像都有相应的三维人体网格与之对应最终连续的三维人体网格组成了三维人体运动序列 为了重构三维人体网格首先使用形状与姿势参数对三维人体标准模板 进行重构如式()所示:()()()()式()中:()为 的函数用以调节人体的形状 函数()作用在 上表现为体型的变化()的计算如式()所示:()()式()中 表示形状系数的个数为 的参数矩阵式()中()为 的函数用以调节关节位置以重构姿态:()()()()式()中函数 的作用是将关节位置的欧拉旋转角转换成旋转矩阵的形式:是姿态混合形状参数矩阵是顶点偏移向量考虑到关节点位置受到形状的影响引入权重矩阵 来根据模板上顶点的定位求取关节点位置如式()所示:()()()最终三维人体模型重构公式为()()()()式()中 是线性蒙皮()函数:为蒙皮权重.三维人体运动重建损失函数使用基于 卷积的三维人体重建方法目标是通过提取到的图像帧特征向量生成姿势与形状参数对三维人体标准模板进行重构得到精确的三维人体运动序列 为了提高三维人体运动序列的重建精度在用所提出方法进行训练时其损失函数如式()所示:()式()中 为人体运动序列重构的总体损失函数由、共同组成 其中为 姿态损失通过计算带有噪声的二维姿态和预测的 姿态 之间的欧氏距离得出所有帧的总和:()为二维关键点损失通过计算预测出来的二维姿态 和带有噪声的二维姿态之间的欧氏距离得出所第 期 童立靖等:一种基于 卷积的三维人体重建方法 有帧的总和:()为所有帧的人体姿态与形状参数损失总和通过计算预测出来的姿态、形状参数、和真实人体所对应 模型的姿势、形状参数、之间的欧氏距离:()参数 为三维人体模型形状参数 因为视频中的人没有变化从视频中恢复的参数 也保持不变 因此在损失函数中参数 不需要对 求和 参数 为人体姿势参数由于不同帧中人体姿势的变化不同的帧有不同的值 在损失函数中参数 必须对 求和 的第 项 是 模型的形状参数 与预测的形状参数 之间的欧氏距离此距离越小表示预测的形状越接近实际形状 对应的正则化惩罚用来约束形状参数的取值范围以避免因形状参数取值过大或过小而产生过拟合 类似地的第 项是每帧的 姿态参数 和预测的姿态参数之间的欧氏距离这个距离越小表示预测的姿态越接近实际姿态对应的正则化惩罚用来约束姿态参数的取值范围以避免姿态参数取值过大或过小而产生过拟合表 所提出方法与、在 数据集上的建模误差对比.模型/像素/像素/像素.卷积人体建模.表 不同模型的运行时间对比.实验分组 模型运行时间/模型运行时间/所提出方法运行时间/.平均值.实验结果与分析.数据集及实验环境为了验证所提出方法的有效性在 数据集上进行了三维人体运动序列的重构实验并与、方法进行了比较 实验所使用的图形工作站配置如下:操作系统为 服务器 为 服务器 为 为 显存为 版本号为.深度学习框架为基于 的.评价指标实验所使用的评价指标为平均关节点误差()、平均关节点重建误差()以及平均网格顶点误差()为三维人体姿态估计算法常用的精度评价技术指标定义为预测关键点位置和真实位置之间的平均欧式距离)由于 受全局旋转的影响较大在性能评价时往往也同时使用 即先对网络预测的关键点进行刚性变换(平移、旋转和缩放)与真实位置对齐后再计算与真实位置之间的平均欧氏距离)为真实网格顶点和作为 层输出的预测网格顶点之间的欧式距离.实验结果.对比性实验为了验证基于 卷积的三维人体重建方法的有效性分别与、方法进行了对比性实验 所提出方法与、在 数据集上的建模误差对比如表 所示 对于给定的运动序列以及所提出方法与、的对比实验效果展示如图 所示 随机抽取 组实验的运行时间对比如表 所示由表 可知基于 卷积的三维人体重建方法与 相比、误差指标分别下降约.、.、.平均精度提升约.与 相比误差指标分别降低约.、.、.平均精度提升约.湖北民族大学学报(自然科学版)第 卷()运动序列()移除 卷积()保留 卷积图 消融实验效果对比.由图 可知所提出方法能够取得较好的运动拟合度 第 行运动序列建模结果所提出方法在人脸位置与腿部位置较 模型更为准确而 模型的建模结果中手臂过于上翘第 行运动序列建模结果所提出方法的手部位置较、更接近真实位置第 行运动序列建模结果 模型的头部位置以及 的肩部位置与实际情况的贴合度均不如所提出方法第 行运动序列建模结果 模型的手臂内扣而所提出方法建模效果较好()运动序列()()()卷积人体建模图 人体建模效果对比.由表 可知所提出方法与、方法运行时间相近略高于 低于 相比而言 方法重建的三维人体模型运动序列精度略差但运行时间较短所提出方法尽管和 相比时间略长但能够产生更加精确的建模结果.消融实验为了评估所提出三维人体重建方法中 卷积的有效性对网络模型进行了消融实验 移除 卷积与保留 卷积时所提出方法在 数据集上的三维人体重建误差如表 所示实验效果对比如图 所示 由表 可知保留 卷积后三维人体建模误差(、)比移除 卷积时平均降低约.由图 可知第、行建模结果的手臂部分第 行建模结果的的腿部以及第 行建模结果的脸部均显示了更好的建模效果证明 卷积确实能够提升三维人体建模的效果 但同时保留 卷积相比完全第 期 童立靖等:一种基于 卷积的三维人体重建方法 移除 卷积也会带来约.的运行时间额外开销表 消融实验的误差对比.模型/像素/像素/像素移除 卷积.保留 卷积.结论论文提出了一种基于 卷积的三维人体运动序列重建方法从视频中估计三维人体网格将 卷积应用到三维人体运动序列的生成中 算子在卷积层提取特征时能捕捉大视野范围的图像特征所提出方法能够根据视频中的图像帧信息更加精确地重建三维人体运动序列 论文基于 深度学习框架进行了针对运动序列的三维人体重建实验验证了该方法的可行性与有效性 后期将在提高算法实时性方面开展更进一步地研究参考文献:王仕宸黄凯陈志刚等.深度学习的 人体姿态估计综述.计算机科学与探索():.:.():.:/.:.李健马蓉蓉韩超远等.基于 模型的人体姿态与形状重构算法.陕西科技大学学报():.王辉丁铂栩宋佳豪等.基于 和长短时记忆网络的三维人体动作预测.计算机应用(增刊):.叶俊张云.基于时空多特征融合网络的 人体姿态估计.光电子激光():./.:.:/().:./().:.:.():./.:./().:./().:./.:./.:.责任编辑:高 林 湖北民族大学学报(自然科学版)第 卷