基于OpenPose与AT-STGCN的电力作业人员行为识别技术.pdf
《基于OpenPose与AT-STGCN的电力作业人员行为识别技术.pdf》由会员分享,可在线阅读,更多相关《基于OpenPose与AT-STGCN的电力作业人员行为识别技术.pdf(10页珍藏版)》请在咨信网上搜索。
1、第36卷第4期2023年8月Vol.36 No.4Aug.2023四川轻化工大学学报(自然科学版)Journal of Sichuan University of Science&Engineering(Natural Science Edition)收稿日期:2022-08-11基金项目:四川省科技成果转移转化示范项目(2022ZHCG0035);人工智能四川省重点实验室项目(2020RZY02;2021RYY04);企业信息化与物联网测控技术四川省高校重点实验室开放基金项目(2021WYY01);四川轻化工大学研究生创新基金项目(Y2021073)通信作者:陈明举(1982-),男,副教授
2、,博士,研究方向为图像处理,(E-mail)文章编号:20967543(2023)04006110DOI:10.11863/j.suse.2023.04.08基于OpenPose与AT-STGCN的电力作业人员行为识别技术王 鸿1,2,陈明举1,2,熊兴中1,2,张劲松1,2(1.四川轻化工大学自动化与信息工程学院,四川 宜宾 644000;2.人工智能四川省重点实验室,四川 宜宾 644000)摘 要:为实现复杂环境中作业现场人员的行为的智能识别,提出了一种OpenPose与AT-STGCN结合的作业人员行为识别算法。该网络首先采用OpenPose技术从视频帧中提取人体骨骼关键节点,并采用部
3、分亲和字段连接关键节点获得人体骨骼图,将时空注意力机制引入到时空图卷积网络中构建AT-STGCN模型,实现对人体骨骼图特征提取的能力,以提高人体动作识别精度。实验结果表明,本文构建的模型算法对电力作业人员的动作识别率达到97.70%,相比STGCN提高0.90%,且浮点运算数降低6.45 G,其整体指标优于其他算法,能实现对作业人员行为有效安全监控,具有一定的鲁棒性与泛化能力。关键词:时空图卷积;注意力机制;人体骨骼图;行为识别;电力作业人员中图分类号:TP391.4文献标志码:A引 言自电力系统问世以来,电力事故时有发生1。监管人员管理责任缺失及作业人员的安全意识不强为主要原因2-3。因此,
4、提升所有电力工作者的安全意识,保证工人安全成为亟需解决的重要问题4-5。当前机器视觉技术已应用于电力作业现场的检测中。刘莹旭等6利用智能安全帽实现对工人的实时定位、视频传输等功能,保障现场人员和电网设备的安全。朱建宝等7检测人体关键点并对变电站的安全区域标定,判断作业人员的双脚是否在标定区域内,确定作业人员是否处于安全状态。戴乔旭等8针对电力高空作业车的缺点,设计了一种高空作业车防撞预警系统。这些研究对穿戴、位置以及工器具状态等实现了识别,却未能实现对作业人员行为状态的识别。近年来,基于深度学习原理的人体姿态估计方法能有效提取人体骨架图,提高了检测的准确率9。多人姿态估计分为自顶向下和自底向上
5、两种10,前2023年8月四川轻化工大学学报(自然科学版)者先检测出每个人的位置,然后识别每个人的关键点进行姿态估计,相关模型主要有Mask R-CNN等;后者则先检测出人体的所有关节点位置,然后判断其是否属于同一个体,相关模型主要是 OpenPose。Emanuel11建立了基于单个图像或视频捕捉快照的人体动作识别系统,对比深度学习和传统算法分类器对人体动作识别分类,但仅是对简单的神经网络算法识别动作进行分析,且准确率较低。文献12通过OpenPose提取电力作业人员的骨骼图,利用深度神经网络实现工人的行为姿态感知,但计算量大,需要的特征数多。曾文献等13基于人体骨骼关键点信息,实现对士兵训
6、练视频的高效分类。由于人体骨架的多样性及肢体动作复杂性14,时空图卷积 网 络15(Spatial Temporal Graph Convolutional Networks,STGCN)采用图卷积对人体骨架特征提取,能 够 有 效 实 现 对 人 体 动 作 识 别。顾 嘉 晖16在STGCN 基础上提出了一种新的划分关节点分区策略,有效改善了训练模型的收敛性及稳定性。刘耀等17将STGCN应用在建筑工人不安全动作识别技术中,实现了对工人的动作实时识别。电力作业场景复杂,存在遮挡、干扰等因素的影响,上述算法在实际应用中识别的误差较大。为实现对电力作业现场工人行为的精确识别,采用OpenPos
7、e提取其骨架图,将时间和空间注意力机制融入到STGCN网络中构建融入注意力机制的时空图卷积网络(Attentiion Spatial Temporal Graph Convolutional Networks,AT-STGCN),以实现对工人的行为精确识别,防止作业现场安全事故的发生18。1 基于OpenPose与AT-STGCN识别网络1.1 电力作业人员行为识别整体网络设计本设计通过骨架提取与行为识别两个步骤实现对作业人员行为识别。OpenPose采用计算机视觉组(Visual Geometry Group,VGG)提取作业人员的特征,得到关键点及骨骼图。AT-STGCN网络引入的时空注意
8、力机制提高网络对时间维度和空间维度信息的提取,增强对时空特征有效地捕获。电力作业人员行为识别整体技术流程如图 1所示。首先,将作业视频帧图像输入OpenPose模型中,通过该算法提取得到电力作业人员的关节点位置及连接的骨骼图;然后,采用 AT-STGCN 网络对骨骼信息建模处理,在构建的骨架时空图上提取特征信息,进而对作业人员的行为进行识别。作业视频帧图像VGG特征提取骨架图提取置信图PCM亲和场PAFAT-STGCN动作识别输出电力作业人员动作Openpose算法图1 电力作业人员行为识别整体技术流程1.2 部分亲和字段的OpenPose骨架提取网络设计OpenPose 人体姿态估计采用自底
9、向上关键点检测方法19,完成从人体关键点检测到关节点与关节点之间的连接过程。OpenPose 的输入是一幅人体姿态的图像,输出是该算法检测到的所有人体的骨骼。人体骨骼图共提取18个关节,包括眼睛、鼻子、手臂和腿等,18个关键点如图2(a)所示,作业人员的人体骨骼关键点如图2(b)所示。62第36卷第4期王 鸿,等:基于OpenPose与AT-STGCN的电力作业人员行为识别技术0:鼻子1:脖颈2:左肩3:左肘4:左腕5:右肩6:右肘7:右腕8:左胯9:左膝10:左踝11:右跨12:右膝13:右踝14:左眼15:右眼16:左耳17:右耳(a)关键点序号(b)人体骨骼关键点图图2 关键点序号及人体
10、骨骼关键点OpenPose 模型分为两个阶段识别关键点20,图3所示为其模型结构图。第一阶段:VGG前10层为输入图像创建特征映射 F(feature map)。第二阶段:将第一阶段得到的特征图作为输入,包括二分支多阶段卷积神经网络迭代训练,其中一个分支输出为S的集合S=(S1,S2,Sn),预测关节点位置的一组 2D 置信图(Part Confidence Map,PCM);另一个分支输出为L的集合L=(L1,L2,Ln),预测部分亲和度的 2D矢量场,表示关节间的局部区域亲和力(Part Affinity Field,PAFs),如式(1)(2)所示:S1=1(F)L1=1(F)(1)St
11、=t(F,St-1,Lt-1),t 2Lt=t(F,St-1,Lt-1),t 2(2)其中,S1和St表示第一阶段和第t阶段的2D置信度;L1和Lt表示第一阶段和第 t阶段的 2D矢量场;t()表示PCM预测网络;t()表示PAFs的预测网络。VGA前10层提取特征特征提取网络人体姿态估计网络Stage1Stage t(t2)分支1分支2分支1分支2S1L1StLtlosslosslosslosshxwhxwhxwhxwPic33C33C33C33C77C77C77C77C77C11C11C77C77C77C77C77C11C11C11C11C33C33C33C33C11C11CF图3 Ope
12、nPose模型结构图OpenPose模型的每个阶段都是串行模块,通过多阶段的卷积神经网络的反复预测,实现渐进优化的过程,使得到的预测结果更加准确21。部位亲和场网络描述关键点之间的联系,保存位置和方向信息,如图4所示。L*c,k(p)表示为第k个人的肢干c是否位于在像素点p上,若存在,则该值为肢干c的单位向量v,反之为0。其公式为:632023年8月四川轻化工大学学报(自然科学版)L*c,k(p)=v,若第k人的肢体c位于p点0,其他 (3)v表示肢体方向上的单位向量,其表达式为:v=(xj2,k-xj1,k)xj2,k-xj1,k2(4)其中,xj1,k和xj2,k表示对于图中人物k的肢干c
13、,其身体节点j1和j2的真实位置,p点位于j1指向j2平面向量上,故点p的关节点亲和场值为j1和j2的向量和。VVXj1,kXj2,kP图4 OpenPose肢体亲和度计算计算出肢体上一个点的亲和度无法判断骨骼关键点连接的有效性,故通过计算相应的关键点连线上的积分来表示其取值,通过关节点对dj1和dj2之间的PAF判断关键点之前的连接是否正确22,若计算值结果越大,则表示与关键点连线方向一致性越高,关键点连接的可能性越高,如式(5)所示:E=u=0u=1Lc(p(u)dj1-dj2|dj2-dj12du(5)其中,dj1和dj2表示两个连续的像素点;而p(u)表示连续像素点之间的像素点,如式(
14、6)所示:p(u)=(1-u)dj1+dj2(6)1.3 基于注意力机制的 STGCN 的作业人员行为识别网络设计时空图卷积网络(STGCN)23-24首次将GCN网络应用于骨骼序列的行为动作识别任务中,其模型如图5所示。为了提高现有的基于骨骼的动作识别的算法精度,引入了一些包括邻接关节点的相连关系或者身体部位等空间结构信息,领接的关节点构成了一个自然的图结构,STGCN则利用这些图结构对动作识别分类。首先对原始的视频数据进行姿态估计得到人体骨骼点,代表每帧的骨骼连接,然后把相邻帧之间的同一关节连通成时间图,代表关节的行为轨迹,将空间和时间上的数据输入到多层STGCN中以提取到高层次的特征,得
15、到视频中人体动作的分类结果。姿态估计Softmax输入视频STGCNs动作分类图5 STGCN模型结构注意力机制(Attention Mechanism)是资源分配机制的数据处理方式,广泛使用在图像处理、自然语言处理等多类别的机器学习工作中,增强网络对特征信息的提取。在动作序列的时间维度上加入时间注意力机制,提取同一关节点在不同帧之间的时间信息,选取整个时间维度上更有代表性的重要帧,增强网络对时间运动信息的捕获。同样在空间维度上引入空间注意力机制,学习不同关节对当前空间特征的重要程度,提取空间维度上各关节点之间的相关联性,增强网络对节点信息的捕获。本文将时间和空间注意力相结合,进一步加强对骨骼
16、序列时空特征的提取。本文在STGCN的基础上融入时间和空间注意力机制,其网络结构由 9层时空图卷积组成。前 3层包括64个输出通道,中间有128个输出通道,最后3层有256个输出通道,且每一层都包括图卷积网络和时间卷积网络,AT-STGCN网络模型结构如图6所示。64第36卷第4期王 鸿,等:基于OpenPose与AT-STGCN的电力作业人员行为识别技术时间序列Input批归一化处理时空卷积模块最大池化层全连接层SoftmaxOutput分类结果时间注意力机制空间注意力机制ConvS-BN-ReluConvT-BN-DropoutRelu共9层时空卷积模块时空卷积模块图6 AT-STGCN网
17、络模型结构示意图2 实验分析2.1 实验环境及数据集本次实验在Windows系统下进行操作,采用深度学习的开源框架 Pytorch。通过调用 Python 环境下的各种学习包,对实验进行训练和测试,所用 软 件 为 Pycharm2019,采 用 python3.7 的 框 架。硬件环境:处理器 Intel(R)Core(TM)i7-10700 CPU2.90 GHz;运行内存为16.0 GB。近年来,随着人体行为动作识别算法的快速发展,各种动作数据集也相继公开,进一步推进动作识别算法的研究,促进了更多优秀的动作识别算法提出。本文基于骨骼动作识别算法采用NTU RGB+D公开数据集,其动作种类
18、多、应用范围广,满足在电力作业场景下作业人员的动作识别需求。数据集共包含 60 个种类的动作,有 56 880 个样本视频片段,使用3个不同角度的摄像机对目标采集包括深度信息、3D骨骼信息、RGB帧以及红外序列的数据形式,采用两种不同标准划分训练集和测试集:1)交叉对象X-Sub:按照实验对象划分训练集和测试集,其中训练集和测试集的视频样本数分别为 40 320和 16 560;2)交叉视觉 X-View:按照不同拍摄角度划分训练集和测试集,其中训练集和测试集的视频分别为相机1拍摄的18 960个样本和相机2、相机3拍摄的37 920个样本。2.2 骨骼图的构建Openpose是标注人体关节(
19、颈部、肩膀等)开源的关键点检测工具,将输入视频分割为多个帧,对每一帧进行关键点检测,并将其打包,用于后续操作。总的来说,视频的骨骼标注结果维数较高,在一个视频中,可能有很多帧,每个帧中,可能存在很多人,且每个人又有很多关节,包括不同的位置、置信度特征。人体骨架序列通常由每个帧中每个人体关节的2D或3D坐标表示。而人体骨骼图的表示可以分为两种:第一种是使用卷积网络对骨骼动作识别,串联所有关节的坐标向量,以形成每帧的单个特征向量;第二种是利用图卷积进行行为识别,通过时空图分层来表示骨骼序列。本研究采用第二种方式,在一个骨架序列上构造无序时空图G=(V,E),具有N个关节点和T帧骨骼序列,同时具有人
20、体的关节点、体内关节点自然连接组成的骨架边以及不同帧中相同关节点连接而成的时间边,即时间-空间图。在无序时空图中,节点集包括骨架序列中的所有关节,表示为V=|vtit=1,T;i=1,N。其中,N为人体关节点的总数,T代表帧数,vti由第t帧的第i个关节点上的(x,y)坐标位置和置信度组成,每个节点都包含一个特征向量。形式上,边缘集E由两个子集组成,即ES和EF,第一个子集ES=|vtivtj(i,j)H 描述每个帧的骨架内连接,其中H是 自 然 连 接 的 人 体 关 节 集;第 二 个 子 集EF=vtiv(t+1)i包含帧间边缘,连接相邻帧间的相同关节,对于关节点vti,连接所有EF则表
21、示该关节点的运动652023年8月四川轻化工大学学报(自然科学版)轨迹。首先根据人体结构的连通性,将一个框架内的关节与边缘连接,然后将每个关节连接到连续帧中的同一关节,即可在骨架序列上构建时空图,如图7所示。图7中圆点表示人体关键点,关键点之间的连线表示人体自然结构的连接。因此该设置中的连接自然定义,无需人工分配,使网络架构可以在具有不同关节数或关节连接的数据集上工作。图7 骨架序列的时空图2.3 时空图卷积的构建空间图卷积是指在单一帧内对图像进行的图卷积操作,但是对时间维度上没有作进一步的处理。网络中的时空图卷积由时空卷积和图卷积组成,其中图卷积的表达式如式(7)所示:fout(vti)=v
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 OpenPose AT STGCN 电力 作业 人员 行为 识别 技术
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。