基于骨骼关键点热图的异常行为识别.pdf
《基于骨骼关键点热图的异常行为识别.pdf》由会员分享,可在线阅读,更多相关《基于骨骼关键点热图的异常行为识别.pdf(4页珍藏版)》请在咨信网上搜索。
1、C o m m u n i c a t i o n&I n f o r m a t i o n T e c h n o l o g y N o.5.2 0 2 3通信与信息技术2 0 2 3 年第5 期(总第2 6 5 期)基于骨骼关键点热图的异常行为识别唐鑫,崔冬黎成都信息工程大学通信工程学院,四川成都6 1 0 2 0 0摘 要:人体骨骼关键点运动信息是人体行为的主要表现形式,其含有密集的行为信息,是处理异常行为识别最重要的方式之一。提出一种基于骨骼关键点热图的异常行为识别算法,沿着时间维度堆叠关键点的热图,通过较轻量的X 3 D 卷积网络,完成异常动作识别。在搭建的异常行为识别数据集中进
2、行测试,根据关键点数据的信息密度大但是却存在部分动作相似特点,改进损失函数,准确率为9 2.5?关键词:异常行为识别;3 D 卷积;关键点热图中图分类号:T P 3 9 1.4 1文献标识码:A文章编号:1 6 7 2-0 1 6 4(2 0 2 3)0 5-0 0 4 9-0 41 引言随着智能监控技术的兴起,智能视频分析技术快速成长,并通过引入人工智能算法可实现高性能的自动视频分类、目标检测跟踪等功能,这与“智慧城市”安全城市”的国家战略不谋而合,成为现代社会治安的有效辅助技术手段。诸如楼顶、河道等常见日常生活区域中难免存在着监控盲区,一些异常行为的发生将带来严重的后果,在第一时间发现这些
3、行为并加以劝阻很有必要。然而安排人员进行实时甄别监视会耗费大量公共资源,效率还低下。为了充分发挥特定行为识别技术的作用,可将机器学习方法应用于特定行为识别,效果快速准确。在楼顶、河道等场景下,应用异常行为识别技术能够完善所在区域的监控,节省人力并且提高精确度,尽可能及时地预警异常行为,防止意外发生。2 人体行为识别相关技术2.1 行为识别概述人体行为识别是通过模型识别图像中的人体关节点,进而对具体行为进行特征提取和分类,对于各个学科有重要的影响。被广泛应用于娱乐、医疗、安全防护和军事领域。人体行为识别可以表示为对图像进行采集后,找到人体在图像中的位置,并判断其各个关节的位置的过程,这也就是行为
4、识别的基础。目前常见的人体行为识别算法分为二维和三维。二维指的是在二维坐标中将人体骨骼关节点进行投影。三维指的是在三维坐标中将人体骨骼关节点投影。二维和三维人体行为识别算法的主要区别在于提取特征的方式和特征向量不同,但这两者的算法思路大同小异。基于二维人体骨骼信息的特征提取方法是通过姿态估计,获取人体关键部位的位置和状态信息,从而构建二维特征向量来描述人体行为。三维则是由深度传感硬件获取人体关键点的三维信息构建三维特征向量表征人体行为,相较于二维多了深度信息。人体行为的表现方式差距较大,因而特征提取以细分为整体表示和局部表示方法。整体表示代表的有轮廓剪影方式和人体关节点方式 2 ;局部表示的代
5、表有时空兴趣点方式和运动轨迹方式。传统的方法操作复杂且识别度不高,而采用基于深度学习的算法会自动提取和学习特征信息,经训练后实现对视频中的行为进行高精度的预测与分类。主流的有双流网络 3 、3 D 卷积神经网络、混合网络和基于骨架识别等也有良好的效果。2.2 基于3 D 卷积神经网络的算法因为C N N 网络在图像上取得了非常瞩目的成果,在分类和预测上的效果使其成为最为主流的网络之一。3 D C N N相比于2 D C N N 多了一个时间维度,多帧连续图像被卷积,3 D 卷积就是把一些帧沿着时间方向堆叠起来,随机提取特征。3 D C N N 优点在于提取时间特征和空间特征能力比其他网络更加地
6、强大。但是它的缺点在于其网络参数比二维卷积的更大,其结构更加复杂。在3 D C N N 的基础之上,D u T 等人甲提出经典的C 3 D 网络,C 3 D 网络在视频行为识别领域表现出优秀能力。他们发现R G B 视频帧序列由于分辨率较高,数据量大,直接提取它的深层特征不合适。通过改变三维卷积中不同层的卷积核的时间深度的方式,逼近最优解,最终他们认为3 3 3 的卷积核是最适合的。之后F a c e b o o k 公司提收稿日期:2 0 2 3 年2 月3 日;修回日期:2 0 2 3 年9 月2 日4 9通信与信息技术2 0 2 3 年第5 期(总第2 6 5 期)出的X 3 D 网络使
7、用了一个简单地逐步进行网络扩展方法,每一步只扩展一个维度,以实现准确度与复杂度的平衡 5 。将X 3 D 的复杂度扩展至一个目标程度,降低模型复杂度,减少资源需求量。3 基于骨骼关键点热图的异常行为识别网络3.1 从视频帧转换为热图以骨骼关键点序列作为输入,相较于R G B 输入数据量少,基于关键点序列,导致缺乏其他信息,识别准确率不高。针对该问题,采用信息量处于R G B 和关键点序列之间的关键点热图搭建行为识别模型,可有效提高识别的准确率。受限于摄像机和传感器的效果,当前的2 D 骨架信息的提取质量要好于3 D 骨架信息的提取质量,此处采用H R N e t 作为骨骼关键点信息提取网络,并
8、将得到的关节点信息(x k,y k,C x)的方式存储,其中(X k,y k)为关键点的坐标,C x 为置信度,也即得分,k 为1 7 个关节点。在检测关节点的过程中,关节点也即目标点很难准确地定义为某一个像素。目标点的真实值发生一点点偏移其实并不影响它还是一个目标点,如果发生了一点偏移就认为是为负样本,这样的训练方式可能给网络的训练带来干扰。因此如果将周围的点都算作目标点,用高斯函数划分出目标点和目标点周围点,那么网络也就更好收敛。因此对从视频帧中提取到的关键点信息(X k,Y k,C x)进行高斯处理生成热图,如图1 所示。生成的热图是一个高斯概率分布图,真正目标点视为中心值,它的最大值趋
9、近于1;目标点周围点的值离标定的目标点越远,概率值也就越小。为了平衡内存资源消耗和量化误差,h e a t m a p 的大小是输入大小的四分之一,真实坐标点/标注是=(y y),如公式(1)所示:(-4)2+(-w y)2K k i j =e(1)2 0 2*C k公式(1)中以每个关节点的中心坐标,将存储的关键点和置信度转换成为关节点高斯热图,是控制高斯映射的方差,(x k,y u)为关键点的坐标,C x 为置信度,然后将得到的热图沿着时间维度进行依次堆叠,得到T K H W,其中T 是时间维度,K 为关键点个数,T K H W 为帧热图的高度和宽度。高斯映射热图效果如图1 所示。3.2
10、均匀采样为进一步减小计算量,对视频帧进行均匀采样,将整个视频分为等分的N 段,从每一段中随机采取一帧,这样做可以平衡动作捕捉的细粒度和输入数据量。训练集的视频长度为4 6 秒的短视频裁剪片段,裁剪过细反而失去了采样的意义,同时又要保证动作捕捉得比较完善,所以这里将视频分为3 2 段,即T 为3 2。3.3 轻量的X 3 D 网络为保证网络的较低计算量同时利用卷积网络的强时空特征的提取能力,还因为热图数据已经是一个中级的特征信息,采用一个较为轻量的X 3 D 网络也可以达到较好的效果。其与C 3 D 网络的参数量对比如表1 所示:表1 X 3 D 网络和C 3 D 网络模型大小B a c k b
11、 o n eV a r i a n tF L O P sP a r a m sC 3 DC 3 DX 3 DX 3 DmSmS2 5.2 G1 6.8 G1.1 G0.6 G6.9 M3.4 M5 3 1 K2 4 1 K以均匀采用处理后沿着时间轴堆叠好的热图数据作为输入,也即:T K H W,3 2 1 7 5 6 5 6。4 模型训练和结果分析4.1 数据集和训练环境模型的训练集由自制和部分M M a c t 数据集构成:攀爬5 0 0 个、踢打9 0 0 个、跨步跳跃9 0 0 个、跌倒9 0 0、快速跑9 0 0个、投掷物品9 0 0 个等六类异常行为,如图2 所示。数据集总体上应满足
12、不同行为类型的样本数量分布合理,避免长尾效应,视频长度为4 6 秒的短视频小片段。典型的数据集图片如图2 所示。实验环境:6 4 位U b u n t u 1 8.0 4、i 5-1 0 4 0 0 F、1 6 G 内存、p y t o r c h 1.1 0、p y t h o n 3.7。(a)攀爬c l i m b(b)踢打k i c k i n g(c)跌倒f u l l(a)视频帧R G B 图像(b)视频帧关键点热图图1 高斯映射展示图(d)快速跑r u n n i n g (c)跨步跳跃j u m p i n g(1)投掷可疑物品t h r o w i n g图2 典型的数据集图
13、片实例5 0行业观察基于骨骼关键点热图的异常行为识别4.2 模型训练模型训练的收敛过程如图3 所示,从图3 中可以看出,模型在约2 0 0 0 0 i t e r 的时候已经收敛。ma naa s1a(a)模型t o p l _ a c c(b)模型损失函数图3 模型训练结果图对比于当前主流的S T G C N 的基于骨架关节点信息的网络,在数据集上与其做了对比,如表2 所示,从表中的数据可以看出相较于使用图卷积的S T G C N 网络,文中的模型在各类别的识别准确率上更高,但是也有问题,在跨步跳跃和快速跑两类的识别率偏低。表2 基于S T G C N 和基于热图的数据集上效果对比表基于S
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 骨骼 关键 点热图 异常 行为 识别
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。