一种多网融合的分阶段考生行为识别检测算法.pdf

引用格式：王林，田晨光一种多网融合的分阶段考生行为识别检测算法 J.微电子学与计算机，2023，40（9）：45-54WANGL，TIAN C G.A phased behavior recognition and detection algorithm based on multi-network fusionJ.Microelectronics&Computer，2023，40（9）：45-54.DOI：10.19304/J.ISSN1000-7180.2022.0691一种多网融合的分阶段考生行为识别检测算法王林，田晨光（西安理工大学 自动化与信息工程学院,陕西 西安 710048）摘要：针对现有考场考生行为识别存在检测范围小、识别准确率不高的问题,提出了一种多网融合的考生行为识别检测算法.考生定位采用轻量化检测网络 Yolov4-Tiny 并对其进行改进.首先,在主干部分嵌入通道空间双注意力机制 CBAM,解决了考场中考生小目标和遮挡目标难以识别的问题.其次,在特征提取后引入 PPM 金字塔池化结构,能够提高网络获取全局信息的能力.然后,将改进后的网络融入 Alphapose 人体姿态估计模型提取出考生的骨骼关键点坐标信息.最后,通过时空图卷积神经网络 ST-GCN 进行行为分类.实验表明,通过迁移学习的方式在数据集NTU-RGB+D 得到预训练模型,最终在考生行为数据集上对 4 类行为识别的平均准确率达到了 94.6%,能够有效的完成考场中考生的行为识别检测任务.关键词：目标检测；人体姿态估计；行为识别；时空图卷积；迁移学习中图分类号：TP391.4 文献标识码：A 文章编号：1000-7180（2023）09-0045-10A phased behavior recognition and detection algorithm based onmulti-network fusionWANG Lin，TIAN Chenguang（School of Automation and Information Engineering,Xian University of Technology,Xian 710048,China）Abstract：Aiming at the problems of small detection range and low recognition accuracy in the existing examineebehavior recognition in the examination room,a multi network fusion algorithm for examinee behavior recognition isproposed.The lightweight detection network Yolov4 Tiny is selected and improved for candidate positioning.First,channelspace dual attention mechanism CBAM is embedded in the trunk,which solves the problem of difficult identification ofsmall targets and occluded targets in the examination room.Secondly,the introduction of PPM pyramid pool structure afterfeature extraction can improve the networks ability to obtain global information.Then the improved network is integratedinto the Alphapose human posture estimation model to extract the coordinate information of the examinees skeleton keypoints,and finally the behavior classification is carried out through the space-time map convolution neural network ST-GCN.The experiment shows that the pre training model is obtained in the data set NTU-RGB+D by means of transferlearning,and the average accuracy rate of four types of behavior recognition on the examinees behavior data set finallyreaches 94.6%,which can effectively complete the examinees behavior recognition and detection task in the examinationroom.Key words：Object detection；Human pose estimation；Behavior recognition；Spatiotemporal graph convolutional；The migration study 收稿日期：2022-11-02；修回日期：2023-01-09基金项目：陕西省科技计划重点项目（2017ZDCXL-GY-05-03）40 卷 第 9 期微 电 子 学 与 计 算 机http:/Vol.40No.92023 年 9 月MICROELECTRONICS&COMPUTERSeptember 2023 1引言近年来,无论高考还是研究生考试,考生数量呈现急剧式增加,考试竞争压力越来越大,而考试的公平公正尤为重要.在各种考试环境中,考场上总会发生各种异常行为,而这些异常行为的出现就会打破考试的公平公正.目前大多数学校的考试都是通过人工监考的方式实现的,不仅要使用大量的监考人员,同时会出现监考不严谨的问题.在智能化技术不断发展的今天,校园也越来越智能化,面对高校考试监考技术的多样化,把计算机智能监控技术应用于校园内,通过智能化的设备实现考场内考生行为的识别,这大大的提高了考试的质量以及在一定程度上能够提高考生的自觉性.目前,针对考场行为检测识别国内已经有学者研究,文献 1 对于考场行为检测引用了混合高斯模型和肤色分割检测的方法,通过混合高斯模型提取考生运动前景目标,结合肤色分割识别脸部手部区域判断考生异常行为.文献 2 是在文献 1 的基础上将肤色检测换成了发色检测,通过设定阈值判断考生异常行为,所提方法能检测考场中 90%以上的异常行为.文献 3 提出了基于目标检测和肤色检测相结合的行为检测模型,异常行为检测通过运动历史图像的运动连通域,能够很好的识别视频监控下考场异常行为.但是以上文献算法对于考生轮廓细节难以捕捉,以及识别算法对于遮挡考生识别效果不佳.文献 4采用了深度学习的方法,将考试监控视频分割成单帧图像信息,然后用 SSD 算法代替 YOLO 算法进行目标分类,能够准确的检测出考生的各种行为.文献 5基于深度学习算法将 SSD 算法轻量化并结合 Yolov3目标检测网络进行考场行为识别工作.以上基于深度学习算法都是对 RGB 图片进行考生行为识别检测,图片数据标注比较困难以及不能够考虑都工作的时序性,在识别考生行为方面鲁棒性比较差.文献 6 通过头部运动分析来实现考场异常行为识别.采用 2D运动估计器以及 3D 头部姿态估计器通过设定阈值实现了考场异常行为检测.文献 7 对在线考试作弊行为进行了检测,结合了头部姿态估计屏幕注视点以及嘴部状态能够有效的检测到考生的作弊行为.基于头部姿态检测模型容易受到视频角度的约束,对于真实考场环境识别检测效果并不理想.文献 8 采用了人体姿势估计模型 Openpose.通过摄像头计算臀部与头部的比例来检测学生是否回头作弊,但是该系统仅适用于每个摄像头观察的一名学生,不适合考场多名考生检测任务.文献 9 采用 Openpose 骨架模型提取学生的骨架,然后自制了一个 10 层的神经网络进行分类识别,能够有效的识别到课堂上学生的行为.文献 10 提出了一种基于 Openpose 的异常行为方法,利用 Openpose 人体姿态模型提取出考生的骨架图,采用坐标阈值法以及卷积神经网络方法对比了试验结果,能够有效的对考场中考生的行为进行识别.文献 11 提出了一种基于骨骼关键点检测学生行为的方法,通过 Openpose 提取学生的骨架坐标,计算骨架关节点之间的角度和距离来识别学生课堂行为.文献 12 采用人体姿态估计模型通过在考试过程中不断验证学生的头部姿势和手部运动状况,来检测学生是否作弊.该系统检测作弊的准确率达到 92%97%.对于考场行为识别,考生在发生异常行为时通常是一段连续的动作,基于人体姿态估计算法模型识别考生作弊行为采用了阈值判断方法或者是基于骨骼图进行识别,并没有考虑时序上的动作信息,在识别考生行为时鲁棒性并不理想.针对以上参考文献针对考场考生行为检测识别存在检测范围小、算法适应性不足的问题.本文提出了一种多网络相融合的考生行为识别算法.把改进的 Yolov4-Tiny 网络融入到 Alphapose 人体姿态估计模型中,利用 Alphapose 提取出考生骨架关键点坐标信息,最后将骨架关键点坐标构建骨架时空图送入到时空图卷积网络 ST-GCN 中进行行为识别分类.最终通过迁移学习得到的模型在自定义的考生行为数据集上进行实验训练验证,能够有效的识别到考场中考生的异常行为.2算法原理本文主要分为三个部分.第一步为了降低目标检测算法的结构复杂度,首先采用了改进的 yolov4-tiny 检测算法对考场中的考生进行准确的定位,生成考生的人体候选框；第二部将提取到的考生候选框送入 Alphapose 人体姿态识别模型中提取出考生的关节点坐标位置信息；最后将提取到的坐标向量送入时空图卷积网络中进行行为分类识别.整体算法流程图如图 1 所示.2.1改进 Yolov4-Tiny 人体检测网络Yolov4-Tiny 网 络 是 一 种 轻 量 化 模 型,是 在Yolov413网络的基础上对模型的参数进行了压缩,从而使得网络模型检测的速度有很大的提升.本文首先是对考场内的考生进行目标检测,考场内的摄像头46微电子学与计算机2023 年一般是放在固定的位置,能够捕获到所有的考生.但是考生距离摄像头的远近不同,就会出现后排考生目标小并且可能会出现遮挡问题.所以本文应对考场环境特点以及面临的问题对 Yolov4-Tiny 网络进行的改进,能够有效的解决以上问题,改进的整体网络结构如图 2 所示.2.1.1引入 CBAM 注意力机制Yolov4-Tiny 的主干特征提取,没有对提取的特征进行仔细的筛选,对于小目标以及部分遮挡目标信息会产生部分的忽略.在 Yolov4-Tiny 的主干部分引入注意力机制模块,能够对感兴趣区域的特征数据进行权重加权,能够有效的提高网络关注重点区域,从而解决小目标和遮挡目标难以识别的问题.本文在Yolov4-Tiny 的 CSPBlock 中引入了空间通道双注意力机制模块 CBAM,构建了 CBAM-CSPBlock 模块.CBAM14注意力机制是由通道注意力(CAM)和空间注意力(SAM)两个模块构成,结构如图 3 所示.根据输入的特征图分别经过 CAM 和 SAM,能够得到通道和空间维度上的信息权重,在特征提取阶段能够提高特征在通道和空间上的联系,从而能够很好的提取到目标的有效特征.通道注意力（CAM）主要是通过在不同通道上对特征提取的内容进行建模并将特征图像从空间层次上进行压缩.另外,对传入的特征图通过池化方法操作聚合特征图映射的空间信息,然后再输入到一个感知机网络中并获得通道注意力权重,再经过归一化函数获取两个经过压缩的注意力权重,最后进行求和逐通道加权到原始特征图上.计算公式如公式(1)所示：Mc(F)=(MLP(AvgPool(F)+MLP(MaxPool(F)=(w1(w0(Fcavg)+w1(w0(Fcmax)（1）式中,F 表示输入的特征图,表示激活函数.空间注意力（SAM）是对通道进行压缩,把初始特征图上的像素点信息转换到别的空间中,而且预留了原始图片中的主要的信息.通道注意力得到的特征图通过两个池化操作得到空间注意力特征,通过计算像素点信息的权重,保留重要的像素点信息,实现了 输入视频流改进 yolov4-tiny考生检测网络是否检测到考生?Alphapose 人体姿态估计模型ST-GCN(时空图卷积神经网络)行为识别正常举手左右扭头传递纸条图1整体算法流程图Fig.1 overall algorithm flow chart Input(416416,3)CBL(208208,32)CBL(104104,64)CBAM_CSPBlock(5252,128)CBAM_CSPBlock(2626,256)CBAM_CSPBlock(1313,512)33 conv33 convAvgPool2D(11)AvgPool2D(22)AvgPool2D(33)AvgPool2D(66)1x1 convCBLConv+UpSamplingConcatCBLCBLYolo headYolo head2626n(5+n)1313n(5+n)CBLConv2DBNLeaky-ReLUCBAM_CSPBlockCBLCBLCBLConcatCBAMCBLCBAM_CSPDarknet53-TinyPPMConcat图2改进后的 Yolov4-Tiny 整体网络结构图Fig.2 Improved Yolov4-Tiny overall network structure diagram第 9 期王林，等：一种多网融合的分阶段考生行为识别检测算法47 空间特征选择和融合的功能.计算公式如公式(2)所示：Ms(F)=(f77(AvgPool(F);MaxPool(F)（2）f77式中表示卷积核的大小.2.1.2引入 PPM 池化结构通过主干网络进行特征提取,其网络会越来越深,就会导致提取的特征的感受野存在一些偏差,从而会导致网络不能很好的融合全局的特征,因此提取到的特征就会丢失一些细节信息.在主干网络后引入了金字塔池化模块 PPM15.结构如图 4 所示.Input33 convAvgPool2D(11)AvgPool2D(22)AvgPool2D(33)AvgPool2D(66)33 convOutput11 conv图 4PPM 池化结构Fig.4 PPM pooling structurePPM 池化结构采用了 11,22,33,66 四种不同的金字塔池化尺度用于传入高级语义信息,能够将高层丰富的信息映射到低层特征上.将特征图池化到目标尺寸,利用 11 conv 将池化后的结果进行通道压缩,压缩为原来通道的四分之一,然后将原特征图和上采样的结果进行级联融合.最后将融合的不同区域的有效上下文信息输入检测头,采用 PPM 池化结构可以提高网络获取全局信息的能力,增强弱小遮挡目标的表征能力并且不会带来性能的损失.2.2Alphapose 人体姿态估计Alphapose16是上海交通大学团队提出的一种多人姿态估计框架.该框架解决了边界框定位错误和产生检测框冗余两个问题.Alphapose 首先采用Yolov3-spp 作为人体目标检测网络,提取出人体候选框.然后将提取到的候选框送入一种附加在单人姿态估计(SPPE)上的对称变空间换网络(SSTN)上,该网络包括两部分：空间变换网络(STN)和逆空间变换网络(SDTN).STN 是使输入的图片在训练阶段直接自动选择感兴趣的区域特征,比如检测图片中的人体,STN 就会使图片中的人体位置居中.SDTN 将单人姿态估计出的人体姿态线和图片反向变换到输入图像中.并行的 SPPE 判断人体姿态的中心点是否在人体检测框的中心,不在中心就返回较大误差,进而达到优化 STN 的目的.它只存在于训练阶段,在测试阶段没有并行 SPPE.针对产生的人体检测框出现冗 Input featureCAMSAMBefinedfeature最大池化平均池化MLPSigmoid最大池化平均池化Concat33 ConvSigmoidC1WC1WC1WC1WC1WC1WC1(W+1)C1WMsMc图3CBAM 注意力机制模块Fig.3 CBAM attention mechanism module48微电子学与计算机2023 年余现象,提出了一种参数化姿态非极大抑制.通过姿态距离和空间距离消除多余的姿态,从而提高人体姿态估计的精度.为了增加样本数量提出了一种姿态引导区域框生成器(PGPG)可以很好的训练网络.Alphapose 在 COCO 数据集上输出 17 个关键点坐标,其对于遮挡的部分不检测关键点,考生在考试过程中下半身腿部都被课桌遮挡,可以忽略不计,所以我们在研究考生异常行为时只考虑考生上半身的动作,只提取考生的上半身骨架关键点,采用 Alphapose姿态估计模型提取考生上半身中鼻子、左右眼睛、左右耳朵、颈部、左右肩膀、左右手肘、左右手腕十二个关键点坐标位置,利用各个关键点之间的联系构成连线.构建了如图 5 所示的人体姿态骨架图.68101142013579图 5考生人体姿态骨架图Fig.5 Skeleton diagram of examinees body posture 2.3时空图卷积神经网络的考生行为识别模型考生在考场中出现异常行为的时候其身体骨架通常包含了大量的人体关键信息,考生出现异常行为往往是短时间内做出的一系列动作,时空图卷积是在图卷积网络的基础上融合了空间域信息,是一种适用于骨骼关键点动作识别的算法.Gs=(Vs,Es)Vs=Vti|i=1,2,NsEs=VijVij|(i,j)HF(Vti)GT=(VT,ET)VT=Vti|t=1,2,NtET=VijV(t+l)时空图卷积首先需要构建骨骼空间图结构,图结构中包含了 N 个关节点和 T 帧的输入视频片段.为骨骼中全部的关节点序列.主要是每个关节点之间通过边进行连接.同时每个节点上都有一个特征向量,该向量表示不同时间下每个关节点的状态,里面包含了关节点的坐标以及置信度.时间图卷积则是结合空间上的信息,考虑不同时间每个关节点的动作连线.可表示为.表示不同帧相同关节点连接的序列,表示相同关节点之间的所形成的边.在进行空间图卷积的时候,将空间图分为了三个不同的子集：唯一划分、按照距离划分、按照节点与中心的距离划分,三种划分方法表达了不同的空间动作特征尺度.时空图卷积神经网络ST-GCN17首先通过Alpha-pose 姿态估计模型提取出考场中考生的骨架关键点坐标.以骨架坐标向量为输入,构造出考生的骨架序列图结构,将骨架序列图通过 9 层 ST-GCN 卷积模块提取更深层次的特征,最后采用 SoftMax 分类器得到对应的动作分类概率.模型整体流程图如图 6 所示.时空图卷积神经网络的损失函数采用交叉熵损失函数,公式为：L=Mc=1yclog（Pc）（3）ycPc式中,M、c 分别为行为类别和类别数量.表示真实标签,值为 1 时为正标签,值为 0 时为负标签.为每类行为的分类概率值.骨架序列图构建拓扑图ST-GCN动作分类结果BNATTGCNTCNPoolFCx9ATT 注意力机制GCN 空间图卷积TCN 时间图卷积图 6ST-GCN 模型结构流程图Fig.6 Flow chart of ST-GCN model structure 3实验 3.1实验环境配置本文软硬件实验环境如表 1 所示.表 1 环境配置Tab.1 Environment configuration名称环境配置操作系统CentOS 7.0处理器AMD Ryzen 7 5800 H with Radeon Graphics显卡GeForce GTX1080Ti(x4),11 G深度学习框架CUDA11.4、Anconda 4.10.1、Pytorch 1.10.1、python3.7 3.2数据集制作对于考生目标检测阶段,考场内考生都是只显示上半身,因此我们制作了的数据集只包含考生的上半身,对考生的上半身进行检测.本文对自行拍摄的考场视频以及从网上找到的一些考场监控视频片段进行处理,将视频截取成帧图片,图片大小尺寸统一为416416,对图片中的考生进行了标注,考虑到训练数据的平衡性,对图片进行了筛选,制作了考生目标检测数据集 Stu-exam,总共 10 000 张图片,来完成本文第 9 期王林，等：一种多网融合的分阶段考生行为识别检测算法49 考生目标检测任务.考生行为数据集,为了获得大量的行为数据集,本文模拟了考试现场,在不同教室内对于考场内容易发生的异常行为进行了拍摄.选取了 7 名同学作为研究对象,模拟了考场中常见的几种行为如正常考试、举手、左右扭头、传递纸条四种行为进行识别.针对每种行为采集了 50 组视频,对视频进行处理,通过姿态估计模型得到视频中每帧的考生的关节点坐标信息.生成的是一个 json 文件,文件中数据的后面会有一个标签,针对每种行为打上对应的标签文件,最后制作了考生行为数据集.3.3评价指标本文在对考生目标检测方面,为了验证所提算法的效果,本文算法采用检测帧率(FPS)和平均精确度均值(mAP)两个指标.FPS 为检测模型的速度,mAP为模型分类中的类别的 AP 均值,AP 值的大小表示该模型的识别准确率越高.对于考生异常行为检测,采用的评价指标为检测准确率(Acc),准确率公式如公式(4)：Acc=TP+TNTP+FN+FP+TN（4）TP(真正例)为模型能够正确的识别到各种异常行为的次数,FP(误报例)表示模型错误的识别到各类异常行为的次数,FN(漏报率)表示模型错误的把正常行为分类为异常行为,TN(真反例)表示模型正确的检测到正常行为.3.4实验结果分析 3.4.1考生人体检测模型实验对比对考场内考生进行目标检测定位,将常见的目标检测算法和本文改进的算法模型进行了实验结果对比,实验在自制的数据集 Stu-exam 上进行,训练集、验证集和测试集按照 622 进行划分,总共训练了 150 个 epoch,Batch_size 为 16,最小学习率为 1e-3,优化策略采用 SGD.实验结果如表 2 所示.表 2 考生目标检测对比实验Tab.2 Examinee target detection contrast test目标检测模型平均精确度/%(mAP)模型大小/MB帧率/(frame/s)Yolov3-spp87.663.036Yolov3-Tiny79.333.186Yolov4-Tiny82.622.5124改进Yolov4-Tiny87.426.398为了验证考生人体检测模型的性能,将改进后的 Yolov4-Tiny 与其他目标检测模型进行实验对比.通过表 2 可以看出改进后的 Yolov4-Tiny 网络模型较模型 Yolov3-spp 网络 mAP 降低了 0.2%,检测速度由 36 frame/s 提升到 98 frame/s,虽检测精度略有下降,但是检测的速度却大大提升.改进后的 Yolov4-Tiny 网络较改进前的 Yolov4-Tiny 网络模型检测精度提升了 4.8%,与 Yolov3-Tiny 轻量化网络对比,模型大小有所减小,检测精度提高了 8.1%,检测帧率提升了 12 frame/s.经对比改进后的网络能够满足考生的快速精准检测,为接下来考生异常行为识别做准备.3.4.2时空图卷积网络行为识别结果对于自己采集的考场考生行为数据集样本少以及训练困难的问题,本文通过迁移学习的方法,从相似领域中训练出来的模型应用在考生行为识别方法上面,从而能够提高模型的泛化能力.经过实验研究,时空图卷积在大型骨架数据集 NTU+RGB-D18上有着较好的性能.NTU+RGB-D 数据集中有两种类别的数据集 CS 和 CV,分别表示跨动作和跨视角,该数据集包括 60 类行为,该数据集中存在几种与考场考生行为类似的动作行为,比如阅读和写作可以当作考场中正常的考试行为,挥手的动作与举手的行为相类似,摇头的动作与考场中左右扭头的行为相类似.考生行为数据集是通过摄像头拍摄模拟了考生考试行为,首先通过在 NTU+RGB-D 数据集的训练基础之上进行迁移学习,然后把预训练模型应用于考生行为数据集上进行验证,以此实现考场考生行为识别检测.训练时设置批量大小为 16,50 个 epoch,开始学习率设置为 0.1,训练优化器为 SGD,模型训练的精确度和损失函数如图 7 所示.图中展示了模型在 NTU-RGB+D 数据集上的精度图和损失图,从图中可以看出模型在该数据集上的精度分别达到了 85.8%(CS)和 89.0%(CV).最后将经过训练好的模型经过迁移学习应用在考生行为数据集中进行实验验证,主要是通过对模型进行微调,最后在考生行为数据集上验证得到的实验结果如表 3 所示.表 3 中实验结果采用混淆矩阵的方式来表示,结果表明该模型在考生行为数据集上对每种行为的分类精确度都达到了 92%以上,每种行为的样本数为430 个样本,其中举手行为的识别准确率最高达到了96.7%,因为举手在考试过程中动作非常明显,能够很好的识别出这一类行为.对于左右扭头和传递纸条50微电子学与计算机2023 年这两类行为,在考场中该类动作幅度比较小,发生该动作比较快速,该模型识别这两类行为的准确率分别为 93.3%和 92.6%.通过实验结果可以看出本文所提模型在考生行为识别方面能够达到一个较好的识别效果,4 类行为在测试集上的平均识别准确率达到了94.6%.为了体现本文所提模型性能的好坏,本文算法模型与以往文献中有相似的考生异常行为识别算法模型进行了实验对比,如图表 4 所示.由于每种行为识别方法中所定义的行为不尽相同,所以有个别的行为没有识别结果.通过表的对比结果,可以发现文中所提算法的行为检测效果优于其他文献中所采用的算法.文献 3 中传递纸条行为识别准确率高于本文算法,是由于文献 3 中采用运动历史图来识别这类行为,很容易识别到动作幅度大的行为,但是不适用于考场中动作比较小的这类行为.文献 9 通过人体姿态结合自制神经网络识别学生行为,自制的神经网络存在训练困难,在识别行为时不能达到一个很好的鲁棒性,泛化能力不足.文献 11 采用骨骼坐标阈值法识别举手行为其识别准确率为 95.1%,但是其算法很容易出现误检的情况,比如考生存在摸头行为也容易被误检为举手行为.而本文算法识别举手行为准确率达到了 96.7%,考虑到动作的时序性,误检率大大降低.从实验结果可以看出本文所提算法在考生行为识别方面有更好的识别效果,能够达到更好的鲁棒性.表 4 考生行为识别对比实验Tab.4 Comparative test of examinee behavior recognition文献正常举手左右扭头传递纸条文献30.912-0.9001.00文献90.9180.8460.929-文献110.8630.951-Ours0.9580.9670.9330.926 为了突出本文模型算法的可靠性,改进前后的人体检测网络的可视化结果对比图如图 8、9 所示.从 010203040500.00.20.40.60.81.0CSCVEpochACC0246810Loss10020304050CSCVEpoch图7NTU-RGB+D 数据集上训练精度和损失图Fig.7 Training accuracy and loss maps on theNTU-RGB+D dataset(a)(b)图8改进前 Yolov4-Tiny 网络Fig.8 Improved former Yolov4-Tiny network(a)(b)图9改进后 Yolov4-Tiny 网络Fig.9 Improved Yolov4-Tiny network 表 3 考生行为识别实验结果Tab.3 Test results of examinee behavior recognition预测标签真实标签正常举手左右扭头传递纸条正常41291012举手241620左右扭头10040120传递纸条6516398Acc/%0.9580.9670.9330.926第 9 期王林，等：一种多网融合的分阶段考生行为识别检测算法51 图中可以看出改进前的人体检测网络在识别存在遮挡考生的时候会出现一个候选框同时检测到很多人的问题如图 8(a).或者对于遮挡的考生出现漏检的情况,如图 8(b),而改进后的人体检测网络能够准确的检测到全部的考生,并且可以达到一个高的检测精度,如图 9 中的(a)、(b).验证了本文通过改进的Yolov4-Tiny 人体检测算法能够更快更准确的识别考生目标.考生行为识别可视化结果如图 10 所示,图 10中(1)(9)分别展示了通过时空图卷积网络对考生不同行为分类的结果帧.图中(1)(3)为考生在考试过程中出现探头、扭头的结果帧,图中(4)(6)为考生出现传递纸条的行为,图中(7)(9)为考生举手行为识别结果,在面对多名考生的情况下,选出了动作幅度最明显的两个人进行行为识别.从不同行为的不同结果帧可以看出本文定义的四种考生行为通过本文所提的算法能够进行正确的分类识别,证明了本文所提算法的准确性、可靠性,可以实现对考生行为的检测任务.Original videoAttention+Prediction(1)Frame.13(2)Frame.43(3)Frame.78(4)Frame.14(5)Frame.29(6)Frame.45(7)Frame.8(8)Frame.35(9)Frame.120Original videoTwist a headNormalNormalNormalNormalNormalHand upTwist a headTwist a headAttention+PredictionOriginal videoAttention+PredictionOriginal videoAttention+PredictionOriginal videoAttention+PredictionOriginal videoAttention+PredictionOriginal videoAttention+PredictionOriginal videoAttention+PredictionOriginal videoAttention+PredictionNormalNormalNormalDelivery noteDelivery noteDelivery note图 10考生行为识别可视化结果图Fig.10 Student behavior recognition visualization results 4结束语针对以往的考场考生行为检测算法存在算法检测范围小以及识别准确度不高的问题,提出了一种多网络相融合的分阶段考生行为识别检测算法,首先在考生定位模块采用轻量化人体检测网络 Yolov4-Tiny,通过在网络主干中加入通道空间注意力机制以及引入金字塔池化结构 PPM,使得改进后的网络能够更52微电子学与计算机2023 年快更准确的对考生进行定位.对定位到的考生通过Alphapose 姿态估计模型提取考生的骨架关键点坐标送入时空图卷积神经网络进行分类识别.实验表明通过迁移学习的方式在考生行为数据集测试集上平均准确率达到 94.6%,相对于现有的算法模型在检测精度上有所提升,并且本文算法是端到端的训练,训练方式较其他算法更加方便.但是本文算法所采用的数据集是模拟的考场行为,可能与真实考场环境中考生的各种行为种类存在一定差别,未来会加入更多的考生行为种类进行识别,以达到更加真实考场环境的检测,帮助监考老师快速完成决策.参考文献：刘鸾.基于图像分析的考场视频监视系统分析与研究D.成都:西南交通大学,2014.LIU L.The analysis and research of video monitoringsystem based on image analysis in the test sceneD.Chengdu:Southwest Jiaotong University,2014.1 雷宇辉.基于视频监控的考场异常行为识别方法及实现D.成都:成都理工大学,2019.DOI:10.26986/ki.gcdlc.2019.000908.LEI Y H.Method and implementation of abnormal beha-vior recognition in examination room based on video sur-veillanceD.Chengdu:Chengdu University of Techno-logy,2019.DOI:10.26986/ki.gcdlc.2019.000908.2 洪钟.基于视频监控的考场异常行为检测方法研究与实现D.北京:北京邮电大学,2019.HONG Z.Research and implementation of detectionmethod for abnormal behavior of examination based onvideo surveillanceD.Beijing:Beijing University ofPosts and Telecommunications,2019.3 白皓.基于深度学习的考场智能视觉监控系统D.北京:北京邮电大学,2018.BAI H.The system of intelligent visual invigilating videobased on deep learningD.Beijing:Beijing Universityof Posts and Telecommunications,2018.4 付康.基于深度学习的考试异常行为识别研究及应用D.荆州:长江大学,2020.DOI:10.26981/ki.gjhsc.2020.000177.FU K.Research and application of examination abnor-mal behavior recognition based on deep learningD.Jingzhou:Yangtze University,2020.DOI:10.26981/ki.gjhsc.2020.000177.5 李永恒.基于头部运动分析的考场内异常行为检测D.长春:长春理工大学,2018.LI Y H.Abnormal behavior detection based on headmovement analyze in examination roomD.Changchun:6Changchun University of Science and Technology,2018.HU S B,JIA X,FU Y L.Research on abnormal behaviordetection of online examination based on image informa-tionC/2018 10th International Conference on Intelli-gent Human-Machine Systems and Cybernetics(IHMSC).Hangzhou:IEEE,2018:88-91.DOI:10.1109/IHMSC.2018.10127.7 NISHCHAL J,REDDY S,NAVYA P