基于深度学习的课堂行为分析与应用.pdf

信息与电脑人工智能与识别技术Information&Computer基于深度学习的课堂行为分析与应用2023年第10 期周亚峰1汪中亨？（1.宁波职业技术学院，浙江宁波315000；2.宁波纬诚科技股份有限公司，浙江宁波3150 0 0）摘要：课堂学生行为分析能够以客观、定量化的方式评估学生的学习行为特征，为教师提供相应的辅助决策。随着教育进入人工智能时代，智能化学生课堂行为识别分析成为教学质量评估的重要手段。文章基于深度学习技术构建了课堂行为分析模型，可以及时准确地识别课堂学生行为，帮助教师或学校管理人员及时了解学生在课堂中的学习状态和表现，进而采取相应的措施优化教学过程和提升教育教学成效，促进教学改革。关键词：课堂行为分析；深度学习；人工智能中图分类号：TP18Classroom Behavior Analysis and Application Based on Deep Learning文献标识码：A文章编号：10 0 3-9 7 6 7（2 0 2 3）10-19 4-0 3ZHOU Yafeng,WANG Zhongheng(1.Ningbo Polytechnic,Ningbo Zhejiang 315000,China;2.Ningbo Vichnet Technology Co.,Ltd.,315000,China)Abstract:Classroom student behavior analysis is able to objectively and quantitatively evaluate students learningbehavior characteristics,providing corresponding auxiliary decisions for teachers.With the advent of the artificial intelligenceera in education,intelligent student classroom behavior recognition and analysis has become an important means of evaluatingteaching quality.In this paper,a classroom behavior analysis model is constructed based on deep learning technology,which can timely and accurately identify classroom student behavior.It can help teachers or school administrators to timelyunderstand students learning status and performance in the classroom,and then take corresponding measures to optimize theteaching process,improve education and teaching effectiveness,and promote teaching reform.Keywords:classroom behavior analysis;deep learning;artificial intelligence0引言学生的课堂行为对学生的学习效果和教学质量具有较大影响，通过对学生课堂行为的检测和识别能直观了解学生的学习状态，也能从侧面反映教学质量。传统的分析手段主要依靠教师的观察和记录，存在主观判断、缺乏客观性、工作量较大等缺点，很难在保证教学质量的同时记录和分析学生的课堂行为，因此需要优化。目前，在教室安装摄像头已成为一种常见的教学管理手段，通过录像回放技术辅助分析学生的课堂行为，能够更加全面地评估学生的表现，减轻教师或学校管理人员的工作量，帮助教师优化教学内容和教学方式。随着人工智能技术的发展，在图像处理领域的应用受到了极大的关注和认可，利用人工智能技术进行视频或图像分析在工程检测、交通导航、智能识别以及航空航天等领域广泛应用。我国在2 0 18 年提出了“教育信息化2.0 行动”，旨在要求新时代要将传统以教师为主体的教育模式适当向以学生为主体的多元化趋势转变，且将教育教学和智能信息化相融合，最终实现教育向更高收稿日期：2 0 2 3-0 3-2 0基金项目：基于深度学习的课堂行为分析系统（项目编号：NZ23Q06）。作者简介：周亚峰（19 8 9 一），男，河南商丘人，硕士研究生，助教。研究方向：人工智能、计算机应用、传感器技术应用等。194信息与电脑2023年第10 期Information&Computer质量发展。很多研究者将人工智能技术应用于教育领域。在课堂场景中，利用人工智能技术实时识别学生课堂行为和反馈教学情况，已成为当前的热门研究课题。例如：PEI等人提出的基于面部表情的课堂行为检测模型，可通过检测学生的学习情绪变化评估教学效果 2;王京设计了一种高校课堂质量辅助系统，可实时识别课堂中学生的异常行为 3；陶溢使用表情识别模型和OpenFace2.0面部识别模型实时监测学生的头部姿态，实现对学生进行专注度的评价。1数据采集和预处理本次所使用的数据集来自宁波职业技术学院教室的监控相机，安装在讲台上方，分辨率为38 40 2 16 0 30fps，可捕获教室内所有学生的动作。文章关注6 种常见的课堂行为。积极行为包括举手、专注听讲、记笔记；消极行为包括玩手机、趴桌子、交头接耳。将视频分隔成帧，采样频率为1fps，对每帧中出现的学生进行框选，记录其坐标位置。当图像中出现关注行为时，提取该动作出现的前后视频，并放置在对应的动作行为文件夹。每类文件夹存放了对应分类的图片集合和标签，供后续关键点提取使用。2基于OpenPose的动作关键点检测与提取OpenPose 是一种基于深度学习的姿态估计库，通过分析图片或视频中的人体关键点对人体进行姿势检测、跟踪、识别，可以精确捕捉人体各种姿势下的动作，也可以自动区分不同身份和遮挡情况等，是当前比较热门的人体姿态估计和动作识别技术 5。OpenPose 在检测人体姿态时具有两种输出方式，分别为18 关节点输出方式和2 5关节点输出方式，两者主要区别在于是否关注足部关节点。对课堂行为分析而言，只需关注人体上半身关节点即可，而下半身包括足部关节点不会影响分析结果，因此采用18 关节点输出模式。动作关键点检测需要将采集的图像输入OpenPose网络进行人体姿态关键点坐标数据的提取。本次关注6种课堂行为，其中专注听讲、举手、做笔记可认定为课鼻子XY654.619509.129665.703626.323821.4621123.110420.800567.472人工智能与识别技术堂积极行为，玩手机、交头接耳、趴桌子可认定为课堂消极行为。6 种课堂行为如图1所示。专注听讲举手图1OpenPose对6 种课堂行为的识别研究人员对课堂行为分析只需关注上半身的11个点即可。对于每个关节点，OpenPose将输出3个值，分别对应该点的横坐标X、纵坐标Y、置信度Z。对于分类模型，只需要关注关节点的横纵坐标即可。对数据进行处理，得到如表1所示的数据集，作为分类模型的训练数据。3分类算法模型使用OpenPose提取骨骼关节点数据集，需要选取合适的算法模型分类数据。本次使用多层感知机（M u l t i l a y e r Pe r c e p t r o n，M L P）作为行为分类的算法模型。输人层有2 2 个神经元，对应11个骨骼关键点的2 2 个数据，隐藏层为3个全连接层，分别有12 8 个、6 4个、16个神经元，输出层有6 个神经元，对应6 种课堂行为分类。将OpenPose提取的姿态数据作为训练集输入MLP，训练批次设置为6，学习率为2 10 4，迭代次数每增加10 0 0 次，学习率下降2 10，50 0 0 次迭代训练后，模型的准确性已趋于稳定。使用验证数据集进行验证，模型对于6 种课堂行为识别的综合准确率为9 5.3%，如表2 所示。表1OpenPose提取的关键点信息脖子右肩膀XY635.776812.094645.710801.963723.720897.989645.524801.883玩手机交头接耳右手腕XY352.422821.342401.263801.723479.617938.901421.103792.407趴桌子记笔记分类XY704.2201105.310421.1901193.060509.0271222.380498.815专注听讲玩手机趴桌子1144.620交头接耳195信息与电脑人工智能与识别技术Information&Computer表2 模型对6 种课堂行为的识别率动作准确率/%专注听讲96.3记笔记94.8举手97.1玩手机93.3趴桌子96.6交头接耳93.7综合95.3表3课堂行为频率和平均成绩行为频率/%序号专注听讲130.89233.90341.2622835.62从表3可以看出，平均成绩y和课堂行为x占比存在线性关系，计算公式为My=Zx.w,+bi=1式中：w,和b分别为权重和偏置。分析课堂行为对教学效果的影响可转化为对w,和b的求解。本次采用均方误差作为损失函数，用于衡量预测值和真实值间的差异，计算公式为(2)ni=l式中：为预测结果；y为真实值；n为样本数。MMsE越小，说明预测结果和真实结果的差距越小，模型效果越好，反之则效果越差。线性回归模网络结构比较简单，是一个从输人到输出的全连接网络。对本次使用的模型而言，输入层具有6个神经元，每个神经元对应一种课堂行为分类占比，输出层具有一个神经元，对应本次课程的平均成绩。训练时，通过反向传播算法，根据实际输出值和目标输出值之间的误差来调整权重和偏置参数，使得模型的预测损失最小化。在2 2 8 组数据中取18 2 组数据作为训练集，2 3组数据作为验证集，2 3组数据作为测试集。训练模型后，在测试集上的均方误差最小值为4.8 8，此时权重值为W专注听讲=2 18.8、W记笔记=142.7、W举手=117.8、W玩手机=-17 2.3、W趴桌子=-7 7.4、W交头接耳=-2 6.1。对权重值进行分析不难发现：随堂测试成绩和积极行为呈正相关，其中专注听讲对成绩具有最大的正向影响；消极行为和成绩呈负相关，其中玩手机对成绩具有最大的负向影响。因此，为2023年第10 期4课堂行为分析与应用大学英语每次课程时长为40 min，每次课程后会进行一次随堂测试，可为分析学生课堂行为和教学效果的关联性提供数据。本次选取宁波职业技术学院电子信息工程学院人工智能专业32 2 1班大一年级的大学英语两学期共2 40 次课程的课堂录像作为实验样本，统计每节课6 种行为出现的频率作为输人参数，随堂测试的平均成绩作为响应值，得到2 2 8 组有效数据，如表3所示。平均成绩/分记笔记举手12.5911.6821.8514.4623.6618.8022.5715.54(1)玩手机20.879.857.6211.73提高课堂效果，教师应多关注课堂中的积极行为，避免消极行为的发生，并在出现消极行为时及时引导和制止。5结语文章基于深度学习技术对课堂视频进行分析，通过提取人体骨骼关键点得到学生的姿态数据，并通过分类网络对姿态数据进行行为分类，进一步研究各类行为对随堂测试成绩的影响，确定了学生课堂行为表现对教学效果的影响。文章以大学英语为例，对其他课程也可采用类似方法进行分析，作为评估课堂效果的手段。参考文献1中华人民共和国教育部.教育信息化2.0 行动计划 EB/OL.(2018-04-25)2023-02-18J.http:/ J,SHAN P.A micro-expression recognitionalgorithm for students in classroom learning basedon convolutional neural networkJ.Traitement duSignal,2019,36(6):557-563.3王京.基于目标检测算法的课堂异常行为识别系统研究 D.成都：成都理工大学,2 0 2 0:2 2.4陶溢.基于面部表情和头部姿态识别的课堂专注度分析与评价研究 D.昆明：云南师范大学,2 0 2 0:2 5.5马子越，彭瑞阳，孙晓晗，等.基于OpenPose的人体姿态估计技术研究综述 .软件导刊,2 0 2 2,2 1(11):2 47-2 52.6段俊臣，梁美祥，王瑞.基于人体骨骼点检测与多层感知机的人体姿态识别 .电子测量技术,2 0 2 0,43(12):168-172.趴桌子18.8411.965.549.85交头接耳5.137.983.124.6971.379.588.681.7196