基于编程认知诊断模型的学生表现预测.pdf
《基于编程认知诊断模型的学生表现预测.pdf》由会员分享,可在线阅读,更多相关《基于编程认知诊断模型的学生表现预测.pdf(9页珍藏版)》请在咨信网上搜索。
1、基于编程认知诊断模型的学生表现预测张雨婷,李征,刘勇,吴永豪(北京化工大学信息科学与技术学院,北京100029)通信作者:刘勇,E-mail:摘要:近年来,学生认知诊断是教育数据挖掘领域的重要研究课题,对现代教育的精准反馈有重要的意义.然而,传统的认知诊断模型存在预测准确性低和处理大规模数据时效率低等问题,且现有研究主要围绕传统线下教学展开,缺少针对程序设计教育领域的研究.为了解决上述问题,本文从程序设计教育的特点分析出发,提出了一种基于编程表现的模糊认知诊断模型 P-FuzzyCDF(programming-performance-basedfuzzycognitivediagnosisfr
2、amework).具体来说,为了处理编程题部分正确的情况,该模型首先模糊了学生对知识点的掌握情况.随后,P-FuzzyCDF 将模糊集合理论与教育假设相结合,对学生对问题的掌握情况进行了建模.除此之外,本文还考虑抄袭因素,并最终生成学生在每个问题上的得分.值得注意的是,该模型利用编程教育数据可视化和精确性的特点,对模型中每个部分的参数进行了量化.本文基于真实数据集进行实验,实验结果表明 P-FuzzyCDF 可以实现较高的精度,其中 MAE、MSE 和 RMSE 评估指标的值分别为 0.07、0.09 和 0.01.此外,将 P-FuzzyCDF 与现有经典方法(如 DINA,IRT 和Fuz
3、zyCDF)进行比较时,P-FuzzyCDF 的结果在 MAE、MSE 和 RMSE 等指标上取得了明显优势.关键词:教育数据挖掘;认知诊断;学生表现;在线教育;学生行为特征引用格式:张雨婷,李征,刘勇,吴永豪.基于编程认知诊断模型的学生表现预测.计算机系统应用,2023,32(9):239247.http:/www.c-s- Performance Prediction Based on Cognitive Diagnosis ModelZHANGYu-Ting,LIZheng,LIUYong,WUYong-Hao(CollegeofInformationScienceandTechnolo
4、gy,BeijingUniversityofChemicalTechnology,Beijing100029,China)Abstract:Inrecentyears,studentcognitivediagnosishasbeenanimportantresearchtopicineducationaldatamining,whichisofgreatsignificanceforaccuratefeedbackinmoderneducation.However,traditionalcognitivediagnosismodelshaveproblemssuchaslowpredictio
5、naccuracyandlowefficiencywhendealingwithlarge-scaledata.Moreover,theexistingresearchismainlyfocusedontraditionalofflineteachingandlearning,andmoreresearchisneededinprogrammingeducation.Tosolvetheaboveproblems,aprogramming-performance-basedfuzzycognitivediagnosisframework(P-FuzzyCDF)isproposedfromthe
6、analysisofthecharacteristicsofprogrammingeducation.First,todealwiththecaseofpartiallycorrectprogrammingquestions,themodelfuzzesthestudentsmasteryoftheknowledgepoints.Second,fuzzysettheoryiscombinedwitheducationalassumptionstomodelstudentmasteryofthequestions.Finally,studentsscoresoneachproblemaregen
7、eratedbyconsideringplagiarismfactors.Notably,themodeltakesadvantageofthevisualizationandaccuracyofprogrammingeducationdatatoquantifytheparametersforeachmodelcomponent.Experimentsareconductedbasedonrealdatasets,andtheresultsshowthatP-FuzzyCDFcanachievehighaccuracy,wherethevaluesofMAE,MSE,andRMSEasses
8、smentindexesare0.07,0.09,and0.01,respectively.Inaddition,whencomparingP-FuzzyCDFwithexistingclassicalmethodssuchasDINA,IRT,andFuzzyCDF,theresultsofP-FuzzyCDFaresignificantlybetterthanthesemethodsintermsofMAE,MSE,andRMSE.计算机系统应用ISSN1003-3254,CODENCSAOBNE-mail:ComputerSystems&Applications,2023,32(9):2
9、39247doi:10.15888/ki.csa.009261http:/www.c-s-中国科学院软件研究所版权所有.Tel:+86-10-62661041基金项目:北京化工大学校级教改项目(2021BHDJGYB16,G-JG-PTKC202107)收稿时间:2023-02-10;修改时间:2023-04-07;采用时间:2023-05-11;csa 在线出版时间:2023-07-14CNKI 网络首发时间:2023-07-17ResearchandDevelopment研究开发239Key words:educationaldatamining;cognitivediagnosis;st
10、udentperformance;onlineeducation;studentbehaviorcharacteristics1引言在大数据时代背景下,教育数据挖掘领域相关研究迅速发展,其目的是从大规模的教育数据中提取有价值的信息.教育数据挖掘的关键任务之一就是利用学生的考试数据进行建模,从而获知学生的潜在认知状态1.其中,认知状态是指学生在学习过程中对所学知识的学习情况.传统的考试评估通常只报告一个笼统的总分或能力分数,而忽略了个体之间存在的认知状态差异.但是即使考试成绩相同的学生,也有可能具有不同的认知状态2.为了解决传统考试评估的缺陷,最新的研究提出了认知诊断模型,该模型能把认知过程与测
11、量手段结合起来,不仅能对学生的整体水平做出评估,同时还可以将学生的认知结构模式化.其利用合适的测量模型对不同的认知结构模式进行诊断,从而定量地考察学生的认知状态与个体差异3.具体来说,认知诊断模型的有效性是通过预测学生表现(predictstudentperformance,PSP)来实现的.此外,PSP 可以进一步应用于许多方向,如个性化的补救建议和教学计划的改进4.由于认知诊断结果具有很强的可解释性,研究人员投入了大量精力来设计合适的认知诊断模型,以提高个性化学习的质量5.目前常见的认知诊断模型可以分为两类:离散型和连续型.离散型认知诊断模型包括 DINA 模型(deter-ministi
12、cinputs,noisyandgate),连续型认知诊断模型包括 IRT 模型(itemresponsetheory).最近,也有许多新的模型被提出,如 FuzzyCDF6,R-FuzzyCDF7和NeuralCDM8.然而,在上述认知诊断模型中仍存在一些限制.首先,现有的认知诊断模型考虑了对客观题和主观题的预测情况,但缺少对这两类题目的细化研究.例如,编程题属于主观题,但是和传统意义上的主观题又存在差异,编程题具有更加严格的约束性和限制性.因此,现有的认知诊断模型在分析编程题时存在精度不足的问题.其次,尽管传统的认知诊断模型在小规模数据环境中具有良好的性能,但是由于收敛速度慢,此类模型在处
13、理大规模数据时的执行效率显著降低.为了解决这些问题,本文提出了一种基于编程表现的模糊认知诊断模型 P-FuzzyCDF(programming-performance-basedfuzzycognitivediagnosisframe-work).具体来说,该模型首先基于学生的潜在特质来模糊化学生对特定知识点的掌握程度.随后,该模型基于编程题掌握知识点越多,分数越高的特性,模糊化了学生对问题的掌握程度.此外,该模型会基于学生由于抄袭而答对题目的情况,生成学生在每道题目上的最终得分.其中,我们使用了学生在校期间的学习数据以及编程数据来分析学生的认知状态,从而得到模型中的重要参数.为了评估提出的方
14、法,本文在 4 个真实的数据集上进行了实验.实验结果表明,本文提出的方法与现有经典方法相比,在保证预测准确性的基础上,减少了时间开销.综上所述,本文的贡献如下.(1)提出了一种基于编程表现的模糊认知诊断模型 P-FuzzyCDF,并将该模型应用在了学生表现预测方面,P-FuzzyCDF 弥补了传统认知诊断模型在程序设计教育领域研究的不足.(2)引入了学生在校期间的编程数据信息,将其应用在 P-FuzzyCDF 中,从而提高模型的准确率.(3)多个数据集上的实验结果表明,本文提出的P-FuzzyCDF 方法优于基准方法.2相关工作本节介绍了现有的几种被广泛应用的认知诊断模型:DINA,IRT,F
15、uzzyCDF(fuzzycognitivediagnosisframework).2.1 DINA 模型DINA 模型是一种典型的离散型认知诊断模型.该模型将学生描述成一个多维的知识点掌握向量,从学生实际作答结果入手进行诊断.DINA 模型简单,参数的可解释性较好,且DINA模型的复杂性不受属性个数的影响9.ij式(1)展示了 DINA 模型定义的学生 在问题 上的作答情况:ij=Kk=1qjkik(1)计 算 机 系 统 应 用http:/www.c-s-2023年第32卷第9期240研究开发ResearchandDevelopmentijijikikqjkjkij=1ijij=0ij其中
16、,是指学生 在问题 上的潜在作答情况,是指学生 对知识点 的掌握情况,是指问题 对知识点的考察情况.表示学生 已经掌握问题 包含的所有知识点;表示答错,学生 对问题 中的知识点至少有一个没有掌握.QXsjgjsjjgjjDINA 模型联合试题知识点关联矩阵和学生答题情况矩阵对学生进行建模,引入问题参数,.表示学生在掌握了问题 所考察的所有知识点的情况下做错的概率;表示学生在并不完全掌握问题 所考察的所有知识点下猜对的概率.iij式(2)表示在已知学生 的知识点掌握情况的条件下,答对问题 的概率:Pj(i)=Pj(Xij=1|i)=g1ijj(1sj)ij(2)Xijij其中,表示学生 在问题
17、上的得分情况10.由于 DINA 模型在客观题的预测中准确性高,可解释性强,所以被广泛应用在认知诊断中.但是,DINA模型只能把学生的潜在认知状态分为两类,即完全未掌握(0)或完全掌握(1).这并不符合编程题目需要多级评分的特点,从而使得 DINA 模型在预测学生在编程题的认知状态时的准确性和精度都有所下降11.2.2 项目反应理论abc项目反应理论(IRT)是一种典型的连续型认知诊断模型,被广泛应用在心理学和教育测量领域.IRT 根据学生回答问题的情况,通过对题目特征函数的运算,来推测学生的能力.IRT 的题目参数有:区分度、难度 和猜测系数.根据参数的不同,特征函数可分为单参数模型(难度)
18、、双参数模型(难度、区分度)和三参数模型(难度、区分度、猜测参数)等12.式(3)展示了 IRT 的双参数模型:=1/(1+expDa(b)(3)D其中,为学生的学习状态,为学生的潜在特征水平,为经验参数,一般为 1.713.IRT 模型相比于 DINA 模型可以进行多级评分,使用潜在变量来描述一个学生.但是,IRT 模型对测验条件要求较为严格,样本容量要大,被试者的能力分布范围要广,测试题目数量要多,这些条件如果没被满足则会影响其精确性14.2.3 FuzzyCDFFuzzyCDF 模型将模糊理论应用到认知诊断中,可以同时对学生作答客观题和主观题进行诊断,解决了传统认知诊断模型无法有效诊断主
19、观题的问题5.FuzzyCDF 模型假设在客观题作答中,学生要掌握题目所涉及的全部知识点才能掌握题目.而在主观题作答中,学生仅需掌握题目所涉及的部分知识点即表明该学生掌握该题目.在 FuzzyCDF 模型中,学生正确回答客观题和主观题的概率公式分别为式(4)和式(5):P(Xij=1|ij,sj,gj)=(1sj)ij+gj(1ij)(4)P(Xij|ij,sj,gj)=N(X|(1sj)ij+gj(1ij),2)(5)2其中,为主观题得分的方差15.FuzzyCDF 模型相比于传统的认知诊断模型,考虑了客观题和主观题的不同情况,但是缺少对编程题这一特殊类型的题目的考虑.此外,FuzzyCDF
20、 模型需要应用采样算法进行参数估计,所以面临着高计算复杂度的问题和需要大量训练数据的问题15.3个性化的模糊认知诊断模型本节将介绍本文提出的基于编程表现的模糊认知诊断模型(P-FuzzyCDF).如图 1 所示,P-FuzzyCDF由 4 个部分组成,自上而下分别是学生的潜在特质、学生对知识点的掌握程度、学生对问题的掌握程度以及预测得到的问题得分.其中,我们使用了学生在校期间的学习数据以及编程数据来分析学生的认知状态,从而得到模型中的重要参数.为了更好地说明,表 1 展示了建模过程中的一些重要的数学符号,P-FuzzyCDF的每个步骤将在第 3.13.4 节中详细说明.3.1 模糊化知识点掌握
21、程度0,1jk本节将展示如何获知学生对特定知识点的掌握情况.在基于 DINA 的认知诊断模型中,其把学生对知识点的掌握程度假设为完全掌握和完全未掌握,该模型适用于只有正确和错误两种选项的客观题目16.然而,在计算机编程课程中,对于仅满足了部分题目要求的编程题,DINA 模型并不适用.因此,为了解决这个问题,P-FuzzyCDF 将模糊集合理论引入认知诊断模型中,从而使二元变量(0 或 1)模糊为之间的连续变量.根据项目反应理论,每一个学生都有一个高阶潜在特质和对知识点的潜在认知程度17.同时,每一个知识点都有一个自身属性(即知识点难度).三者共同影响着学生对知识点的掌握程度.依据在项目反应理论
22、中采用的双参数模型17,本文将学生 对知识点 的掌握程2023年第32卷第9期http:/www.c-s-计 算 机 系 统 应 用ResearchandDevelopment研究开发241jkk(j)度和定义为:jk=k(j)=1/(1+exp1.7ajk(jbk)(6)jajkbk式(6)表明学生对知识点的掌握程度受到学生的潜在特质()、学生对知识点的辨别力()和知识点的难度系数()的共同作用.其中,1.7 为经验参数,jajkbk能够最小化正态分布函数与逻辑斯谛分布函数的最大差异.此外,为了解决参数估计面临的高计算复杂度和需要大量训练数据的问题,P-FuzzyCDF 利用教育数据以及编程
23、数据精确性的特点,提出了以下 3 个教育假设对,和进行参数估计.潜在特质知识点掌握程度问题掌握程度问题得分情况抄袭概率 pj1 pj2 pjN数据库jjj1j1Rj1Rj2RjNj2jNj2jKajkpjibk学生完成编程作业中图 14 层模糊认知诊断模型的框架表 1一些重要的数学符号数学符号描述jj学生 的潜在特质ajkjk学生 对知识点 的辨别力bkk知识点 的难度系数jkjk学生 对知识点 的掌握情况kk与知识点 有关的模糊集的隶属函数jiji学生 对编程题 的掌握情况pjiji学生 在编程题 上的抄袭情况Rjiji学生 在编程题 上的得分情况Qjkik每道编程题 包含的知识点假设 1:
24、学生的高阶潜在特质可以由学生当前的学业 GPA 决定.j学生的高阶潜在特质指学生的能力水平,而学生的能力水平一般表现在学生的考试成绩(即 GPA).因此,可以由学生的 GPA 来量化.假设 2:学生对知识点的潜在认知程度可以由含有该知识点的题目的历史通过率决定.ajkajkjk相比于传统的线下教育,在编程教育领域中,教师可以得到详细的学生在编程过程中的学习数据.因此,可以通过具体的计算来量化,即可以通过学生对含有知识点 的题目的通过率获得.假设 3:知识点的难度系数可以由教师对知识点的难易程度进行人工评级来决定.bk教师作为知识的传播者对每个知识的都有着很深入的认识,因此,可以通过老师对知识点
25、进行人工评级获得.3.2 模糊化问题掌握程度基于第 3.1 节中模糊化的知识点掌握程度,我们可以进一步模糊化学生对问题的掌握程度(即能够解决问题的概率).在模糊认知诊断模型中,学生对问题的掌握程度受到学生对该问题所需知识点的掌握程度的影响.ji知识点在问题上的相互作用主要分为联结型和补偿型18.联结型是指学生只有掌握了解决问题所需要的全部知识点才能答对问题,补偿型是指学生只要掌握了解决问题所需要的部分知识点就可以获得该题目的部分分数.对于编程题而言,学生掌握的知识点越多,在这道题目上的得分就越高.因此,我们假设知识点对编程题的相互作用是补偿型的.那么学生在这一道题目上的掌握程度就是学生对这道题
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 编程 认知 诊断 模型 学生 表现 预测
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。