基于过程数据的人机“虚拟代理”协作问题解决测评研究——以PISA中国四地区为例.pdf
《基于过程数据的人机“虚拟代理”协作问题解决测评研究——以PISA中国四地区为例.pdf》由会员分享,可在线阅读,更多相关《基于过程数据的人机“虚拟代理”协作问题解决测评研究——以PISA中国四地区为例.pdf(12页珍藏版)》请在咨信网上搜索。
1、Vol.33 No.10 202386基于过程数据的人机基于过程数据的人机“虚拟代理虚拟代理”协作问题解决协作问题解决测评研究测评研究*以 PISA 中国四地区为例首首新新1,5田田伟伟2李李健健3刘刘杨杨4(1重庆师范大学 科技教育与传播研究中心,重庆 401331;2北京师范大学 中国基础教育质量监测协同创新中心,北京 100875;3重庆高新区教育事务中心,重庆 400041;4陕西师范大学 生命科学学院,陕西西安 710119;5西南大学 教育学部,重庆 400715)摘要:摘要:当前,随着交互测评技术的发展,分析个体与“虚拟代理”的协作动态信息已成为当前交互式协作问题解决测评的新趋势
2、。为此,文章基于过程性视角分析了中国四地区(京沪苏粤、香港、澳门、台湾)青少年在PISA 项目“Xandar”一题上的协作问题解决过程,结果发现:在交互式测评中,适量的点击鼠标更有助于思考答题;协作过程注重监控、反思、调整等更可能成为高水平者(如香港),这反映出元认知体验和策略对复杂技能的重要性;四地区学生表现可形成三类群组,其中京沪苏粤在“执行与技术”组的占比较大、香港在“决策与组织”组的占比较大,依据 PISA 等级水平,学生善于主动采取行动进行决策,解决分歧和冲突更可能处于高等级。最后,文章基于研究结果提出了发展协作问题解决能力的教学建议,以期更好地推进协作问题解决能力培养。关键词:关键
3、词:协作问题解决;PISA;交互式测评;虚拟代理;青少年【中图分类号【中图分类号】G40-057【文献标识码文献标识码】A【论文编号论文编号】10098097(2023)10008612【DOI】10.3969/j.issn.1009-8097.2023.10.009一一 研究背景研究背景人机交互是研究人与计算机之间信息交流、影响的技术系统,“人”指操作者和用户,“机”指新兴技术设备。从最初的鼠标拖动、单向浏览到现如今的语言识别、情意捕捉等,交互技术已转向判别交互过程中的认知属性。随着交互技术的发展,教育领域的人机交互测评开始尝试加入虚拟代理(VirtualAgent)开展基于情境的问题解决评
4、估1。在这一过程中,虚拟代理通过预先设计好的脚本模拟真实情境中与被试的限定性对话或含义更广泛的提示、引导、操作、交流等互动,让被试展现真实的协作问题解决水平。国际大型测评项目(Program for International Student Assessment,PISA)在 2015 年已全面在计算机环境下对 15 岁青少年开展协作问题解决测验,而测验中的“虚拟代理”通过与被试对话或含义更广泛的互动,以提示、协助、引导等方式推进被试与“虚拟代理”的协作问题解决。与“虚拟代理”的协作能反映被试的协作问题解决过程和方向,这为分析协作问题解决提供了新的过程视角。为此,本研究着眼于 PISA 项目
5、中国四地区(京沪苏粤、澳门、台湾、香港)协作问题解决的过程数据来刻画学生的协作问题解决历程,比较四地区青少年在协作策略、模式上的差异,为更好地开展协作问题解决能力培养提供有益建议。Vol.33 No.10 202387二二 研究现状研究现状1 协作问题解决的过程测验协作问题解决的过程测验捕捉协作问题解决过程可以展现个体的社会交互程度,弥补结果性评价的不足。目前国际测评 PISA/ATC21S 项目采用的交互式测验,都强调从过程性视角评估个体的协作问题解决能力。体现协作过程的个体表现测验主要有“人-机”交互、“人-人”交互两种测评模式,均是基于计算机环境记录被试在计算机环境中的操作,并生成日志数
6、据来表征问题解决过程2。其中,“人-机”交互测验并不是简单地将纸笔测试电子化,而是被试与虚拟代理(表征团队其他成员)对话探讨问题解决路径,通过捕捉被试选择路径的过程来判别其协作问题解决水平。“人-机”交互测验的基本逻辑是,被试在精心创设的试题情境中,通过代理呈现提示,或协助、引导探究过程,让被试有充分的空间展现其问题解决水平,表达实质推进问题解决的见解。这是一种基于脚本的封闭情境测试,“封闭”是指被试只能选择脚本已有内容与虚拟代理进行“协作”,进而展现交互性的动态测验,提高测验的针对性和有效性3。代理是脚本的可视化,除了在测验中进行引导,还可帮助不能推进问题解决的被试逐步回归正确路径,但相应阶
7、段的得分会降低。当然,“人-机”交互测验的封闭性也可能会束缚被试所期望的协作进程,也就是基于脚本的测验可能阻碍了被试的认知投入和知识激发4。另一种相对开放的“人-人”交互测验则更能捕捉个体面对小组任务时的认知过程,此时计算机只提供虚拟情境,小组成员合作决策下一步操作,逐步达成共同目标5。“人-人”交互测验的基本逻辑是:充分基于个体已有经验进行社会交互,由此形成小组内部、个体外部的信息不对称态势,以对话交流、讨论、操作等过程揭示个体在团队中的协作问题解决能力。“人-人”交互测验基本无脚本限制,但也有一些独立于测验内容的脚本支架可以引导小组把握正确的方向,以明确下一步操作6。“人-人”交互测验展现
8、了真实的合作过程,并且测验系统记录的丰富过程数据为揭示个体协作问题解决水平提供了证据,但计算机的记录可能会产生成千上万的碎片信息,这样建立对关键行为可识别的评判标准就显得尤为重要了。而这也是目前“人-人”交互测验的核心难题,如 ATC21S 项目采用“人-人”交互测验,仅涉及小组两位被试,这尚未构成个体面向外部的社会交互,显示了还原协作问题解决能力这一复杂技能的困难。2 PISA 协作问题解决测验协作问题解决测验PISA 于 2003 年首次增设问题解决测试项目,以测评学生综合解决现实生活实际问题的能力,PISA 2012 进一步细化了问题解决中的认知过程,将其分为探索和理解、表征和形式、监控
9、和反思、计划和实施四个方面。PISA2015 在此基础上又增加三项协作要素(达成共识、采取行动、建立团队),由此形成 34 的协作问题解决测评框架。基于该框架和测试结果,PISA 制定了协作问题解决能力水平 4 级精熟度,其中第 4 级代表最高水平(640 分以上)7。虽然都是一种个人能力,但不同于个人问题解决,PISA 测评协作性问题解决的过程是建立在共同任务上,成员之间进行任务分配,激发个体尝试用知识、观点和经验来解决共同问题,期间会有争论、激励等。被试的协作对象为 23 名虚拟代理,利用预先制定的脚本尽可能体现个体与外界的社会交互和构建,在脚本控制下,被试通过选择与虚拟代理的对话内容来表
10、征协作问题解决进程,这种模拟与情境聊天室集成在一起,以此评估其相关技能水平。PISA 利用“人-机”交互所测的协作问题解决能力用于建立通用的标准进行各个国家或地区Vol.33 No.10 202388的比较,让教育决策者发现各自学生的协作问题解决能力与其他教育体系学生相比有何差异,反思自我教育系统的不足,以制定更好的教育政策制度,因而 PISA 测试报告更加关注各国家或地区的结果,但国家内部的地区差异需要根据研究目标进行二次分析,这对于教育决策者关注国家内部教育均衡发展仍至关重要。我国共有四地区学生参与 PISA 协作问题解决能力测验,那么这些学生的协作问题解决行为表现有何差异,表现出哪些特征
11、?高水平协作问题解决者有何特质?如何推进有针对性的教学改革扬长避短?对于这些问题的回答,本研究着眼于地区性协作问题解决过程进行比较,尝试从过程性视角解构中国四地区(下文简称“四地区”)学生与虚拟代理协作的路径及差异,以便从全新的视角提出发展协作问题解决能力的有效策略。表表 1“Xandar”一题一题的的评测内容明细评测内容明细项目项目测评内容测评内容难度难度编码编码正确回答正确回答了解问题了解问题情境情境遵守约定的规则,明白答题过程及规则314 分/低于 1 级C101学生点击“加入聊天”选项商定问题商定问题策略策略理解比赛规则,与团队成员就将要执行的行动进行沟通502 分/2 级C102“也
12、许我们应该先谈谈战略。”达成一致策略,建立一个共享的理解并协商问题的意义471 分/2 级C103“不错,但有什么好办法呢?”达成一致策略,建立一个共享的理解并协商问题的意义524 分/2 级C104“如果我们分配一下的话,就可以回答更多道问题。”识别最优方法,描述角色和团队组织434 分/1 级C105“我们可以每人选一个主题。”达成解题达成解题共识共识就队友偏好达成共识,发现团队成员的观点和能力598 分/3 级C201“你们能各自解释一下为什么想选那个主题吗?”选择主题,描述角色和团队组织381 分/1 级C202“听起来 国民 主题应该是 Alice的主题。Zach,你觉得可以吗?”选
13、择主题,描述角色和团队组织537 分/2 级C203“我负责地理吧。”有效参与有效参与问题解决问题解决遵守约定的规则992 分/4 级C301学生点击“地理”按钮监控和修复共享的理解992 分/4 级C302“我应该回答地理问题。我们还是做自己选的主题吧。”评估团队评估团队进展进展监控行动的结果并评估成功解决问题的可能性730 分/4 级C401“除了经济部分,我们看起来不错。”采取适当的措施解决问题,监控、提供反馈并调整团队组织和角色593 分/3 级C402“继续努力。我和 Alice 做完会帮你的对吧,Alice?”三三 研究设计研究设计基于过程数据分析视角,本研究拟采用关系挖掘、Ras
14、ch 模型、序列分析、聚类等方法分析四地区学生在国际测评 PISA 项目“Xandar”一题(样题)上的协作问题解决过程及特征,进而提出发展学生协作问题解决能力的教学建议。Vol.33 No.10 2023891 研究对象研究对象本研究以四地区参与 PISA 协作问题解决测验“Xandar”一题作答的 15 岁学生为研究对象。中国四地区共 4704 名学生作答“Xandar”一题,加权后实际代表 281375 个样本。为避免地区样本差异,所有结果均采用 PISA 提供的权重变量“SENWT”进行加权处理,将四地区学生总数调整为相同的数值(均为 5000)进行分析。2 研究工具研究工具“Xand
15、ar”一题创设的情境是老师把全班同学分成三人一小组进行比赛。率先正确回答出有关“Xandar”国在地理、国民和经济领域 12 个问题的小组获胜,老师建议小组在比赛开始前先花一点时间讨论怎样才能更好地完成任务。项目评估重点并非是回答 12 个问题,而是被试与另外两位“虚拟代理”Alice 和 Zach 组成三人小组,以对话的形式商讨如何分工协作。该题展现的协作问题解决过程包括:商定形成答题策略(每位同学负责一个领域);选定各自的答题领域(根据对三个领域的熟悉度确定负责哪一个);监控答题过程(先关注自己的领域,再帮助其他人解决有困难的问题)。这些过程涉及的协作问题解决要素包含了解问题情境、商议问题
16、策略、达成解题共识、有效参与问题解决、评估团队进展等8。评测内容明细如表 1 所示。表表 2“Xandar”一题行为序列编码(一题行为序列编码(1-11)关键关键行为行为含义含义行为序列行为序列编码编码行为序列行为序列行为序列行为序列编码编码行为序列行为序列C101是否点击“加入聊天”选项1C101-102-C102是否理解比赛规则,行动之前沟通2C102-103C103是否推进形成问题解决策略3C103-104C104是否推进形成问题解决策略4C104-105C105是否达成问题解决策略的共识5C105-201C201是否就队友的偏好进一步达成策略细节6C201-202C202是否推进选择合
17、适的主题7C202-203C203是否推进选择合适的主题8C203-301C301是否遵守约定的规则9C301-302C302是否监控和修复队友表现10C302-401C401是否监控小组问题解决进程并评估正确程度11C401-402C402是否采取正确措施调整队友角色-注:1 表示从行为 C101 到行为 C102,形成一个行为序列,其他以此类推。3 研究过程研究过程本研究首先初步分析四地区学生在“Xandar”一题中答题时间及鼠标点击次数方面的差异;然后深入分析其答题的行为特征,再进一步解构答题行为序列,进而寻求答题过程群组并分析差异;最后进行教学反馈并提出有针对性的教学策略。本研究涉及的
18、变量包括:答题时间。鼠标点击次数。答题行为,定义点击鼠标一次表征一个行为,“Xandar”一题共有 12 个关键行为。答题行为序列。“Xandar”一题的答题操作顺序与问题解决时程一致,是链条式且不能跳跃的,因此定义两个相邻行为组成一个行为序列,“Xandar”一题设置了 12 个考察点,Vol.33 No.10 202390组合相邻行为共有 11 种行为序列,其编码如表 2 所示。每个行为有正(用 1 表示)、误(用 0表示)两种情况,因此一个行为序列有 0-1、1-1、1-0、0-0 四种情形,本研究拟进一步分析行为序列的四种情形以获得四地区学生协作问题解决的特征。学生协作问题解决表现。本
19、研究采用 Greiff 等9的建议,以 PISA 提供的第一个似真值(First Plausible Value)得分表征个体协作问题解决水平。4 研究方法研究方法为了精准分析四地区学生在“Xandar”一题中的作答行为表现,展现其协作问题解决过程,挖掘协作问题解决特征,本研究采用相关、比率、匹配等关系挖掘方法分析四地区学生在“Xandar”一题中的答题时间、鼠标点击次数以及行为序列时程,拟合 Rasch 模型比较四地区学生的行为水平差异,并基于序列分析思想进一步揭示四地区学生的协作问题解决过程行为差异,进而运用两步聚类方法设置协作问题解决群组,表征四地区学生的协作问题解决特征,最终为发展学生
20、协作问题解决能力提供有效建议。5 数据分析数据分析基于上述研究方法,本研究借助 SPSS 22、Winsteps 3.72、Excel 等工具对四地区学生作答“Xandar”一题所产生的 89628 条信息(数据清洗之后所得)进行数据分析,以揭示四地区学生的协作问题解决过程及行为表现特征。四四 研究结果研究结果通过数据分析,本研究获得了四地区学生在表层答题时间/鼠标点击、行为水平,在深层行为序列、协作问题解决群组等方面的结果,为揭示学生协作问题解决过程提供了依据。1 答题时间及鼠标点击次数答题时间及鼠标点击次数“Xandar”一题的答题时间、鼠标点击次数如图 1、图 2 所示。其中,横坐标为百
21、分位数,纵坐标为答题时间(秒)/鼠标点击次数(次)。答题时间方面,澳门学生花费的时间最多(M=320.51秒),之后依次是京沪苏粤(M=313.26 秒)、香港(M=286.26 秒),而台湾学生最少(M=272.67);尤其在 60th70th,香港学生的答题时间有骤降趋势,与台湾学生基本重合。图图 1四地区在四地区在“Xandar”一题一题的的答题时间情况答题时间情况图图 2四地区在四地区在“Xandar”一题一题的的鼠标点击次数情况鼠标点击次数情况鼠标点击次数方面,香港学生最多(M=67.32 次),之后依次是京沪苏粤(M=61.46)、台湾(M=60.26 次),澳门学生最少(M=57
22、.67 次)。澳门学生花费最多的时间答题但鼠标点击Vol.33 No.10 202391次数相对却最少,说明澳门学生倾向于在思考后点击鼠标答题,而非一边点击鼠标一边思考进行作答。与此形成强烈对比的是香港学生,其答题时间相对较少,但点击鼠标次数最多,反映出两地学生不同的答题策略:香港学生可能更期望通过不断点击鼠标来推进思考,加快答题速度,而澳门学生则倾向于静态思考。如前所述,“Xandar”一题共设置了 12 个考察点,一般认为答对 80%为优良,以此为标准(至少答对 9 个),那么香港学生的优良率为 42.26%,澳门学生为 26.67%,说明回答计算机交互试题时,以点击鼠标进行操作性思考和调
23、整更有助于答题。2 行为水平差异行为水平差异本研究建立 Rasch 模型,分析 12 个行为与学生协作问题解决表现之间的关系。Rasch 模型以对数转换为基础,将个体能力(本研究中指学生的协作问题解决表现)与项目难度(本研究中指 12 个关键行为所表征的认知难度)放在同一量尺下进行匹配,将个体与项目的对应关系可视化。如图 3 所示,量尺左侧呈现学生的协作问题解决能力分布情况,右侧呈现关键行为认知水平难度。量尺从下到上,随着学生协作问题解决能力的提升,关键行为认知难度也随之增大。由图 3 可知,澳门、台湾学生答题显示行为 C401 较难(Rasch 值为 3.80、2.23),京沪苏粤、香港学生
24、答题显示行为 C302 较难(Rasch 值为 2.93、2.57)。行为 C302、C401 同属于 4 级难度,且是相邻行为,其中行为 C302 反映学生对团队问题解决过程的监控,确保成员按照商定策略进行;行为 C401 反映对阶段性问题解决结果的监控,并对后续进程进行有效评估。香港学生认为 C302 较难而 C401 较简单,说明他们更倾向于对阶段性结果进行评估和反思,并预测后续过程。澳门学生与之形成鲜明对比,认为 C401 较难而 C302 较简单,说明他们更关注问题解决过程中小组的进度,并进行及时交流。从正确率来看,香港学生在 C302 上为 18.79%,在 C401上为 58.0
25、3%(18.79%58.03%);澳门学生在 C302 上为 21.71%,在 C401 上为 5.31%(21.71%5.31%),也充分佐证了上述不同地区学生所表现出的问题解决过程特征。图图 3四地区行为水平分布四地区行为水平分布 Rasch 图(从左到右依次是京沪苏粤、澳门、台湾、香港)图(从左到右依次是京沪苏粤、澳门、台湾、香港)Vol.33 No.10 202392PISA 已事先标定“Xandar”一题 12 个行为的认知难度,分为 14 共 4 个难度水平(参见表 1)。利用 Rasch 模型获得的大部分行为难度水平分布与 PISA 标定结果大致相同,但某些行为表现并不一致,如行
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 过程 数据 人机 虚拟 代理 协作 问题解决 测评 研究 PISA 中国 地区
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。