形成性评估视角下的英语写作自动评阅反馈投入研究.pdf
《形成性评估视角下的英语写作自动评阅反馈投入研究.pdf》由会员分享,可在线阅读,更多相关《形成性评估视角下的英语写作自动评阅反馈投入研究.pdf(16页珍藏版)》请在咨信网上搜索。
1、84 2024 年第一辑 总第四辑形成性评估视角下的 英语写作自动评阅反馈投入研究张春青浙江外国语学院提 要:写作自动评阅越来越受到教师和研究者的关注,但目前对自动评阅的学习者反馈投入的研究却非常欠缺。本研究从形成性评估理论出发,从修改行为、认知策略和情感反应三个角度,分析了两位大学生使用 iWrite 英语写作教学与评阅系统时的写作反馈和刺激回忆数据。研究发现,iWrite 能够给出分数、语言和结构等多方面的反馈。学生依据反馈对作文相关部分进行了修改和替换,并在此过程中自行纠正了自己发现的问题;在修改过程中,学生运用了各类认知和元认知策略;学生认可反馈的及时性和准确性。从形成性评估角度看,在
2、反馈投入中,学生对学习目标和成功标准的理解发挥重大作用,反馈的准确度和精细度等因素影响学生的情感投入。关键词:形成性评估;写作自动评阅;反馈投入1.引言写作自动评阅(Automated Writing Evaluation,AWE)是使用计算机程序,根据特定的评分标准对写作进行评估的过程(Shermis&Burstein 2003)。与耗时、主观且容易产生误差的人工评阅相比,AWE 优势明显。首先,AWE 能迅速、及时地提供反馈,给予学生多次提交机会,促进自主学习(Barrot 2023),助力学生写作能力的提升。其次,AWE 除了提供总的评价和分数,还能从语法、用词、内容表达等不同维度给出诊
3、断分析报告,满足学生日常学习和提高的需要(何屹松等 2018)。因而,AWE 能减轻教师的批改压力,教师能节省出更多时间来指导学生改进作文的内容和结构(Link et al.2022)。鉴于上述优势,近年来 AWE 在英语教学中得到了广泛应用,并受到越来越多研究者的关注。相关研究主要集中在 AWE对教学的影响、AWE 在课堂教学中的使用和 AWE 系统的研发三个方面(Zhang&Lei 2023)。iWrite 英语写作教学与评阅系统(以下简称 iWrite)是为促进英语写作教学而研发的自动评阅工具,为了揭示 iWrite 自动评阅反馈促进写作改进和语言学85 张春青 形成性评估视角下的英语写
4、作自动评阅反馈投入研究习的机理,本研究从形成性评估理论框架(Black&Wiliam 2009;Gu 2021)出发,依据自动评阅反馈投入理论(Han&Hyland 2015),通过两个具体案例探究学生在使用 iWrite 英语写作教学与评阅系统过程中的投入。2.研究背景和研究问题AWE 包含了形成性评估的关键要素。形成性评估是教师、学生及其同伴引出、解释和使用学习成果的证据,从而做出更好的或更有根据的教学决策的过程(Black&Wiliam 2009)。形成性评价包括五个关键策略:明晰、分享和理解学习目标与成功标准;引出学习证据;提供促进学习的反馈;激发学习者成为彼此的教学资源;激发学习者成
5、为自己学习的主人。为了使得形成性评估更具有操作性,Gu(2021)进一步明晰了形成性评估的构成和运作机理:一个形成性评估实践由获取证据、解读证据、提供反馈和后续行动四个步骤构成,这些步骤以评估目标为中心,形成一轮或多轮螺旋上升的循环,最终达到弥合学习者现有水平和学习目标之间差距的目的。在形成性评估实践中,明确的评估目标是实现评估目的的基石和依据;评估工具在四个步骤中至关重要,影响获取证据的质量(Gu 2021);解读证据是评价者依据评估标准对学生表现所做的判断行为,判断结果体现在反馈中;反馈是评估者基于评估标准对学生表现进行评价的结果,其准确性、精细度和及时性等特征直接影响后续行动(席小明、张
6、春青 2020),进而影响促学效果。从形成性评估定义、策略和实践步骤中可以看出,参与者、评估目标、评估工具、判断行为、反馈和行动是形成性评估的核心要素。AWE 的使用过程具备了形成性评估理论的要素,具体而言,教师结合AWE 系统已有的评价方法,设定语言、内容、篇章结构和技术规范维度的评价目标,AWE 系统中的这些维度是写作的基础性评估目标。在获取学生写作样本后,AWE 进行写作质量判断并提供反馈。而要准确理解反馈和采取有效行动,即反馈投入,仍需学生通过认知参与和采取实际行动等方式来完成。反馈投入是写作形成性评估成功的关键(Zhang&Hyland 2018)。Han&Hyland(2015)基
7、于 Fredricks et al.(2004)的研究所设计的二语写作反馈投入模型近年来被广泛应用于 AWE 反馈投入研究中(Zhang&Hyland 2018;Koltovskaia 2020;徐鹰、韩苏 2020),该模型包括学习者在行为、情感和认知三个方面的投入。行为投入指学习者将时间花费在任务中的各类修改行为,包括各类修改行为和相关策略。Zhang(2020)将修改行为分为无修改、修改、增加、删除、替换和重新组织六种;修改策略包括查词典、查阅相关网站和咨询教师等。情感投入包括学生对反馈的情感86 2024 年第一辑 总第四辑反应和态度。情感反应包括焦虑和高兴等情绪,态度包括正面态度和负
8、面态度等。认知投入指学生在修改过程中使用的各类认知过程和策略。Han&Hyland(2015)将认知投入进一步分为处理深度、认知操作和元认知操作。处理深度指的是学习者注意和理解反馈的程度;认知操作包括学生有意使用的认知策略和可能无意使用的认知技能,例如理解和记忆、调用已有知识、整合信息并进行概念化和推理等;元认知操作指学生在处理反馈时对认知努力的管理与调控,例如计划、选择性注意、自我监控和评估等。Han&Hyland(2015)指出,学生反馈投入是一个复杂的过程,受到学生语言熟练程度、学习信念、动机、教师立场和机构制度等个人和背景因素的影响。在二语写作 AWE 反馈投入研究领域,较多研究使用了
9、以上模型。Zhang(2017)从提交次数、写作时长、情感反应、动机变化、理解反馈、监控过程和自我规范七个方面报告了一个反馈投入案例研究,发现不断变化的分数对学生的情感有较大影响。Zhang&Hyland(2018)研究了学生对教师反馈和 AWE 反馈投入的差异及其影响因素,发现优秀学习者的积极态度、深度修改行为和情感投入产生了较多解释、计划和评估策略的使用,从而提高了作文的质量,学习者的英语水平、学习策略和学习信念都对反馈投入产生了影响。Zhang(2020)从反馈种类、反馈理解和反馈投入角度研究了三位学习者的 AWE 反馈投入,发现行动、认知和情感需要同时运作才能产生有效修改,学习者对修改
10、的态度和他们对修改过程的监控策略影响了反馈投入,因此建议教师要指导学生运用修改策略和激发学生动机。Koltovskaia(2020)从行为、认知和情感三个角度研究了两名学生在文献综述写作终稿修改中的 AWE 反馈投入,发现只有行为投入并不能真正促进学习,行为投入和认知投入相结合才能产生促学效果,且正面积极的情感反应也不一定促进写作质量提升,质疑反馈并进行深度理解和证实才能促进语言习得。徐鹰和韩苏(2020)研究了四名学生历时 AWE 反馈投入变化,发现随着时间的变化,学习者对 AWE 反馈的行为投入呈递增趋势,不同水平学习者在元认知策略方面存在差异;影响学生投入的因素主要包括 AWE 反馈信息
11、的准确性、模糊性、可操作性以及分数的变化。以上研究多是基于批改网和 Grammarly 等 AWE 工具开展的个案研究,而针对学习者运用 iWrite 修改作文过程的描述性研究还较为稀少。除前述研究使用的 AWE工具的基本功能外,iWrite 还提供了作文切题度、连贯性、结构方面的分数反馈和互评功能。本研究也对这些维度进行了初步研究和探索。更为重要的是,先前研究大多从反馈投入本身来研究反馈投入,没有将其置于形成性评估的大框架中来审视,而本研究依据形成性评估理论和 AWE 评估实践,构建形成性评估要素框架,来考察形成87 张春青 形成性评估视角下的英语写作自动评阅反馈投入研究性评估要素对反馈投入
12、的影响。形成性评估要素框架由以下五方面构成:1)评估目标,即学生对评价目标和成功标准的了解程度;2)评估工具,即评估任务的要求;3)AWE 的判断行为,尤其是多次评判的行为;4)AWE 依据标准对学生作文所做反馈的准确性、精细度和可操作性等;5)参与者因素,包括学生的语言水平、对 AWE的理解程度和教师的参与程度等。依据以上文献综述和分析框架,本研究提出以下三个问题:1)学生获得了哪些反馈?2)学生在使用形成性反馈过程中,有哪些行动、认知和情感投入?3)形成性评估相关要素对学生的反馈投入有哪些影响?3.研究方法3.1 写作任务和 iWrite 提供的反馈内容本研究的写作任务来自 William
13、s et al.(2012)的学术英语读写教程,要求学生阅读第二章的三篇课文,记录下可能要使用的词语,再基于阅读内容写一篇 150200 词的短文,表达自己对“The power of the group”的看法,并用自己的经历作为证据支撑观点(全文分两段)。任务还要求:1)在第一段中,首句要给出对群体力量的一般性判断,阐述在一般情况下群体能发挥的影响力,然后引入本文将要介绍的具体群体,第二句是第一段的主题句,第二段的主题句是第一句;2)第一段描述所写群体的目的、价值观、规范、交流磨合方式等相关维度,第二段阐述该群体对作者的正面和负面影响;3)在撰写短文时,使用第二篇课文中的目标词语。该任务体
14、现了学术英语读写的主要特征,即归纳和使用阅读材料中的观点和语言。笔者设置五个关键词 influence、group、value、importance、lessons 作为切题度和连贯性的评分依据。iWrite 的反馈内容包括:1)概括性描述:包括分数、语言、内容、篇章结构和技术规范(拼写和标点)的级别。分数是对作文整体质量的评判(满分为 100),对语言、内容、篇章结构和技术规范的评价以等级的方式呈现(最高等级为 5),另外还有对语言和技术规范方面的文字描述,即评语。2)内容:连贯性和切题度的分数,满分为100。3)语言:对词法、句法和技术规范的点评和建议,以及部分词汇的同义词,供学生选择。4
15、)修改次数:学生一般修改两次以上,每次修改后,分数都可能发生变化。3.2 参与者、刺激回忆和访谈 本研究中,写作过程大约持续 40 分钟,包括学生写作、修改和多次提交等环节。88 2024 年第一辑 总第四辑为得到更为详细和深入的信息,笔者从反馈投入的角度对学生 A 和学生 B 进行刺激回忆访谈(Mackey&Gass 2016)。A、B都是大学二年级学生,A来自国际贸易专业,通过了大学英语四级考试,B 来自意大利语专业,通过了大学英语六级考试;B 的英语水平高于 A。在进行刺激回忆访谈时,笔者和两名学生同时打开电脑,对照系统反馈和修改痕迹,请他们回忆自己的修改行为、使用的策略以及当时的思考过
16、程和情感反应。此外,笔者还从反馈的准确性、及时性、满意度等角度提出了访谈问题。依据 Zhang(2020)对修改行为的分类和本研究中学生在使用 iWrite 时的表现,本研究将学生的修改行为分为修改、替换和自己修改三类。修改行为指学生根据具体反馈作出的改正;替换是学生根据系统提供的同义词或近义词,在权衡后作出的词汇替换;自己修改指学生在修改的过程中,根据分数、评语等一般性反馈以及针对自己发现的问题和不足作出的修改。4.结果和讨论下面 4.1 和 4.2 两小节呈现 A 和 B 两名学生的反馈投入案例。首先介绍他们获得的反馈的种类,然后从行为、认知和情感反应三方面分别介绍他们的反馈投入,同时结合
17、先前研究和形成性评估框架进行讨论。4.1 学生 A 反馈投入案例结果分析 在反馈内容方面(见表 1),iWrite 给 A 的第 1 版作文 77 分,并在作文的语言和内容等方面给出了评分和评语等反馈。在语言和技术规范方面,iWrite 指出了 13反馈第 1 版最终版概况分数7780.3等级语言(4.5)、内容(4)、篇章结构(3.5)和技术规范(4)语言(4.5)、内容(4)、篇章结构(3.5)和技术规范(4.5)评语文章的单词拼写错误较少,用词比较丰富。句子较为流畅,句式结构丰富多样。语法错误较少,语法结构掌握比较好。内容充实,篇幅较长,有效使用衔接词。拼写准确恰当,用词比较丰富,句子较
18、为通顺。语法结构使用准确,文章没有语法错误。内容充实,篇幅较长,结构紧凑,衔接手段运用自如。内容分数连贯性8082切题度8989表 1 学生 A 的第 1 版和最终版作文 iWrite 反馈和对比89张春青 形成性评估视角下的英语写作自动评阅反馈投入研究注:画线部分为学生修改前后内容,下同。处错误,集中在介词和限定词使用等方面。A 的第 1 版作文在篇章结构维度的等级为3.5,相对较低。评语中也指出了拼写和语法都存在问题,连贯性和切题度也有待提高。最终版数据显示,学生 A 总分提高了 3.3 分,在技术规范和连贯性两个具体方面都有提升,评语也发生了明显变化。从形成性评估的角度看,语言、内容和篇
19、章结构等反馈项目既是 iWrite 的评估目标,也是本次作文评估的目标。在修改行为中,提交次数是重要指标(Zhang 2017),是形成性评估中促学措施之一(Winstone et al.2017)。每当学生提交一版作文,AWE 系统都会重新对其进行评判。在本研究中,A共提交了11次作文,这意味着 iWrite 对她的作文进行了11轮评判。A 的修改行为包括修改、替换和自己修改(见表 2)。A 的修改行为主要发生在第 1 版和第 2 版作文之间,因为语言和技术规范问题可以参照反馈,一般能在较短时间内迅速改定(Koltovskaia 2020)。而语言和技术规范反馈也被 A 认为是系统所提供的最
20、精细、最有操作性的反馈。后续的修改行为集中在词汇替换上。A 共替换了三个词,至于系统建议的其他同义词,A 认为没有自己所用的词汇恰当。A 表示:“我的修改就是不断替换,使用更恰当的词汇。替换有效果,分数就会有波动。但有的替换词没有我用的更能表达修改行为修改前修改后修改1.its crucial for us to corporate with 2.for the acedemic aspect 3.finish these tasks in time.4.for the academic aspect.5.you postponed you own task 6.When everyone a
21、dds fuel the flames rise high.7.an experience of being a member of group 8.If not,we might not receive.9.In my opinion,I think I dont 10.joined a group myself called 1.its crucial for us to cooperate with2.for the academic aspect 3.finish these tasks on time.4.in the academic aspect.5.you postponed
22、your own task 6.When everyone adds fuel,the flames rise high.7.an experience of being a member of the group 8.If not,we might not receive it.9.I think I dont 10.joined a group called 替换1.its vital for us to 2.postponed your own task.3.would be influenced by 1.its crucial for us to 2.postponed your o
23、wn work.3.would be affected by 自己修改 according to investigation according to investigation.Also,I think I dont have any negative experiences in this group.In fact,we are“family”.表 2 学生 A 主要修改示例902024 年第一辑 总第四辑我的意思。比如 tough 这个词,系统给了 hard 和 difficult,可我觉得 tough 更好。”此外,A 在修改到第 10 版时感觉结尾太短,于是又增加了两个句子(见表
24、2)。在认知投入方面,A 调用了自己的知识储备,比较和判断自己用词和系统提供的词汇是否恰当和合理,这属于认知操作。A 也实时监控分数变化和词数变化,据此判断是否要作进一步修改。此外,A 补充的两句话并非基于系统反馈,但属于任务要求(即群体对作者的正面和负面影响,见 3.1 节)。这说明 A 在用任务要求监控自己的写作过程,显示了A使用了Black&Wiliam(2009)所提出的第一个形成性评估策略(明晰、分享和理解学习目标与成功标准)理解了任务的成功标准。这种元认知策略的使用增加了认知加工的深度,帮助 A 在改到第 10 版时意识到内容方面存在问题并作出相应改动。A增加的句子实际上发挥了完善
25、文章结构的功能,但还未达到Zhang(2020)提出的“重新组织”的程度。从表 2 中的自己修改部分和表 3 中的形符(token)数量可以看出,在整个修改过程中,A 不仅增加了句子,还显著增加了词数。这也是人机互动逐步加深的结果学生每提交一次作文,系统都会作出新的判断并提供新的反馈。然后,学生根据反馈进行相应的调整,他们的认识也随着每一次加工而不断加深。在人机互动中,具有可操作性的、精细度适宜的反馈为学生修改提供了支架,从而使他们的作文质量不断提升。在对反馈的情感态度方面,A 认为 iWrite 评分准确、及时。在效果方面,A 认为 iWrite 的反馈能促使自己在今后的写作中注意类似的问题
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 形成 评估 视角 英语 写作 自动 评阅 反馈 投入 研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。