读后续写任务提示条件对写作表现和评分信度的影响.pdf
《读后续写任务提示条件对写作表现和评分信度的影响.pdf》由会员分享,可在线阅读,更多相关《读后续写任务提示条件对写作表现和评分信度的影响.pdf(16页珍藏版)》请在咨信网上搜索。
1、 21 2024 年第一辑 总第四辑读后续写任务提示条件对 写作表现和评分信度的影响*张洁 上海财经大学提 要:读后续写任务将语言理解和产出紧密结合,通过互动协同促进语言习得,具有积极的促学效果。然而,当读后续写应用于大规模考试,则需要考虑任务设计,在保障考试信效度和发挥积极促学作用之间寻求最佳平衡。本研究聚焦读后续写任务中的提示条件,采用实证研究方法考察不同提示条件如何影响学生的写作表现和评分员的评分信度。结果发现,适度的内容提示能够减轻学习者的认知负担,有助于他们创造内容,产出整体质量更高的续作;同时,适度的内容提示也能帮助评分员更一致地把握内容维度的评分尺度,保障评分信度。研究发现对读后
2、续写命题和评分具有重要的启示意义。关键词:读后续写;任务提示条件;段首句;内容创造;评分信度1.引言为了发挥考试对教学的积极引导作用,我国在高考英语写作部分引入读后续写题型。该题型要求考生阅读一篇英语短文,然后按提示将其续写完整(刘庆思、陈康2016)。读后续写题型之所以能够促学,在于其将语言理解与产出紧密结合,鼓励学习者进行“创造性模仿”,通过互动协同促进语言习得(王初明 2021)。然而,将该题型应用于大规模高利害考试,需要考虑如何设计任务条件,在保障考试信效度和发挥积极促学作用之间寻求最佳平衡(王初明 2022)。目前有关读后续写测试的研究多关注其构念界定或任务特征对写作质量和协同效应的
3、影响,对其如何影响评分信度鲜有探究。本研究拟聚焦读后续写任务中的提示条件,采用实证研究的方法,考察不同的提示条件如何影响学习者写作表现和评分员的评分信度,以期为读后续写题型设计提供有价值的参考。*本研究系国家社会科学基金一般项目“读后续写在我国高考英语中的应用研究”(项目编号:21BYY125)的 阶段性成果。22 2024 年第一辑 总第四辑2.文献综述读后续写作为一种读写结合任务,要求学习者通过阅读与原文充分互动,将语言理解和产出紧密结合,通过“续”加强两者之间的互动协同,起到“拉平”学习效应(Wang&Wang 2014;王敏、王初明 2014)。相关理论和实证研究表明,读后续写任务的目
4、标构念包括三个主要维度:理解原文、与原文互动协同和在这两者基础上的书面表达(王初明、亓鲁霞 2013;王敏、王初明 2014;陈康 2019;张洁等 2023)。Plakans(2013)根据目标能力,将读写结合任务分为忠实文本型(text-responsible)、忠实内容型(content-responsible)和主题关联型(thematically linked)。Ye&Ren(2023)使用结构方程模型验证了读后续写目标能力结构,指出读后续写更接近忠实内容型的读写结合任务,学习者需要基于原文理解创造内容,调用语法知识、语篇综合和书面表达等能力将原文内容和所创造的内容整合衔接才能完成续
5、写。这也印证了读后续写是将内容创造与语言使用紧密结合的任务(王初明 2014)。内容创造可以帮助激发学习者内生表达动力,增强任务参与度,促进语言协同的发生(辛声、李丽霞 2020),是衡量读后续写任务表现的一个重要维度。除对目标能力构念的界定之外,任务特征如何影响续写表现对于题型设计和效度验证也至关重要。现有研究主要考察前读材料特征或写作提示对续写表现和协同效应的影响。Peng et al.(2018)探讨了前读材料的文本复杂度对续写表现的影响,发现经过简化的材料与学习者的语言能力更匹配,续写整体质量更高,协同效应更显著。薛慧航(2013)则聚焦文本的情景兴趣(text-based situa
6、tional interest),发现趣味性更强的故事续写的协同效应更强,学习者出现的写作错误更少。此外,体裁也是前读材料的重要特征变量。尽管大多数研究基于记叙文续写,也有研究者对比了不同体裁的续写任务表现,但所得结论并不完全一致。张秀芹和张倩(2017)对比了议论文续写和记叙文续写,发现议论文续写的协同效应更强,学习者的产出错误明显少于记叙文续写。她们由此认为,议论文续写更有利于提升语言表达的准确性。张洁等(2023)对比了同一组学习者在记叙文、说明文和议论文续写任务中的写作质量和词汇协同指标后,却发现议论文和说明文续写任务的词汇协同强度较记叙文续写低,可能是由于这两种体裁的续写任务对学习者
7、概括、推断等高阶思维能力要求更高,任务的认知负担更大,一定程度上减弱了协同效应。除前读材料外,续写提示条件也是影响任务表现的重要因素。一类提示条件使用语篇强化或任务指令,凸显前读材料中特定语言形式,并明确要求学习者在续写中使用该语言形式。袁丹纯(2013)发现,明确要求学习者使用前读材料中的词汇和结构 23 张洁 读后续写任务提示条件对写作表现和评分信度的影响 的指令可以增强续写中的语言协同强度,且低水平学习者更易受到任务指令的影响。辛声(2017)则使用强化输入的方法,在前文中使用下划线标注出使用虚拟语气的句子,此类经过强化的输入在一定程度上促进了结构相对简单的虚拟语气的习得,但对结构复杂的
8、虚拟语气促进效果欠佳。另一类提示条件主要针对内容创造,为续写提供段首句,或标注前读材料中体现重要内容要素的关键词。现行的高考英语读后续写题主要采用这类提示条件。Shi et al.(2020)和张洁(2022)对比了学习者在不同提示条件下(是否提供关键词和/或段首句)的续写文本特征、写作策略和写作过程。前者发现,同时提供关键词和段首句能够提升续作质量,且能够减轻学习者的认知负担;后者则发现,相比提供关键词,合理设置的段首句能够更好地帮助学习者理解原文并构思续写内容。上述研究多聚焦任务特征对学习者续写表现和协同强度的影响,鲜有研究关注任务设计如何影响评分质量,而这对于将读后续写应用于大规模高利害
9、考试尤其重要。Cumming et al.(2001)通过对比老版 TOEFL 话题写作和新版 TOEFL 综合写作任务中评分员的决策过程和策略以及评分时关注的文本特征,为综合写作任务在 TOEFL考试中的大规模应用进行效度验证,同时为优化题型设计、评分标准制定和评分员培训提供依据。同理,将读后续写应用于大规模考试,核心问题之一是如何通过有效、可靠的试题设计引出学生的最佳表现,为评估其目标语言能力提供有效语言样本(Hughes&Hughes 2020),同时也要有利于确保评分的一致性和公平性。王初明(2022)提到考试中使用内容提示条件可能会限制学习者的创造力,从而影响考试的促学效果;但仅为了
10、追求积极反拨效应而忽视考试信度亦不可取。如何在考试信度与促学之间寻求最佳平衡和妥协,是考试追求积极反拨效应的重要考量。有鉴于此,本研究将通过考察提示条件如何影响学生的写作表现和评分员的评分信度,探讨如何合理设置提示条件以保障试题的信度和效度。具体而言,本研究拟回答两个研究问题:1)读后续写任务提示条件如何影响学生的写作表现?2)读后续写任务提示条件如何影响评分员的评分信度?3.研究方法3.1 写作任务本研究中读后续写题的前读材料是一篇记叙文,包含 5 个自然段,共 345 个单词,可读性指数(Flesch-Kincaid Grade Level)为 4.6,属于难度较低的文章。故事讲述 24
11、2024 年第一辑 总第四辑了一名骑行者在旅途中与同行者分开后遇到一匹狼,狼穷追不舍。所给原文的结尾处,两位陌生人驾车从这名骑行者身边路过,任务要求考生续写此后的故事情节。根据对续写部分的提示不同,研究者设计了三种任务条件。任务条件 1:任务画出原文中若干体现关键内容要素的关键词,要求学习者在续作中使用其中至少 5 个关键词,并提供 2 个续写段落的段首句;任务条件 2:只是提供 2 个续写段落的段首句;任务条件 3:未进行任何提示。3.2 参与者为避免考试训练效应,本研究在尚未进行高考综合改革的省份进行,即参与学生未受过读后续写写作方法的系统训练。参与者为来自该省省会城市中等水平学校高中二年
12、级三个平行班级的学生。根据最近一次的年级统一英语考试成绩,三个班级学生的英语语言水平整体相当。3.3 数据收集研究者在同一时间和地点向学生介绍读后续写测试要求,然后学生在规定时间内(45 分钟)独立完成测试。三个班级的学生被随机分配完成三种任务条件中的任一种。筛除无效作答后(全部空白或某一段空白)后,研究者收集三种任务条件下的有效作答,分别为 34 份、36 份和 35 份。学生完成试题后,研究者从三个班级中挑选综合英语水平中等偏上的 12 名学习者(男生 5 名,女生 7 名)进行受激回溯。受激回溯一对一进行。回溯过程中,学习者对照试题和作答,在研究者的引导下回溯续写过程。回溯按照提纲展开,
13、主要包括对原文的理解、提示条件对写作的影响、构思和写作过程及遇到的困难等。回溯过程全程录音。三种任务条件下的所有作答随机排列后由 6 名具有读后续写高考阅卷经验的评分教师(以下简称“评分员”)独立进行整体评分。评分采用 15 分制,参考现行高考英语读后续写评分标准,根据续作在内容创造、语言质量和篇章连贯等方面的综合表现进行整体评判。完成评分后,研究者对评分员开展后续访谈,同时询问他们对三种任务条件下学生续写作答的整体看法,包括在评分时有何困难、学生作答是否体现不同特点等。3.4 数据分析数据分析采用了定量和定性相结合的方法。6 名评分员的评分使用 FACETS Version 3.58.0(L
14、inacre 2005)进行多层面Rasch模型分析(以下简称“MFRM分析”)。25 张洁 读后续写任务提示条件对写作表现和评分信度的影响 分析采用评定量表模型,包括学生、评分员和任务条件三个层面,其中评分员和任务条件层面设置为负向,表示数值越高评分越严厉,任务条件难度越大。分析结果用于对评分整体质量进行评估,包括评分严厉度、一致性和偏差分析。采用结果中学习者在各任务条件下的调整分(fair measure)作为续作整体质量的评分。对三种任务条件下的评分进行描述统计和均值检验,以考察任务条件对续作整体质量的影响。研究者对学生受激回溯和评分员访谈录音进行转写,总时长约 4 小时,转写后产出约
15、4.8 万字的文本,对录音文稿的分析采用扎根理论(Corbin&Strauss 2008)中的归纳性质性数据分析方法。研究者首先对文本进行多次通读,根据回溯和访谈提纲,归纳其中浮现的有关不同任务条件下续写表现的主要特点。4.结果与分析4.1 不同任务条件下评分信度比较表 13 汇总了各任务条件下反映 6 名评分员评分信度的统计指标,包括严厉度(measure)、加权拟合值(Infit MnSq)、非拟合评分数(unexpected response)、显著偏差数、分隔系数和分隔信度。其中,反映评分员严厉度差异的指标主要包括其严厉度值的跨度(最严厉和最宽松评分员之间的差异)以及评分员层面的分隔系
16、数和分隔信度。一般认为严厉度值差异在 1 logit 之内,则说明评分员严厉度之间的差异适度。从整个评分员层面来看,分隔系数大于,则说明个体间有明显差异(Myford&Wolfe 2004)。分隔信度的含义与一般意义上的评分信度有所不同。评分信度是评分员之间相似度的衡量,数值越大说明两个评分者评分越一致;而分隔信度衡量的是评分员之间有显著差异的程度,数值越大则说明差异越显著。评分员的自身一致性主要参考加权拟合值,该指标衡量个体评分员的实际严厉度与模型预测值之间的拟合程度。一般认为 Infit 取值在 0.71.3 的范围内,可以认为评分员在所有样本上的严厉度符合模型预期,具有较好的前后一致性(
17、Bonk&Ockey 2003)。大于该范围称为非拟合,说明评分员前后一致性较差;小于该范围则称为过度拟合,说明评分可能存在一定的趋中效应或光环效应(Myford&Wolfe 2003,2004)。一般认为过度拟合对评分信度的影响相小于非拟合。除此之外,每位评分员的非拟合评分数以及显著偏差数也能从一定程度上反映其评分的自身一致性。非拟合评分是该评分员所评分数中与模型预测显著不同的分数,体现了显著的随机差异。对学生层面的偏差分析可以检测评分员是否在评价某些学生时与其一贯标准相比 26 2024 年第一辑 总第四辑过于严厉或宽松,体现了他们对评分标准把控上的前后一致性。对某个或某类学生的显著偏差很
18、可能是与该(类)学生的一些突出特征(非典型特征或与构念无关的特征)相关。表 1 任务条件 1 评分信度指标严厉度 加权拟合值非拟合评分数显著偏差数(对学生)评分员 10.771.6825评分员 2-0.240.5700评分员 3-0.351.1403评分员 4-0.330.7100评分员 50.040.9202评分员 60.120.7701分隔系数:2.98;分隔信度:0.90;卡方值:59.2;df=5;p=0.00表 2 任务条件 2 评分信度指标严厉度 加权拟合值非拟合评分数显著偏差数(对学生)评分员 10.461.2311评分员 2-0.101.1701评分员 30.141.0301评
19、分员 40.120.9400评分员 5-0.180.9200评分员 6-0.200.4302分隔系数:1.55;分隔信度:0.75;卡方值:23.9;df=5;p=0.00表 3 任务条件 3 评分信度指标严厉度 加权拟合值非拟合评分数显著偏差数(对学生)评分员 10.511.0701评分员 2-0.341.2200评分员 31.061.0601评分员 4-0.931.1000评分员 5-0.200.9101评分员 6-0.110.3701分隔系数:4.61;分隔信度:0.95;卡方值:126.2;df=5;p=0.00 27 张洁 读后续写任务提示条件对写作表现和评分信度的影响 三种任务条件
20、评分信度指标显示,针对任务条件 2 作答的评分,6 名评分员之间的严厉度差异最小(跨度为 0.66 logit,分隔系数为 1.55,分隔信度为 0.75),仅有 1名评分员 Infit 值为 0.43,为过度拟合,非拟合评分数为 1,显著偏差数为 5,整体而言评分信度最高。任务条件3作答评分中,评分员之间的严厉度差异最大(跨度为1.99 logit,分隔系数为 4.61,分隔信度为 0.95),但评分员的自身一致性尚可,仅有 1 名评分员 Infit 值为 0.37,为过度拟合,无非拟合评分,显著偏差数为 4。而针对任务条件1作答的评分中,尽管6名评分员的严厉度适中(跨度为1.12 logi
21、t,分隔系数为2.98,分隔信度为 0.90),但评分员自身一致性相对较差,有 1 名不拟合的评分员(Infit 值为 1.68)和 1 名过度拟合的评分员(Infit 值为 0.57),非拟合评分数为 2,显著偏差数为 11。经比较发现,不同的任务条件下,评分员的评分信度存在一定的差异,在不同指标上体现出不同特点。整体而言,在评阅任务条件 2 下的续作时,评分信度最高:评分员之间严厉度的差异最小,说明他们整体对标准的理解和把握尺度最为一致,同时自身一致性较高,前后较为稳定;在评阅任务条件 1 下的续作时,评分员的自身一致性最差,可能是由于某些与构念无关的因素或学生的续作中出现非典型特征的比例
22、更高;而在评阅任务条件 3 下的续作时,评分员之间的严厉度差异最大,说明对该条件下的作答质量评价标准把控可能存在一定分歧。4.2 不同任务条件下写作表现比较4.2.1 整体写作质量将 MFRM 分析结果中学生在每种任务上的调整分作为最终得分。因调整分抵消了学生能力外因素的影响,能够更为准确、客观地反映其整体写作质量。表 4 展示了不同任务条件下续写样本的评分均值和标准差,可以看出任务条件 3 下的续作评分均值低于任务条件 1 和任务条件 2。表 4 不同任务条件评分均值统计均值标准差任务条件 1(N=34)7.81.74任务条件 2(N=36)7.81.25任务条件 3(N=35)7.11.7
23、2对三个任务条件下的续作得分进行均值检验,方差齐性检验p=0.154,说明方差 28 2024 年第一辑 总第四辑无显著差异,可以进行 ANOVA 单维方差分析。统计结果显示,三个任务条件下的续写样本整体质量无显著差异(F=2.189,df=2,p=0.117)。对三种任务条件进行两两比较的事后检验结果显示,任务条件 1 和 2 之间的差异(p=0.975)小于任务条件 1和 3(p=0.073)以及任务条件 2 和 3(p=0.072)之间的差异,即任务条件 1 和 2 差异不显著,任务条件 1 和 3、任务条件 2 和 3 呈边缘性显著。这可能是因为任务条件 3没有提供任何提示,增加了任务
24、的认知负担,因此学生的续作质量相比任务条件 1和 2 来说稍低。4.2.2 评分教师反馈研究者对 6 名评分员的访谈录音进行整理和归纳后发现,评分员普遍认为有提示的任务条件(任务条件 1 和 2)下的续写产出与无提示的任务条件(任务条件 3)下的续写产出有较明显的差异,主要体现在续写的内容创造上。具体而言,在任务条件 1 和 2 下,学生的续写作答整体“创造的情节发展方向性比较明确,发散性较小”(评分员 2)。其中起到关键性作用的是两个段首句,它们对后续情节设置指明了方向,因此整体故事发展更具有逻辑性,在内容上与原文的融洽度也更高。而在没有任何提示的任务条件 3 下,学生的续写作答“受前文的约
25、束力和限制普遍较弱”(评分员 4);内容创造上会体现更多不同,但“情节发展缺少指向性,有些与原文情境严重脱节”(评分员 1);相应地,“逻辑性、连贯性上有比较大的欠缺”(评分员 3);也有一位评分员(评分员 6)结合自己的教学经验提到,不给学生任何提示虽然“有利于学生发挥创造性,但加大了考试评价的难度,学生也会倾向于使用抄袭、套用等手段来应对”。而对于任务条件 1 中画出并要求使用关键词的提示条件,不同评分员的看法并不一致。有的评分员(评分员 1、评分员 2)认为要求使用关键词能够限制情节发展方向,帮助学生进行构思;有的评分员(评分员 4、评分员 6)则认为限制过多,不利于学生发挥创造力,且在
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 后续 任务 提示 条件 写作 表现 评分 信度 影响
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,个别因单元格分列造成显示页码不一将协商解决,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。