基于英语学习者语料库的《中国英语能力等级量表》效度验证——以衔接知识运用能力量表为例.pdf

2023 年第 2 期外语测试与教学Foreign Language Testing and TeachingApr 2023中图分类号 H319 文献标识码 A 文章编号 2095-1167(2023)02-0029-10基于英语学习者语料库的中国英语能力等级量表效度验证 以衔接知识运用能力量表为例孔 文提要:作为一项新研制的语言能力量表,中国英语能力等级量表(CSE)由于其本身研制方法的局限,其效度有待在实践中验证。本文以中国英语能力等级量表衔接知识运用能力量表(CCS)为例,基于中国大学生英语语料库,运用 Coh-Metrix3.0 软件输出的 19 项衔接指标,采用定量分析方法,调查中国英语学习者语篇衔接能力发展的丰富性和层级性,以验证 CSE 衔接知识运用能力分量表描述语的效度。关键词:中国英语能力等级量表;衔接知识运用能力量表;语篇衔接的丰富性和层级性;语言能力量表的效度验证Abstract:As a newly developed language proficiency scale,Chinas Standards of English Language Ability(CSE)needs to be validated due to the weakness of its development method.Taking the Cohesion Competence Scale(CCS)of CSE as an example,this paper attempts to validate some descriptive statements in the CCS based on the English corpus of Chinese college learners with a quantitative method.To be more specific,the paper examines the diversity and hierarchy of Chinese English learners cohesion competence development in constructing English texts with 19 indexes provided by the software Coh-Metrix3.0 to validate some descriptive statements in the CCS.Key words:Chinas Standards of English Language Ability;Cohesion Competence Scale(CCS);diversity and hierarchy of textual cohesion;validation of language proficiency scales1.引言中国英语能力等级量表(Chinas Standards of English Language Ability,CSE)于 2018 年由教育部和国家语委联合颁布,旨在为我国各教育阶段的英语学习、教学和测评提供共同参考框架,促进国内英语测评与国际标准对接和互认,提升外语教育体系的透明度(刘建达 2015;金艳,揭薇 2020)。学界围绕 CSE 已展开诸多研究,主要涉及 CSE 对各种测评的指导作用(潘鸣威,吴雪峰 2019;张晓艺,金艳 2019;杨志明 2018;王巍巍 2017)、各种考试与 CSE 对接的理论和实践探索(何莲珍 2019;蔡宏文 2019;揭薇 2019;闵尚超 2019;张洁,王伟强 2019)以及CSE 在英语教学中的应用(刘建达 2019;王守仁 2018 等)。而量表的效度验证是一项长期复杂的工作,需要在使用中不断收集证据,逐步进行验证,因此 CSE 作为一项新研制的语言能力量表,其本身效度也有待不断验证(刘建达 2021)。92 基金项目:本研究为中国外语战略研究中心外教社“世界语言与文化研究”(项目编号:WYZL2022JS0001)和江苏省教育科学“十四五”规划课题(课题编号 D/2021/01/79)的阶段性成果。CSE 研制过程由描述语收集、分类和分级三个阶段组成(刘建达 2015):在收集阶段,以国内现有课程标准、教学大纲、考试大纲及国内外语言能力标准为主要来源,少部分来自调研或自编;在分类和分级阶段,主要根据专家和教师的主观判断对描述语进行初步分类和分级,然后使用问卷调查全国师生的反馈,以此验证描述语的分类和分级,最后借助 Rasch 模型等统计手段锚定各个等级并对分级结果进行验证。究其根源,无论是在描述语的收集还是分类、分级阶段,量表编制的最终依据仍是专家或教师的主观经验和判断。毋庸置疑,专家或教师的主观经验和判断在量表编制过程中发挥着举足轻重的作用,但遗憾的是,量表在研制过程中并未参考中国英语学习者的真实语料,所描述的语言能力及其在不同等级的典型特征和代表性任务尚缺少实证基础,因此量表能否客观、真实地反映出中国英语学习者语言能力发展的不同阶段及其区别性特征仍有待验证(李清华,孔烁 2020)。目前,一些学者已对 CSE 量表效度展开理论与实证研究(刘建达 2021;朱正才,曹艺 2020;金艳,揭薇 2020;何莲珍,陈大建 2017;方绪军,杨惠中 2017;朱正才 2016),但基于语料库验证 CSE 量表效度的实证研究尚不多见。为此,本文以 CSE 衔接知识运用能力量表(Cohesion Competence Scale,CCS)为例,基于中国大学生英语语料库,验证 CCS 部分描述语的效度,并为其进一步完善提供建议。2.研究过程2.1 CCS 衔接知识运用能力量表解析CSE 对中国英语学习者衔接知识运用能力的描述共分三阶(基础、提高和熟练阶段)九级,总计 28 条描述语。描述语按具体内容可划分为两类:一类描述学习者运用衔接知识产出连贯语篇的能力,另一类描述学习者运用衔接知识理解语篇的能力,其中前者为量表描述语的重点,共有 21 条,后者仅有 7 条。本研究拟选取英语专业(以下简称英专)大二和大四学生英语作文作为语料,验证 CCS 描述语效度。之所以选取这两个年级学生作文作为研究对象,主要是因为 CSE 在描述语的分级验证阶段,问卷仅调查了英专大二和大四学生,这两个抽样年级可较好地代表英专学生英语能力发展不同阶段的区别性典型特征(刘建达,彭川 2017)。由于该阶段学生的英语水平主要分布在五至九级,因此,本文重点调查五至九级中有关学习者运用衔接知识产出连贯语篇能力的描述语效度,此类描述语共计 12 条(见表 1)。表 1 CSE 衔接知识运用能力描述语(五至九级)级别描述语九级(1)能灵活运用丰富的衔接手段,使表达结构清晰,内容连贯八级(2)能就特定学术问题进行连贯合理的阐述和诠释(3)能熟练、得体地使用多种衔接手段,使内容表达连贯,符合逻辑七级(4)能使用表示文本逻辑和连贯发展的衔接手段,如先后、因果、对比(5)能使用连接词、代词等词汇衔接手段提高整个篇章的连贯性六级(6)能使用词汇衔接、省略等手段实现连贯表达(7)能恰当使用多种句式结构使行文流畅,如省略句、并列句、复合句(8)能运用衔接手段表达段落之间的关系,如对比、原因、转折(9)能使用恰当的衔接手段,在语篇表达中转换话题或观点03外语测试与教学 2023 年第 2 期(续表)五级(10)能使用多种衔接手段,清晰连贯地组织口头话语或书面表达(11)能运用被动语态改变句子中的信息焦点,实现语义连贯(12)能运用衔接手段表示句子之间的关系,如比较、对比、因果、递进、转折等由表 1 可归纳出,CCS 描述语难度等级分布主要有 2 个依据:一是以衔接质量为等级划分依据,频繁出现的关键词有“多种、恰当、熟练、得体、灵活、丰富”,具体表现为随着英语水平的提高,学习者从能运用衔接手段(如五级第 12 条描述语)逐渐过渡到能使用多种衔接手段(如五级第 10 条描述语),然后再提高到能恰当使用多种衔接手段(如六级第 9 条和第 7 条描述语)以及能熟练、得体地运用多种衔接手段(如八级第 3 条描述语),最后提升到能灵活运用丰富的衔接手段(如九级第 1 条描述语);二是以衔接范围的层级性为等级划分依据,具体表现为随着英语水平的提高,学习者能从最初仅关注局部句间衔接(如五级第 12 条描述语),逐渐过渡到重视段间衔接(如六级第 8 条描述语),最后提升到关注整体篇章的衔接与连贯(如七级第 5 条描述语)。2.2 研究问题从前文已知,CCS 描述语难度等级的划分依据主要有 2 个:一是衔接质量,具体体现为衔接手段的丰富性/多样性、灵活性/熟练性和得体性/恰当性;二是衔接范围的层级性,具体体现为关注的是局部还是整体衔接。衔接方式的丰富性和层级性可采用定量方法调查,但对其灵活性和得体性的调查目前还只能依靠专家、教师或其他读者的主观判断。本研究主要借助中国英语学习者语料库,运用 Coh-Metrix 软件输出的衔接指标,采用定量分析方法,调查中国英专学生运用衔接知识产出连贯语篇的能力发展的丰富性和层级性,以此验证 CCS 描述语的效度。从表 1 至少可推断出以下 2 项假设:H1 随着英语水平的提高,学生写作中的衔接手段更加丰富;H2 随着英语水平的提高,学生在写作中从关注局部衔接逐渐过渡到整体衔接和连贯。为验证假设 1 和 2,可分别探究以下 2 个研究问题:(1)不同级别的学生在衔接手段的丰富性上是否存在显著差异?(2)不同级别的学生在衔接范围的层级性上是否存在显著差异?若高级别学生在不同类型衔接手段的使用频率上以及在整体衔接指标的使用频率上均显著高于低级别学生,那么 CCS 描述语难度等级划分的两个依据就是科学合理的,反之则需进一步优化和调整。2.3 语料来源本研究所用语料来自“中国学生英语口笔语语料库”(文秋芳等 2008),该库是我国第一个英专学生口笔语语料库,其中笔语库由 4 950 篇作文组成。我们从中有条件地抽取大四和大二学生作文各 30 篇,分别代表高、低水平组。抽取的条件是随机选取作文题目相同且长度均为 300 词左右的作文,主要目的是控制作文体裁、内容和长度等干扰因素对衔接使用能力检测结果的影响,作文题目为“Nowadays,more and more college students rent apartments and live outside campus.Is it appropriate?State your opinion about it”。2.4 研究方法首先,将 60 篇作文导入 Coh-Metrix3.0,该软件可对口头和书面文本的词汇、句法、语义、13基于英语学习者语料库的中国英语能力等级量表效度验证衔接、文本易读性与可读性等多个方面的信息进行自动在线处理。Coh-Metrix3.0 共输出 106个指标,涵盖 11 个板块,其中输出的衔接与连贯指标主要包括连接词(connectives)、指称衔接(referential cohesion)和潜语义分析(Latent Semantic Analysis,LSA)。前两个指标是对文本表层衔接手段的统计,最后一个指标 LSA 则超越了对表层形式特征的依赖,通过采用数理统计、权值计算等方法对数据库中批量的文本进行处理与分析,构建文本之间、词语之间的潜在语义结构,即词语文本矩阵,然后采用数学中的奇异值分解(Singular Value Decomposition)方法对该矩阵进行降维,利用降维后的矩阵构建潜在语义空间,从而提取文本或者词语之间的语义相似度信息,达到简化文本数据的目的(梁茂成 2006;江进林 2016)。本文根据研究问题共选取其中 6 个连接词指标、8 个指称衔接指标和 4 个 LSA 语义相似度指标。另外,在表 1 中五级第11 条描述语提到了该级别的学生“能运用被动语态改变句子中的信息焦点,实现语义连贯”,说明能否运用被动语态同样是区分学生衔接能力等级的重要手段之一,因此我们将其使用频率也纳入统计指标。据此,每篇作文均有 19 个变量值,从不同角度探索文本的衔接和连贯性,变量类型和具体指标见表 2。表 2 Coh-Metrix3.0 输出的与衔接和连贯性相关的主要变量与指标变量类型指标指标总数连接词所有连接词的比例转折连接词的比例因果连接词的比例时序连接词的比例逻辑连接词的比例附加连接词的比例6指称衔接相邻句子名词重叠的平均数所有句子名词重叠的平均数相邻句子论元重叠的平均数所有句子论元重叠的平均数相邻句子词干重叠的平均数所有句子词干重叠的平均数相邻句子实词重叠的平均数所有句子实词重叠的平均数8语义相似度相邻句子语义相似度的平均数相邻段落语义相似度的平均数段落内所有句子语义相似度的平均数所有句子语义相似度的平均数4被动语态被动语态的比例1需要说明的是,Coh-Metrix3.0 中的指称衔接与 Halliday&Hasan(1976)定义的指称衔接不完全一致。后者中的指称衔接主要指借助代词、指示词、定冠词等进行语篇衔接,是语法衔接的一种表现形式,而 Coh-Metrix3.0 中的指称衔接主要通过计算名词、论元、词干和实词重叠的平均数,探求篇章内部的语义相关,包含了同指(co-referentiality)、同类(co-classification)和同延(co-extension)三种衔接关系。笔者利用 SPSS17.0 中的非参数独立双样本检验(Mann-Whitney Test),对大四和大二年级学生作文中反映其衔接和连贯性的 19 个指标进行差异显著性检验。3.结果与分析3.1 研究问题一两个水平组使用不同类别衔接手段的统计结果和检验结果分别如表 3 和表 4 所示。23外语测试与教学 2023 年第 2 期有关每个变量和指标的详细解释及计算方法可参看“Automated Evaluation of Text and Discourse with Coh-Metrix”一书(McNamera et al.2014)。表 3 两个水平组在连接词、指称衔接和语义相似度上的秩次统计表变量年级N秩均值秩和变量年级N秩均值秩和所有连接词大二3031.80954.00大四3029.20876.00总数60转折连接词大二3031.10933.00大四3029.90897.00总数60因果连接词大二3027.50825.00大四3033.501005.00总数60时序连接词大二3031.63949.00大四3029.37881.00总数60逻辑连接词大二3028.77863.00大四3032.23967.00总数60附加连接词大二3034.471034.00大四3026.53796.00总数60相邻句子名词重叠大二3023.97719.00大四3037.031111.00总数60所有句子名词重叠大二3023.33700.00大四3037.671130.00总数60相邻句子论元重叠大二3028.97869.00大四3032.03961.00总数60所有句子论元重叠大二3026.63799.00大四3034.371031.00总数60相邻句子词干重叠大二3024.57737.00大四3036.431093.00总数60所有句子词干重叠大二3023.70711.00大四3037.301119.00总数60相邻句子实词重叠大二3029.10873.00大四3031.90957.00总数60所有句子实词重叠大二3028.60858.00大四3032.40972.00总数60相邻句子语义相似度大二3026.28788.50大四3034.721041.50总数60相邻段落语义相似度大二3025.92777.50大四3035.081052.50总数60段内所有句子语义相似度大二3026.15784.50大四3034.851045.50总数60所有句子语义相似度大二3028.03841.00大四3032.97989.00总数60被动语态大二3029870.00大四3032960.00总数6033基于英语学习者语料库的中国英语能力等级量表效度验证表 4 两个水平组在连接词、指称衔接和语义相似度上的秩次检验表aMann-Whitney UWilcoxon WZ渐近显著性(双侧)所有连接词411.000876.000-.577.564因果连接词360.000825.000-1.331.183逻辑连接词398.000863.000-.769.442转折连接词432.000897.000-.266.790时序连接词416.000881.000-.503.615附加连接词331.000796.000-1.759.079相邻句子名词重叠254.000719.000-2.899.004相邻句子论元重叠404.000869.000-.680.496相邻句子词干重叠272.000737.000-2.632.008相邻句子实词重叠408.000873.000-.621.535所有句子名词重叠235.000700.000-3.179.001所有句子论元重叠334.000799.000-1.715.086所有句子词干重叠246.000711.000-3.016.003所有句子实词重叠393.000858.000-.843.399相邻句子语义相似度323.500788.500-1.870.061段内所有句子语义相似度319.500784.500-1.930.054相邻段落语义相似度312.500777.500-2.033.042所有句子语义相似度376.000841.000-1.094.274被动语态425.000870.000-.993.321a.分组变量:年级表 3 和表 4 统计与检验结果显示:在 19 个不同类别的衔接指标上,大四学生在 11 个指标的使用频率上均略高于大二学生,其中有 5 个指标存在显著差异。这些调查数据说明,总体而言,高水平组比低水平组学生能使用更多不同类型的衔接手段,因而以衔接手段的丰富性作为CCS 描述语的难度等级的划分依据具有可行性。但值得注意的是,高水平组衔接手段的丰富性仅体现在更为频繁地使用较为隐性的词汇或语义衔接,而非较为显性的连接词上。表 3 和表 4 的数据表明,高水平组在所有指称衔接、语义相似度和被动语态的使用频率上均高于低年级组,其中在指称衔接上有 4 个达到有显著性差异,在语义相似度上有 1 个达到显著性差异。而在连接词衔接上,高、低水平两组之间无论是在连接词使用总量及各类连接词使用比例上均无显著性差异,甚至在连接词总数、转折连接词(but、although 等)、时序连接词(first、after 等)和附加连接词(and、moreover 等)的使用比例上,二年级组都还略高于四年级组。连接词既包括连词,也包括具有连接意义的副词或介词短语,属于显性语篇衔接标记。国外学者发现,在连接词使用频率上,L2 与 L1 学习者英语写作并无显著性差异,甚至在一些简单的连接词上,L2 学习者使用的频率要略高于 L1 使用者,连接词使用的多少与作文质量无显著相关,甚至有时出现负相关(Reid 1992;Hinkel 2002;Crosssley&McNamara 2011 等)。国内学者亦发现在中国大学生英语作文中,连接词的使用频43外语测试与教学 2023 年第 2 期率不能反映语篇衔接和连贯性的强弱,低年级大学生英语作文中存在滥用连接词的现象(梁茂成 2006;马广惠 2002;赵蔚彬 2002)。低年级学生由于受到英语水平及语篇知识的限制,还未充分掌握更加精简和复杂的词汇、语法或结构衔接等手段,只能转而更多地依靠较为简单的显性连接方式来表达句间、段内、段间或篇章的先后、因果、转折等关系。这一调查结果使得表 1 中位于七级的两条描述语均略显不妥。第 4 条和第 5 条描述语均是在选用表示先后、因果、转折等关系的连接词或代词描述已达到七级英语水平学习者的衔接能力,而实际上,位于五级的学生已能使用多种连接词,如比较、对比、因果、递进、转折等衔接手段表示句子之间的关系(第 12 条描述语),还能使用多种衔接手段,清晰连贯地组织口头话语或书面表达(第 10 条描述语)。位于七级的学习者是英专大三或大四的学生,应已掌握更为隐性的词汇衔接、语法衔接、结构衔接等多种衔接方式实现语篇连贯。这一点也可从表 3 和表 4 指称衔接和语义相似度的调查结果得到佐证:在 8 种指称衔接上,四年级学生使用的平均数量均超过二年级组,其中在相邻句子名词重叠、相邻句子词干重叠、所有句子名词重叠和所有句子词干重叠 4 个指标上,两组之间的差异均达到显著性水平;在语义相似度方面,在 4 种LSA 指标上,四年级学生的平均使用数量均超过二年级组,其中在相邻段落语义相似度上,两组之间差异显著。这说明随着英语水平的提高,学习者词汇量逐步扩大,语篇知识逐渐丰富,学习者已从过度依赖显性的语篇标记表达句与句、段与段之间的衔接,转为大量利用更为隐性的语义同指、同类或同延等衔接方式构建一个共同的语义空间,建立句间、段内、段间乃至整个文本的连贯性和逻辑性,突出文本主题与结构层次性(张德禄,刘汝山 2003)。由此可见,能否恰当使用隐性衔接突出文本主题、逻辑结构等才是评估高级别学习者衔接和连贯知识运用能力发展状况的关键指标,而非连接词或代词等较基本的显性衔接手段。3.2 研究问题二 本研究中的局部衔接仅指相邻句子之间的衔接,整体衔接则包括段内、段间和整个篇章的衔接与连贯。由于连接词多用于连接两个相邻句子,故在本文中将其划分至局部衔接,据此,表 2 中的 19 个指标共有 12 个指标属于局部衔接,7 个指标属于整体衔接。研究问题一的调查结果已显示在使用连接词进行局部衔接时高、低水平组无显著性差异,下文重点讨论在指称衔接和语义相似度上,两组之间在局部和整体衔接上是否存在显著性差异。首先,在局部衔接方面,表 3 统计结果显示在相邻句子名词、相邻句子论元、相邻句子词干、相邻句子实词重叠、相邻句子语义相似度 5 个指标上,四年级学生的平均使用量均高于二年级组;表 4 检验结果表明在相邻句子名词和相邻句子词干重叠 2 个指标的平均使用量上,两组之间差异显著。其次,在整体衔接方面,表 3 统计结果显示在所有句子名词、所有句子论元、所有句子词干、所有句子实词重叠以及段内所有句子、相邻段落和所有句子语义相似度 7 个指标上,四年级学生的平均使用量均高于二年级组;表 4 检验结果表明,在所有句子名词和所有句子词干重叠及相邻段落语义相似度 3 个指标的平均使用数量上,两组之间差异显著。以上调查数据表明,与英语水平较低的学生相比,水平较高的学生的确更注重整体衔接,因此,以衔接范围的层级性作为 CCS 描述语难度等级划分的依据可行。但在基于表 3 和表 4局部衔接数据阐述高低水平组的差异时,需谨慎解释。调查结果显示,高分组学生在使用不同类型的连接词进行句间衔接的比例其实要略低于低分组,只是在使用被动语态、指称衔接和LSA 语义相似度实现句间衔接的频率上略高于低分组,且在 2 个指标上达到显著性差异,说明53基于英语学习者语料库的中国英语能力等级量表效度验证英语水平较高的学生无论是在局部衔接还是在整体衔接方面,均频繁使用语义重叠或语义相似衔接机制,而非依赖显性连接词构建语篇的微观结构和宏观结构。换言之,英语水平较高的学生由于词汇量大、语篇知识丰富,较多通过交织利用重复关键词、同义词、反义词、上下义词、互补词等复现(reiteration)和同现(collocation)等衔接手段,不仅在相邻句子之间建立语篇局部语义相关性,而且注重将散布在语篇各个区域的语义相关词汇串联系起来,生成服务于整个语篇主题的潜在语义空间,建立语篇的整体衔接和连贯性。这一调查结果使得表 1 中的七级描述语更显不妥。五级学习者已会使用被动语态和多种衔接手段进行清晰连贯的口语和书面表达(第 11 和第 10 条描述语),位于六级的学习者已能使用更为复杂的多种句式结构(第 7 条描述语)以及词汇衔接和省略手段实现连贯表达(第 6条描述语),但到了七级,学习者才能使用较为简单显性的连接词和代词提高篇章的连贯性。以上现象归根结底是由于描述语的分类分级主要依靠专家或教师的主观判断,而非基于中国英语学习者语料库对中国学生英语能力发展的真实状况展开调查与取证而造成的。4.讨论与结语本研究基于中国大学生英语笔语语料库,通过 Coh-metrix3.0 输出的 19 个指标,采用定量分析方法对 CCS 描述语的效度进行了调查。研究表明,总体而言,衔接手段丰富性和层级性 2个标准能较好地区分不同英语水平学生的衔接知识运用能力。但衔接手段的丰富性并不是体现在连接词使用的种类和数量上,而是体现在词汇衔接手段和其他语义衔接手段的使用上,构建共同的语义网络和语义空间,实现局部语义相关性和整体篇章主题相关性。当然,丰富的衔接手段还应包括本研究未涉及的其他衔接方式,如结构衔接(平行对称结构、主位述位结构、新旧信息结构)等。由于 CSE 描述语主要是从国内外教材、教学大纲、考试大纲和评分标准等描述语材料中收集而来,缺乏整体的编写理据,又无中国英语学习者语言能力发展数据库作为描述语分级的实证依据,因此,描述语难免存在系统性不强、等级之间的区别特征不明显等问题。例如,第10 条描述语(能使用多种衔接手段,清晰连贯地组织口头话语或书面表达)虽然位于五级,但似乎已涵盖了六级的第 6 条描述语(能使用词汇衔接、省略等手段实现连贯表达)和七级的第4 条描述语(能使用表示文本逻辑和连贯发展的衔接手段,如先后、因果、对比)。三条描述语之间有何区别性特征?为何处于难度不同的五、六、七三级?依据是什么?同理,位于八级的第 3 条描述语(能熟练、得体地使用多种衔接手段,使内容表达连贯,符合逻辑)与位于九级的第 1 条描述语(能灵活运用丰富的衔接手段,使表达结构清晰,内容连贯)有何质的区别?灵活运用丰富的衔接手段不就体现在能熟练、得体地使用多种衔接手段吗?此外,位于七级的第5 条描述语(能使用连接词、代词等词汇衔接手段提高整个篇章的连贯性)除了前文所述问题外,其措辞也不够准确。根据 Halliday&Hasan(1976)对衔接方式的分类,连接词和代词属于语法衔接范畴,而非词汇衔接。目前,国内一些学者(何莲珍,陈大建 2017;金艳,揭薇 2017;孔菊芳,吴雪峰 2019)已尝试对听力、口语、写作能力量表描述语的典型特征从语言质量、语言行为、附加条件等进行系统性归纳和总结,但迄今学界尚未对衔接知识运用能力量表描述语典型特征进行探讨。CSE 描述语主要由(附加条件)+语言质量+语言行为三要素构成,即描述学习者(在何种条件下)能使用何种质量的语言做何事,其中语言质量和语言行为为必要成分,附加条件为备选成分。从表1 中可以看出,衔接知识运用能力量表的描述语亦是依据此表述形式编写,但并未涉及附加条63外语测试与教学 2023 年第 2 期件,主要由衔接质量+语言行为两个要素构成,即描述学习者使用何种质量的衔接手段做何事,因此,对该部分描述语的区别性特征可从这两个维度进行系统性归纳。衔接质量可从衔接手段运用的丰富性(单一/多样)、层级性(局部/整体)、复杂性(显性/隐性)、灵活性(刻板/熟练)和得体性(不当/恰当)进行区分。表 1 中的语言行为主要有一种,即采用不同的衔接手段谋篇布局,建立句间、段内、段间和整体篇章的语义衔接,达到结构清楚、逻辑清晰、内容连贯、行文流畅之目的,这也就可以解释为何表 1 中的描述语大多脱离交际语境和具体任务,对学生语篇衔接知识运用能力进行抽象和概括。但位于八级的第 2 条描述语“能就特定学术问题进行连贯合理的阐述和诠释”就显得有些突兀,因为只有该条描述语包含了具体任务“特定学术问题”,让读者琢磨不透为何单列学术问题而不是其他问题,是否因为学术问题需要更多的专业知识而导致该类任务难以进行连贯合理的阐述和诠释?既然八级描述语含有能区分难度等级的典型任务,那为何其他级别没有?究其原因,还是 CSE 衔接知识运用能力描述语中存在的问题与其研制方法缺少实证基础紧密相关。量表的效度验证是一个循环往复的漫长过程,需在应用过程中不断对其进行审视、评估、修正和补充(刘建达 2021;金艳,揭薇 2020)。目前,为验证欧洲语言共同参考框架(Common European Framework of Reference for Languages,CEFR,Council of Europe 2001)描述语分级的合理性和准确性,已建立了英语学习者语料库(the English Profile)供研究者使用,另有一些学者通过自建语料库获取的数据对 CEFR 进行验证(Paquot 2018;Carlsen 2010)。CSE若想从根本上克服描述语系统性不足、难度等级划分依据模糊不清、分级不明、典型任务欠缺等问题,同样需要依据二语习得理论,在中国英语学习者语料库的基础上,提取、归纳和概括中国英语学习者语言能力发展的典型特征以及在不同发展阶段具有代表性的典型任务和学习活动。因此,在后续的 CSE 效度研究中,我国学者需借助中国英语学习者真实语料库,为量表效度提供实证基础,为描述语的修正、补充和完善提供数据支持,为建立更加严谨、科学的语言能力量表不断努力。参 考 文 献1 Carlsen C.Discourse connectives across CEFR-levels:A corpus based study A.In Bartning I,Marin M&Vedder I(eds.).Communicative Proficiency and Linguistic Development Intersections between SLA and Language Testing Research(Vol.1)C.Eurosla Monographs Series.Amsterdam:Eurosla,2010.191-210.2 Council of Europe.Common European Framework of Reference for Languages Learning Teaching Assessment S.Cambridge:Press Syndicate of the University of Cambridge,2001.3 Crossley S A&McNamara D S.Shared features of L2 writing:Intergrouphomogeneity and text classification J.Journal of Second Language Writing,2011,20(4):271-285.4 Halliday M A K&Hasan R.Cohesion in English M.London:Longman,1976.5 Hinkel E.Second Language Writers Text Linguistic and Rhetorical Features M.Mahwah,NJ:Lawrence Earbaum Associates,2002.6 McNamara D S,Graesser A C,McCarthy P&Cai Z.Automated Evaluation of Text and Discourse with Coh-Metrix M.Cambridge,UK:Cambridge University Press,2014.73基于英语学习者语料库的中国英语能力等级量表效度验证www.englishprofile.org7 Paquot M.Phraseological competence:A missing component in university entrance language tests?Insights from a study of EFL Learners use of statistical collocations J.Language Assessment Quarterly,2018,15(1):29-43.8 Reid J R.A computer text analysis of four cohesion device in English discourse by native and nonnative writers J.Journal of Second Language Writing,1992,1(2):79-107.9 蔡宏文.产出型语言考试与语言标准对接的效度问题 概括性与一致性J.现代外语,2019,(5):709-721.10 方绪军,杨惠中.语言能力等级量表的效度及效度验证J.外国语,2017,(4):2-14.11 何莲珍.语言考试与语言标准对接的效度验证框架J.现代外语,2019,(5):660-671.12 何莲珍,陈大建.中国英语能力等级量表结构探微 听力描述语的横向参数框架与纵向典型特征J.外语界,2017,(4):12-19.13 江进林.Coh-Metrix 工具在外语教学与研究中的应用J.中国外语,2016,(5):58-65.14 揭薇.英语口语考试与中国英语能力等级量表对接研究 以 CET-SET4 为例J.外语界,2019,(1):71-80.15 金艳,揭薇.中国英语能力等级量表的“口语量表”制定原则与方法J.外语界,2017,(2):10-19.16 金艳,揭薇.语言能力量表的应用与后效研究 以 CSE 口语量表为例J.外语界,2020,(3):52-60.17 孔菊芳,吴雪峰.中国英语能力等级量表结构探微 以书面表达能力量表为例J.外语测试与教学,2019,(1):16-26.18 李清华,孔烁.语言能力等级量表效度研究评述J.北京第二外国语学院学报,2020,(4):32-44.19 梁茂成.学习者书面语语篇连贯性的研究J.现代外语,2006,(3):284-292.20 刘建达.我国英语能力等级量表研制的基本思路J.中国考试,2015,(1):7-11.21 刘建达.中国英语能力等级量表与英语教学J.外语界,2019,(3):7-14.22 刘建达.中国英语能力等级量表效度验证J.现代外语,2021,44(1):83-105.23 刘建达,彭川.构建科学的中国英语能力等级量表J.外语界,2017,(2):2-9.24 马广惠.中美大学生英语作文语言特征的对比分析J.外语教学与研究,2002,(5):345-349.25 闵尚超.接受型语言考试与语言标准对接的效度问题 一致性J.现代外语,2019,(5):696-708.26 潘鸣威,吴雪峰.中国英语能力等级量表在中小学英语形成性评价中的应用 以写作能力为例J.外语界,2019,(1):89-96.27 王守仁.中国英语能力等级量表在大学英语教学中的应用J.外语教学,2018,(4):1-4.28 王巍巍.中国英语口译能力等级量表构建与应用 以口译教学中的形成性评估为例J.外语界,2017,(6):2-10.29 文秋芳,梁茂成,晏小琴.中国学生英语口笔语语料库Z.北京:外语教学与研究出版社,2008.30 杨志明.基于中国英语能力等级量表之形成性阅读能力测试 以傲慢与偏见阅读测试为例J.教育测量与评价,2018,(5):5-10.31 张德禄,刘汝山.语篇连贯与衔接理论的发展及应用M.上海:上海外语教育出版社,2003.32 张洁,王伟强.接受型语言考试与语言标准对接的效度问题 来自标准设定过程的证据J.现代外语,2019,(5):684-695.33 张晓艺,金艳.评分量表对口语考试构念效度的影响:交互构念理论视角J.外语界,2019,(1):61-70.34 赵蔚彬.中国学生英语作文中逻辑连接词使用量化对比分析J.外语教学,2002,(2):72-77.3