基于书签法的学科关键能力水平划分研究.pdf

收稿日期：基金项目：作者简介：2023-10-18北京市教育科学“十四五”规划课题“学习进阶视角下的学生科学思维发展研究”（BECA21112）宋昕昊，男，北京师范大学教育学部在读硕士生；刘奕轩，女，北京师范大学物理学系在读博士生；姚建欣，男，北京师范大学物理学系副教授，博士生导师（通信作者）。宋昕昊刘奕轩姚建欣（北京师范大学，北京 100875）基于书签法的学科关键能力水平划分研究摘要：对学科关键能力的水平划分是研制和应用学业质量标准的基础。相比安戈夫法等传统水平划分方法，书签法在扩大评价工具适用范围、降低专家判断负担等方面具有明显优势，近年来在国际大型教育测评项目中得到越来越广泛应用。本研究聚焦科学教育领域的模型认知与模型实践能力，首先通过理论研究确定能力维度和水平预设，随后在实证研究中使用书签法厘定分界分数、描述表现水平，并据此提出七维度五水平的模型认知与模型实践能力表现框架。研究过程展现了应用书签法对学科关键能力进行水平划分的技术路线，对书签法的应用实践提出遵循规范流程、简化供给专家数据、平等讨论作出决策等操作建议。关键词：能力评价；水平划分；书签法；学业质量；模型认知；模型实践【中图分类号】G405【文献标识码】A【文章编号】1005-8427（2024）04-0058-10DOI:10.19360/ki.11-3303/g4.2024.04.007在新一轮基础教育课程改革中，反映核心素养发展状况的学业质量标准对于教学与评价设计起着引领作用。学业质量标准是依据学科核心素养水平划分，对学生完成学科课程学习后的学业成就表现的总体刻画1。关键能力是核心素养的重要组成部分，对学科关键能力的水平划分是研制和应用学业质量标准的基础，也是当前评价研究的重点。在科学教育领域，理解、建构与使用模型是科技工作者探究世界和学生学习科学的有效工具。我国理科各科课程标准、美国新一代科学教育标准（Next Generation ScienceStandards）等均提出学生模型认知与模型实践的明确要求。在此背景下，本研究聚焦模型认知与模型实践能力，使用书签法对高中生的能力表现进行水平划分，以期为学科关键能力的水平划分探索方法路径，并基于研究过程对书签法的应用提出建议。一、理论基础标准参照测验与分界分数是相伴而生的，但很多测评项目中分界分数的设定是遵循惯例甚至是武断的2。标准参照测验在20世纪60-70年代广泛应用，使得如何科学、客观地设置分界分数成为评价研究的一个重要问题。这一时期被视为是水平划分研究工作的觉醒时代（awakeningage）3。此期间涌现出许多水平划分方法，包括安Journal of China Examinations2024年第4期No.4,2024戈夫法（Angoff method）、阿贝尔法（Ebel method）、对比组方法（contrasting-group method）、随机逼近法（stochastic approximation）等。从教育测量的视角出发，早期定义水平划分为遵循合理、客观、严谨的规则和程序，确定可区分两种或两种以上表现程度的数值范围的研究工作4。该定义遵循参数估计范式，侧重于划分程序的规范与严谨。进一步考虑水平划分的本质，当前定义水平划分为各专家独立判断并加以综合，创建不同的表现分类以将卷面分数分隔为有意义、有用的区间的过程518。安戈夫法是大型考试中最常用的水平划分方法。安戈夫法基于经典测量理论（classical testtheory），通过估计最低能力表现考生（minimal accepted person）正确回答每道试题的概率产生分界分数。安戈夫法提出以后，还出现了十几种衍生方法。20世纪 90年代，随着计算机自适应测试等新型测试形式的出现，以及项目反应理论（item response theory）在教育测量和心理测量中的广泛应用，传统水平划分方法受到挑战。在此背景下，Lewis等提出书签法（bookmark method）6。当前，书签法在PISA、TIMMS等国际测评项目中得到广泛应用，在我国国家基础教育质量监测、美国国家教育进展评价（National Assessment ofEducational Progress）等国家教育测评中也发挥出越来越重要的作用7。在书签法中，专家围绕由易到难排序的有序试题册（ordered item booklet）对试题开展讨论，将书签放置在刚好到达某水平的学生能“掌握”的试题处。由此，书签位置提供了分界分数，而书签之间的试题为表现水平描述提供依据。与安戈夫法等传统的水平划分方法相比，书签法具有三个明显优势。第一，书签法适用试题类型范围更广。在传统的水平划分方法中，不同类型的试题需选用不同的水平划分方法，例如，安戈夫法更适用于单项选择题，对比组方法等以学生为中心的水平划分方法（examinee-centered method）更适用于主观题。因此，传统的方法需要额外的步骤以整合多种方法产生的分界分数8，而书签法对当下常见的各类型试题均适用。实际上，Lewis等开发书签法的初衷就是用统一的方法对各类试题进行水平划分。第二，书签法认知复杂度低，简单易操作。安戈夫法需判断出最低能力学生正确作答的概率，该过程是在0至100%中进行主观估计，属于大小判断（magnitude judgement）。而书签法只需判断最低表现学生能掌握的试题，专家只需在有序试题册范围内选出最低能力考生刚好掌握的试题，属于分类判断（categoricaljudgement），分类判断在认知层面更为简单9269。而且，书签法需要专家作出判断的次数更少。假设使用50道题组成的测试工具将学生划分五个水平，采用安戈夫法时每位专家共需做出200次判断（50个试题 4个分界分数），而使用一轮书签法每位专家只需做出四次判断。第三，书签法能将表现描述与测评工具联系起来。水平划分任务应包含分界分数的确立以及表现水平的描述两个环节10。在书签法中，分界分数由书签在有序试题册中的位置产生，同时书签也将有序试题册分成不同的部分，有序试题册中各书签之间的试题为水平描述提供了依据。二、研究过程前期研究通过对科学哲学领域的模型观、学生模型认知以及学生模型实践表现的综述，提出模型认知与模型实践能力的学习进阶框架。在框架中，模型认知方面包括模型本质、可变性及功能，模型时间方面包括模型使用、评估、修改和建构新模型，各维度基本包含四至五个水平，共同组成七维度五水平的进阶框架11。为进一步了解学生在模型认知与模型实践方面的真实能力宋昕昊 等：基于书签法的学科关键能力水平划分研究592024年第4期表现，从而优化学业质量标准的设定，本研究开发了学生模型认知与模型实践能力测评工具，实施测评并进行水平划分。测评工具包括模型认知和模型实践两部分，其中模型认知试题来源于Treagust等开发的量表12，模型实践试题源于学业质量监测题库。完整的测评工具共包含20道模型认知试题和45道模型实践试题。采用水平链接的方法将其分成四套平行试卷，包含选择链接设计、重组试题并分析、评估链接质量、整体分析四个步骤13，最终确定五道模型认知题和五道模型实践试题为链接题。在K市某三所中学高一年级中进行随机抽样确立被试（N=724）。测试数据分析采用R软件中的TAM包中的部分评分模型（partial-credit model）。本研究重点介绍研究过程中的水平划分部分。研究使用书签法进行水平划分共分为三个阶段：准备阶段、实施阶段以及评估阶段。具体流程见图1。（一）准备阶段准备阶段分为两个环节：材料准备以及专家准备。有序试题册的制作是书签法材料准备阶段的首要任务。在制作有序试题册前，需选定“掌握”决策点。书签法对“掌握”的定义基于作答概率（response probability，简称RP值），若学生正确作答某试题的概率到达某一特定RP值，则认为学生“掌握”该试题。美国教育考试中心（Educational Test Service）一般选取RP=0.800，而在NAEP中，RP值选为0.65014。有研究证实，选RP取值为（c+2）/3时对书签法最有利15。由于本研究使用Rasch模型，猜测参数c取值为0，因此本研究选择2/3决策原则，这也是目前书签法中最常用的RP取值。0-1计分试题与多级计分试题被制作进同一有序试题册中。其中，多级计分试题在有序试题册中会多次出现，每一次出现代表学生得到某一等级分。Rasch模型将试题的难度和学生的能力放到同一标尺上，因此可以将每道试题或各等级分在2/3决策点处的学生能力值作为试题的难度定位值。R 软件中的 TAM 包可生成试题特征曲线（ICC）的坐标值，借助TAM包可得到各试题（或各等级分）的决策点能力值。对于0-1计分试题，若学生正确作答的概率为 0.667，则认为学生掌握了该试题；对于多级计分试题，学生掌握某一等级分对应的知识与能力被定义为学生得分大于或等于该等级分的概率为 0.6675162。图 2a为 0-图 1 书签法基本流程图 2 两类试题的特征曲线0.5820.0840.666=+1分2分0.393201-1-20.6670.0581.0P（）0.80.60.40.20.01.0P（）0.80.60.40.20.0201-1-2ba60题号1-11-21-32-12-22-33-13-23-34-14-24-35-15-25-36-16-26-37-17-27-38-18-28-39-19-29-310-110-210-3决策点能力值-1.646-0.0101.856-0.7321.0741.635-0.4320.9732.131-0.6520.8332.378-1.636-0.3641.697-1.515-0.3541.254-1.1740.1722.197-1.596-0.4721.756-1.3950.1622.538-1.2730.0701.977题号11121314151617181920-120-221-121-222232425262728-128-228-329-129-229-330-130-230-331-131-2决策点能力值1.5280.929-0.3350.761-1.9201.5221.9373.7350.648-0.6921.3752.0172.7373.0190.9141.3333.2112.519-0.750-0.1911.7072.418-0.8531.1742.799-0.956-0.2310.393-1.896-0.194题号31-332-132-233-133-233-334-134-235-135-235-33637383940414243-143-243-344-145-145-246-146-24748-148-249-1决策点能力值0.636-1.033-0.551-1.2540.1301.404-0.5120.773-0.9490.6262.3981.7702.0252.2831.886-1.236-0.4920.058-1.283-0.0701.274-1.052-1.4350.090-0.632-0.182-1.5770.3933.0711.166题号50-150-251525354-154-255-155-256-156-256-357-157-25859606162-162-263-163-263-364-164-265-165-265-3决策点能力值-0.7120.707-4.3571.4252.3492.7473.0860.4312.278-1.074-0.3430.311-0.973-0.411-0.3802.2651.3110.1312.1413.6770.7171.4243.0852.3583.020-0.2110.0500.873表 1 试题决策点（RP=2/3）能力值1计分试题42题的ICC，能力值为0.058的学生正确作答42题的概率为0.667，因此认为该题的决策点能力值为0.058；图2b为多级计分试题48题的 ICC，能力值为 0.393 的学生得 1 分的概率为0.084，得2分的概率为0.582，学生得分大于等于1分的概率约为0.666，因此，判断该题等级分1分的决策点能力值为 0.393。基于该方法，可得到全部试题的决策点能力值。表1展示本研究全部试题的决策点能力值。随后，将决策点能力值从小到大进行排序，得到有序试题册。有序试题册共包含118页，代表全部的试题总分为118分。图3是有序试题册的第26页试题。除有序试题册外，还需为专家准备实测试卷、标准答案等。多级评分试题还需为专家准备评分标准，以及各等级分对应的典型学生作答案例。专家准备阶段主要包括专家的挑选以及培训。书签法一般挑选精通教育测量以及熟悉本次水平划分的学科领域的专家。在大规模测试或高利害测试中，每学科需要1220名专家，5宋昕昊 等：基于书签法的学科关键能力水平划分研究612024年第4期图 3 有序试题册示例7人一组，分成3组，在探索性研究中专家数量要求可适当降低。本研究为科学教育中的单一关键能力的探索性研究，因此选择7位熟悉模型认知和模型实践能力并有一定教育测量基础的科学教育研究者。专家培训中，首先需明确待进行水平划分的能力或素养、介绍测评工具以及明晰书签法的基本原理及流程。其中，有关书签法技术的培训需使专家明确放置书签的数量、熟悉书签法的基本操作流程、知晓有序试题册中各信息的具体含义、掌握书签法中各表单的填写方法。同时还应特别强调：书签代表最低合格学生能掌握的试题与不能掌握的试题之间的分界点；书签代表两组试题的分界，而不是两道试题的分界；成绩恰好为分界分数的学生正确作答书签处试题的概率为 0.667，学生有更高的概率答对比该试题容易的试题，而有更低的概率答对比该试题更难的试题9254。本研究中的培训会议内容由对学生模型认知与模型实践能力研究基础的培训、学生模型认知与模型实践能力测评工具的介绍及对书签法的培训三部分组成。（二）实施阶段本研究共进行三轮书签法。每轮书签法设置三个环节：报告（presentation）、讨论（discussion）和放置书签（voting），简称 PDV流程。在前两轮书签法中，7位专家被分成两个小组，两小组独立进行水平划分。第三轮书签法，7位专家一起进行水平划分任务。在第一轮书签法中，由阅卷人员报告评分过程中的相关情况与学生的作答情况，专家在小组内讨论正确回答每道试题需具备的知识与能力，随后专家独立地放置书签并填写表单。在第二轮书签法中，由小组组长报告本小组第一轮书签法的结果，专家讨论不同水平的学生应掌握的知识与能力，并在第一轮书签法的结果范围内讨论试题，随后专家独立地放置书签并填写表单。在第三轮书签法中，由两个小组选派代表汇报两小组前两轮书签法的结果及其对不同水平学生能力的描述，同时为7位专家报告第二轮书签法结果确立的学生在各水平的分布。利用前几轮书签法的结果生成辅助专家进行最终书签放置的数据被称为影响数据（impact data）。随后，7位专家共同进行最终的讨论，独立地放置书签并填写表单。7位专家第三轮书签法的中位数作为书签法的最终结果。Rasch模型计算出的学生能力值参数一般在-6，6区间。为方便理解，书签法通常采用原始分报告分界分数。其中，将决策点能力值转换为原始分的方式有三种：使用书签前一个题的决策点能力值转化分界分数，使用书签前后两个题决策点能力值的均值转换分界分数，使用reckase方法转换分界分数16。本研究选择书签前一个题的62决策点能力值转化分界分数的方法，一般使用线性回归得出原始分与能力值的转换方程。若测试存在多套平行卷，由于没有学生完成全部的试题，且各平行卷的卷面总分可能不一致，需使用真分数7。IRT提供了某一特定能力值的学生在各试题得到某一确定分数的概率，由此可用以下公式计算真分数，True Score=immiPim(),其中，i代表某道试题，m代表其等级分。本研究包含四套平行试卷，借助TAM包IRT.truescore指令生成各能力值与真分数的转换表，用真分数报告第三轮书签法中所需的影响数据以及分界分数。（三）评估阶段书签法中各专家达成共识的程度是评估书签法有效性的重要依据。各专家在三轮书签法中书签放置位置的汇总图可以展示书签法中专家达成共识的程度17。本研究中84个书签的位置，见图4。经过三轮书签法，7位专家对第一个书签的位置意见统一；对第二个和第四个书签位置的意见基本统一；第三个书签6位专家意见统一，仅有一位专家偏离。综上，经过三轮书签法，本研究中的7位专家基本达成共识。在7位专家完成三轮书签的放置后，本研究使用Cizek等开发的问卷18评估水平划分的质量。评估问卷由15题构成，前14道题设置四个选项：非常不同意、不同意、同意、非常同意，主要用以评估培训会议、水平划分过程以及信息资料是否有效支撑了水平划分工作。第15题为开放题，请专家自行撰写对此次水平划分工作的评价与建议。本研究中7位专家均选择同意或非常同意，说明本次书签法具有良好的过程效度以及知觉效度。三、研究结果本研究采用书签法对学生模型认知与模型实践能力进行水平划分，7位专家书签位置一致性与评估反馈问卷表明了书签法的结果具有良好的效度。经过三轮书签法，本研究共生成四个分界分数，从而划分出学生模型认知与模型实践能力的五个水平。（一）分界分数与学生分布本研究选定第三轮书签法中各专家书签位置的中位数作为最终的书签位置。四个分界分数将学生分为五个水平，50分及以下为水平 1，5178 分 为 水 平 2，7988 分 为 水 平 3，89104分为水平4，高于104分为水平5。各书签的位置与各水平学生占比，见表2，从中可知大部分样本学生处于水平 2，极少样本学生处于水平3与水平4，没有学生处于水平5。大概原因是被试均为高一年级学生，大部分被试均处于模型认知与模型实践能力的较低水平。（二）表现水平描述生成分界分数固然是水平划分的重要目的，但分数背后的表现实质，即对不同水平学生表现的描述同样重要10。书签法中生成的书签将有序试题册分成了若干部分，每一部分试题对应了一个水平，因此可借助各部分试题为其对应的水平进行表现描述。例如，水平1的表现水平是可通图 4 书签位置汇总宋昕昊 等：基于书签法的学科关键能力水平划分研究632024年第4期水平层级水平1书签1：位于有序试题册35页与36页间，对应分界分数为50水平2书签2：位于有序试题册67页与68页间，对应分界分数为78水平3书签3：位于有序试题册81页与82页间，对应分界分数为88水平4书签4：位于有序试题册107页与108页间，对应分界分数为104水平5试题51-1、15、31-1、1-1、5-1、8-1、47、6-1、45-1、9-1、43-1、10-1、33-1、40、7-1、56-1、44-1、32-1、57-1、30-1、35-1、29-1、27、2-1、50-1、20-1、4-1、46-1、32-2、34-1、41、8-2、3-1、57-2、585-2、6-2、56-2、13、30-2、65-1、31-2、28-1、46-2、43-2、1-2、65-2、42、10-2、45-2、33-2、61、9-2、7-2、56-3、30-3、48-1、55-1、35-2、31-3、19、50-2、63-1、14、34-2、4-2、65-323、12、3-2、2-2、49-1、29-2、6-3、43-3、60、24、20-2、33-3、63-2、52-116、11、2-3、5-3、28-2、8-3、36、1-3、39、17、10-3、21-1、37、3-3、62-1、7-3、59-1、55-2、38、53-1、64-1、4-3、35-3、28-3、26、9-321-2、54-1、29-3、22、64-2、48-2、63-3、54-2、25、62-2、18学生占比/%18.179.42.10.40表 2 书签位置选定及各水平学生占比维度模型认知模型实践子维度模型的本质模型的可变性模型的功能模型使用模型评估模型修改建构新模型水平1认为模型是现实物体的复制认为模型是绝对的，不期待模型会发生改变认为模型的功能是描述现象说出所学的简单模型，但无法结合自身目的使用比较模型，并与同伴交流，以评估它们与现实是否相似/水平2认为模型不必与真实世界的物体完全对应，模型是真实物体的缩小版认为模型是动态的，可以随着表征对象的变化而变化；具有修改模型的意识，认为模型可根据权威的信息修改；意识到修改模型是有目的的认为仅能用单一模型说明和解释一个现象判断所学模型的功能，理解模型描述过程的功能，并尝试解决问题发现模型存在的较大缺陷，例如模型表征与建模目的不相符对模型存在的较明显的缺陷，根据权威信息进行适当修改/水平3认识到模型是支持自己对现有现象和新现象思考的工具认识到模型修改是基于现象或新的解释机制中收集的证据；认识到修改模型是为了提高模型的解释力或其与经验证据的匹配度认识到可以使用多种模型来解释一组相关现象的更多方面能够根据问题情境，选择多种模型，以解决问题评估相关模型的优劣，从而选择合适的模型，以解决问题根据现象或新的解释机制中收集的证据补充、修改模型（对模型的修改大多集中细节、清晰度或增加新的信息）/水平4认识到模型的建构和使用可以发现新现象与新问题认识到模型在建构以及修改的迭代过程中得到完善认识到可以自主建构并使用多种模型来预测一组现象的更多方面将实际问题中的对象和过程转换成所学的物理模型根据现象检验关于模型的假设，判断模型的假设被证实或被证伪借助教师的帮助以及外部的脚手架，根据已有元素重新建构模型水平5/涉及复杂计算评估具有竞争关系的模型，综合各模型的优势以提高其解释和预测能力由于假设被证伪而修改模型（对模型的修改不限于细节调整，而是对模型的要素、结构作出较大的修改）根据目的，决定如何简化物理现象，选择关键特征，通过比较、抽象、概括等方法，建构系统模型，来描述这些对象之间的相互作用表 3 模型认知与模型实践能力表现水平描述64过有序试题册前35页试题归纳得出。本研究中，四个书签将有序试题册分成五个部分：1-35、36-67、68-81、82-107、107-118，依据五部分试题对学生模型认知与模型实践能力的五个水平进行描述，结果见表3。实证检验后的水平划分在前期理论研究得出的框架11基础上，在模型的本质水平2、模型使用水平2-3、模型修改水平3-5、构建新模型水平3-5处进行了调整。四、讨论与建议书签法自提出至今，经历20余年的发展，已在国际教育测评项目、学习进阶研究中得到广泛应用。研究者可以采用书签法对核心素养的水平划分开展进一步的实证检验，从而优化学业质量标准的设定；也可监测学生所处的水平，从而比较分析教育教学质量。然而，关于书签法的理论与实践，仍有不少问题值得深入探讨。本研究基于实证过程，对书签法的实践应用提出以下三点建议。（一）书签放置遵循规范流程专家放置书签是书签法的核心，但大部分实证研究未展现出清晰的书签放置流程。如有的研究描述了每轮书签法专家应作出的判断，但未说明专家基于有序试题册等支撑材料作出判断的过程，在水平划分方法的操作性与推广性方面有待加强。结合研究过程中对书签法的应用实践，本研究对Cizek等的书签法基本流程和既往的研究经验进行梳理与整合，并将其操作模型图形化，提出如图5所示的书签法PDV流程。应用书签法至少经历三个轮次，每轮书签法应包含报告、讨论和放置书签三个环节。报告环节旨在为各专家提供充足的信息；讨论环节旨在让各专家充分交换意见并形成自己的判断；而放置书签环节各专家需基于数据信息与讨论，独立地放置书签。在三个轮次中，各环节的目的和操作有所不同，详见本文研究过程部分对实施阶段的具体叙述。（二）简化提供给专家的数据有序试题册中的试题及试题的各类数据是图 5 书签法PDV流程宋昕昊 等：基于书签法的学科关键能力水平划分研究652024年第4期专家之间进行讨论和放置书签的主要依据。有序试题册中应包含的基本信息包括试题及其正确答案、评分标准以及决策点能力值18。书签法过程中一般还会向专家提供额外的数据，如影响数据、决策点能力值对应的原始分、达到决策点能力值的学生占比等。然而数据并非越多越好，精通书签法的专家能有效地利用额外的数据所提供的信息；而对于大部分专家而言，过多的数据会影响他们的决策甚至造成错误判断9263。本研究也证实过多的数据会干扰专家的判断。研究过程中，我们额外为专家提供达到决策点能力值的学生占比。由于相对 39 页的试题，达到40页试题决策点能力值的学生占比骤减，部分专家认为39页和40页之间应放置书签，这与书签放置的基本方法不相符。可见，部分专家并不能有效地利用额外的数据。综上，应尽量简化给专家提供的数据，并在培训中帮助专家掌握应用数据辅助其书签放置的方法。（三）决策需经专家组平等讨论在水平划分中，达成共识被认为是一个积极的结果，大部分研究也倾向于将专家达成共识视为水平划分方法可靠性的标志。达成共识依靠专家间的互相讨论，以及随着水平划分的进行，专家对试题不断深入的理解。但必须承认，达成共识的过程中专家间的社会压力起到了一定的作用，本研究发现组长的权威是主要的社会压力来源。如在确定第二小组部分书签位置时，某专家在第一轮书签法中书签1位置与其他专家相距较远，于是在第二轮书签法中该专家着重听取并遵从组长的意见。第二组的4位专家在第一轮书签法中所放置书签3的位置差距较大，但在第二轮书签法中该书签的位置就达成了高度共识，且与组长一致。在书签法过程中，由于小组组长要对其他专家进行培训，小组成员很容易认为组长的意见比自己更准确。因此，在讨论过程中应适量降低组长的权威，保证各专家都能充分发表自己的意见。同时，第二轮书签法中书签1和书签3的中位数均升高，这与之前大量书签法水平划分的结果一致，说明社会压力会导致第二轮书签位置的中位数升高9270。在模型认知与模型实践的能力表现水平划分过程中，本研究进一步梳理了对书签法的应用方案和操作过程的注意事项，为科学关键能力的水平划分提供了典型案例。当前学业质量水平描述关注对学生素养表现的多维融合描述，在后续的研究中，我们将就此开展深入探索。参考文献1 教育部.普通高中物理课程标准（2017年版 2020修订）M.北京:人民教育出版社,2000:45.2 GLASS G V.Standards and criteriaJ.Journal of Educational Measurement,1978,15:237-261.3 ZIEKY M J.A historical perspective on setting standardsC.Proceedings of the joint conference on standard setting for large scale assessments.Washington,DC,1995.4 CIZEK G J.Reconsidering standards and criteriaJ.Journal of Educational Measurement,1993,30（2）:93-106.5 CIZEK G J,BUNCH M B.Standard setting:A guide toestablishing and evaluating performance standards ontestsM.Thousand Oaks,CA:Sage Publications,2007.6 LEWIS D M,MITZEL H C,GREEN D R.Standard setting:A bookmark approachC.IRT-based standard setting procedures utilizing behavioral anchoring.Phoenix,AZ,1996.7 陈平.浅谈标准设定中的关键技术:来自我国大规模测评项目的经验J.中国考试,2022（8）:48-56.8 PLAKE B S.Setting performance standards for professional licensure and certificationJ.Applied Measurement in Education,1998,11（1）:65-80.9 CIZEK G J.Setting performance standards:concepts,methods,and perspectivesM.Mahwah,NJ:LawrenceErlbaum Associates,2001.10 KANE M.Validating the performance standards associated with passing scoresJ.Review of Educational Research,1994,64（3）:425-461.66Setting Standards of Disciplinary Key Competences by Using the Bookmark MethodSONG Xinhao，LIU Yixuan，YAO Jianxin（Beijing Normal University,Beijing 100875,China）Abstract:Assessment based on academic quality standards is a crucial aspect of the new basic educationcurriculum and evaluation reform.The standard setting of the disciplinary key competence serves as thefoundation for developing and implementing academic quality standards.In comparison to traditionalstandard-setting approaches such as the Angoff method,the bookmark method emerges as a distinctive andwidely adopted alternative,particularly in large-scale international educational assessment projects.Thisstudy focuses on metamodeling and modeling practice in science education.It initially constructs abilitydimensions and level presuppositions through theoretical research,subsequently employing the bookmarkmethod to determine cut scores and performance standards.As a result,a comprehensive seven-dimensionand five-level progression framework for metamodeling and modeling practice was developed.Finally,wepropose several suggestions regarding bookmarking applications,such as adhering to standardized procedures,streamlining expert data provision,and making decisions through equitable deliberation.Keywords:competence assessment;standard setting;bookmark method;academic quality;metamodeling;modeling practice（责任编辑：周黎明）11 姚建欣,刘奕轩.科学模型认知与实践及其学习进阶J.课程 教材 教法,2023,43（12）:117-123.12 TREAGUST D F,CHITTLEBOROUGH G,MAMIALAT L.Students understanding of the role of scientificmodels in learning scienceJ.International Journal ofScience Education,2002,24（4）:357-368.13 刘奕轩,姚建欣.基于Rasch模型的题库维护技术研究J.中国考试,2023（4）:68-77.14 BEATON A E.Implementing the new design:the naep1983-84 technical reportM.Princeton,NJ:NationalAssessment of Educational Progress,Educational Testing Service,1987:387.15 HUYNH H.On score locations of binary and partialcredit items and their applications to item mapping andcriterion-referenced interpretationJ.Journal of Educational and Behavioral Statistics,1998,23:35-56.16 RECKASE M D.A conceptual framework for a psychometric theory of standard setting with examples of itsuse for evaluating the functioning of two standard setting methodsJ.Educational measurement:issues andpractice,2006,25（2）:4-18.17 LEWIS D M,GREEN D R,MITZEL H C,BAUM K,PATZ R J.The bookmark standard setting procedure:methodology and recent implementationsC.Procedings of National Council for Measurement in EducationAnnual Meeting.San Diego,CA,1998.18 CIZEK G J,BUNCH M B,KOONS H.Setting performance standards:contemporary methodsJ.Educational Measurement:Issues and Practice,2004,23（4）:31-31.宋昕昊 等：基于书签法的学科关键能力水平划分研究67