13-效标关联效度.ppt

主要内容主要内容一、效度概述一、效度概述二、内容效度二、内容效度三、结构效度三、结构效度四、效标关联效度四、效标关联效度五、影响效度的因素五、影响效度的因素六、效度的作用六、效度的作用七、效度的概化七、效度的概化学习目标学习目标学习目标学习目标:掌握效标关联效度定义、种类和应用；掌握效标与效标测量；了解效标关联效度的估计方法；一、定义、种类、应用一、定义、种类、应用1.定义 效标关联效度(criterion-related validity)是指测验对个体的效标行为表现个体的效标行为表现进行估计的有效性程度。又称实证效度、经验效度、准则关联效度。2.分类(收集效标的时间)同时效度(concurrent validity)：效标资料与测验资料同时获得；预测效度(predictive validity)：效标资料后于测验资料获得；3.应用同时效度：诊断现状预测效度：预测未来结果n某人成功了吗？某人患病了吗？n某人会成功吗？某人会患病吗？二、效标与效标测量二、效标与效标测量1.效标（criterion）是衡量测验有效性的参照标准，它是独立于测验之外、体现测验目的的行为变量。2.观念效标和效标测量(conceptual criterion and criterion measurement)观念效标：效标的实质概念内容，如学习或工作成功、技术水平 效标测量：效标的具体化，可操作的测量指标 同一观念效标可以有多个效标测量。3.选择效标测量必须满足以下要求：选择效标测量必须满足以下要求：1)有效性(关联性）2)可靠性3)客观性(或抗偏性)：产生效标测量中偏差的主要原因在于效标污染。4)实用性（可得性）4.常用的效标常用的效标学业成就特殊训练成绩实际工作表现团体对照临床诊断等级评定先前有效的测验5.效标的特征效标的特征1）多样性；2）复杂性；3）特殊性；三、效标关联效度的估计方法三、效标关联效度的估计方法 1.确定效标关联效度的基本步骤：1）明确观念效标2）确定效标测量3）考查测验分数与效标测量之间的关系2.常用的估计效标关联效度的方法：1）相关法）相关法2）组的分类）组的分类3）命中率）命中率4）功利率）功利率5）合成效度）合成效度小结：小结：三方面的效度都是围绕效度的基本问题展开的;一个测验需要哪种效度证据，取决于一定的测验目的，不同的测验偏重于不同的效度证据;效度的验证虽是测验编制后进行的工作，但其指导思想在编制过程中始终起着主导作用;发生于效标测量是评定等级时效标污染(criterioncontamination)是指评定者知道被试测验的分数，而使其效标分数受到影响的情况。如入学考试分数与教师主观评定如何防止？返回1.相关法测验分数和效标分数之间的相关系数。选择团体 获得测验分数 获得效标分数 (4)求相关系数 （1）（2）（3）n 根据分数的性质不同采用不同的相关计算方法(1)积差相关系数使用条件：测验分数和效标分数都是连续变量公式：例：假设有10人经职业兴趣测验而被选定作为推销员，其测验分数见下表第一行，而第二行是经过若干年后他们某段时间内销售金额总量（以万元为单位）。现问该测验的预测效度如何？被试被试12345678910测验分数测验分数X30343247202427252216销售量销售量Y2.53.8340.712.23.52.81.2被试XYXY1302.59006.25752343.8115614.44129.23323102499644742209141825200.74000.491462415761247272.27294.8459.48253.562512.2587.59222.84847.8461.610161.22561.4419.2总和=277=24.7=8359=71.55=747.9被试XYXY1302.59006.25752343.8115614.44129.23323102499644742209141825200.74000.491462415761247272.27294.8459.48253.562512.2587.59222.84847.8461.610161.22561.4419.2总和=277=24.7=8359=71.55=747.9被试XYXY1302.59006.25752343.8115614.44129.23323102499644742209141825200.74000.491462415761247272.27294.8459.48253.562512.2587.59222.84847.8461.610161.22561.4419.2总和=277=24.7=8359=71.55=747.9被试XYXY1302.59006.25752343.8115614.44129.23323102499644742209141825200.74000.491462415761247272.27294.8459.48253.562512.2587.59222.84847.8461.610161.22561.4419.2总和=277=24.7=8359=71.55=747.9被试被试XYXY1302.59006.25752343.8115614.44129.23323102499644742209141825200.74000.491462415761247272.27294.8459.48253.562512.2587.59222.84847.8461.610161.22561.4419.227724.7835971.55747.9=0.75(2)二列相关系数适用条件：测验分数与效标分数都是连续变量，其中一个变量被人为分为两类 公式：其中 为正态曲线中值对应的高度 例题：进行一项智力测验，被试中例题：进行一项智力测验，被试中66名来自实验班，名来自实验班，286名来自普通班，最后测出实验班名来自普通班，最后测出实验班的被试的被试IQ均数均数为为114，普通班被试的，普通班被试的IQ均数为均数为96，所有被试，所有被试IQ分的标准分的标准差为差为14.53，计算二列相关系数。，计算二列相关系数。=0.8125 查正态分布表查正态分布表,得出常态曲线下所对应的得出常态曲线下所对应的Y Y值为值为0.2685 0.2685(3)四分相关系数适用条件：当测验分数与效标分数都是连续变量，且每一个变量的变化都被人为地分为两种类型，即以二分变量表示。a、b、c、d表示由两个二分变量所分成的四种类别的实际频数大大学学入入学学考考试试（数学）（数学）研究生入学考试（数学）研究生入学考试（数学）通过通过未通过未通过优优a=10b=4良良c=7d=21=0.67=(4)相关系数 适用条件：当测验分数与效标分数都是真正的二分变量，如工作状态、婚姻状态等。a、b、c、d表示由两个二分变量所分成的四种类别的实际频数例：例：研究调查了研究调查了358358名不同性别的大学生对某项名不同性别的大学生对某项教育措施的评价态度，结果如下表。根据这些教育措施的评价态度，结果如下表。根据这些结果，能否说明性别对评价态度有无预测效度结果，能否说明性别对评价态度有无预测效度？评价态度评价态度性性别别男男172172女女1861869494264264358358拥护拥护反对反对a=66a=66b=106b=106c=28c=28d=158d=158(5)列联相关系数适用条件：当测验分数与效标分数其中一个变量不止分为两个种类时C表示列联相关系数，表示RC列联表计算出的值,N表示样本容量 返回返回2.组的分类根据被试的效标行为表现，将他们分为不同的组别(团体)，如果这些组在测验分数上有显著性差异，则说明该测验的效度高。df=df=成功组、失败组的平均分成功组、失败组的平均分成功组、失败组样本容量成功组、失败组样本容量成功组、失败组得分的方差成功组、失败组得分的方差 两两总体正态分布总体正态分布,两总体方差未知两总体方差未知到72页工作成功组：，工作失败组：，代入上面公式可得：df=98时，t=5.40 T检验的弊端和重叠量的计算运用“组的分类”方法表示效度，要检验平均数之间的差异，就要用到均数之差的标准差。而均数的标准误存在这样的关系：均数之差的标准差也存在这样的关系：即其大小与样组容量成反比。那么当 保持不变时，则n越大，均数之差的标准误就越小，这样就使得t值增大，增加了拒绝虚无假设的机会。T检验的弊端和重叠量的计算要避免上述缺点，可以求出这两个分布的重叠量。1.可求出一组内被试得分超出另一组平均数的人数与另一组被试中超出前一组均数的人数之比(通常是以“失败”组超过“成功”组均数的人数来计算)；2.可求出两组分数分布共同区域的百分比；返图返回3.命中率命中率预测预测源源效效标标行行为为成功成功+失失败败-合合 计计成功（成功（+）A（正确接收）正确接收）B（错误错误接收）接收）A+B失失败败（-）C（错误错误拒拒绝绝）D（正确拒正确拒绝绝）C+D合合 计计A+CB+DA+B+C+D（1 1）总命中率）总命中率(取舍正确率取舍正确率):):公平公平（2 2）正命中率）正命中率(录取正确率录取正确率):):提高效率提高效率 错误拒绝和错误接受的人数比例与临界分数位置错误拒绝和错误接受的人数比例与临界分数位置=返回返回4.功利率测验效度不仅是一个科学性的问题，也是一个实用性的问题。使用测验所带来的利益的大小就是功利率。实际上，测验分数不能完全准确地预测一个人成功与否，最终的衡量标准还是他的实际能力。录取人员时用测验而不用工作表现，是因为测验省时省力，能避免错误录取人员带来的损失。这样以来，测验的效度就与使用测验所带来的利益联系起来了。返回返回U代表功利率；代表功利率；B代表录用一名成功者所带来的平均收益；代表录用一名成功者所带来的平均收益；C代表录用一名不合格者所招致的损失；代表录用一名不合格者所招致的损失；分别代表录取人数中成功和失败的人数；分别代表录取人数中成功和失败的人数；S代表测验费用；代表测验费用；5.合成效度职务成分效度是指：假设具有相同职务成分的职务也具有相似的职务要求，那么从所测量的职务的基本成分及各成分的效度资料即可综合而成测验效度。计算合成效度的一般程序是：.通过工作分析，确定完成某项工作所需要的基本能力成分及其相对权重；.估计出测量各个成分的测验效度；.根据权数将各个成分的测验效度合成，就得到了合成效度；返回返回结构效度帮助我们运用测验分数解释人的心理特质，可由结构效度研究的资料来回答测验所测量的东西。效标关联效度可用来了解测验分数能否有效地预测或估计某种行为表现，是关于测验结果的一些实际用途的检验。内容效度则与研究的内容范围有关，它帮助我们决定测验分数能否代表某种学习结果的成果，也是关于测验结果的一些实际用途。返回返回4.效标的选择1.选用不同的效标会得到不同的效度；2.效标与测验分数的关系类型；3.效标测量与预测源测量的时间间隔 返回返回到54页临界分数临界分数错误拒绝错误拒绝22正确接收正确接收38正确拒绝正确拒绝33错误接收错误接收7到55页到56页