测量效度.pptx

效度的含义1效度与信度的关系2效度的评估3影响效度的因素4提高效度的方法5内容提要内容提要效度的含义效度的含义效度是指一个测验或量表实际能测出其所要测的心理特质的程度。在测量理论中，效度被定义为：在一列测量中，与测量目的有关的真实变异数与总变异数的比率。即rxy2=SV2/SX2，rxy2为效度，rxy为效度系数。效度的含义效度的含义效度是一个相对的概念：1.效度相对于一定的测量目的；2.心理测量只能达到某种程度上的准确性。效度是测量的随机误差和系统误差的综合反映。判断一个测量是否有效要从多方面搜集证据。效度与信度的关系效度与信度的关系根据公式SX2=SV2+SI2+SE2,I.信度高是效度高的必要而非充分的条件。II.测验的效度受它的信度制约。根据：rxy2=SV2/SX2、rxx=ST2/SX2、ST2=SV2+SI2 可得：rxy2=rxx-SI2/SX2 因为SI20，所以 rxy2rxx 重点 难点含义、应用范围、与表面效度相区分、确定方法内容效度内容效度含义、观念效标、效标测量、种类、作用、确定步骤、估计方法效标关联效度效标关联效度含义、应用范围、特点、估计方法构想效度构想效度效度的评估效度的评估内容效度的含义内容效度的含义内容效度是指一个测验实际测到的内容与所要测量的内容之间的吻合程度。估计一个测验的内容效度就是确定该测验在多大程度上代表了所要测量的行为领域。通常包括欲测的知识范围，以及该范围内各知识点所要求掌握的程度两个方面。内容效度的应用范围内容效度的应用范围主要应用于成就测验，成就测验主要是测量被试掌握某种技能或学习某门课程所达到的程度。也适用于某些用于选拔和分类的职业测验，测验内容是实际工作需要的知识和技能。不适合用于能力倾向测验和人格测验。内容效度与表面效度相区分内容效度与表面效度相区分表面效度是外行人对某个测验从表面上看好像是测某种心理特质的一种现象。当外行人认为某个测验能有效地测得某种心理特质时，该测验就被认为有较高的表面效度。最佳行为测验要求有较高的表面效度；其他测验希望表面效度低。专家评定法01克伦巴赫统计分析方法02再测法03内容效度的确定方法内容效度的确定方法内容效度的确定方法内容效度的确定方法专家评定法专家评定法请专家对测验题目与原定内容范围吻合程度作判断。明确欲测内容的范围，包括知识范围和能力要求。确定每个题目所测的内容，与测验编制者所列的双向细目表对照。制定评定量表，考查题目对内容范围的覆盖率、判断题目难度与能力要求之间的差异、各种题目数量和分数比例以及题目形式的适当性。双向细目表例双向细目表例内容效度的确定方法内容效度的确定方法复本复本法法从同一内容中抽两套独立的平行测验对一批被试施测。两次相关高说明有较高的内容效度（除非两个测验偏向同一个方面）；相关低，则两个测验中至少有一个缺乏内容效度。内容效度的确定方法内容效度的确定方法再测法再测法在被试接受某种知识的学习之前进行一次测验，在学习该知识之后再做同样的测验。如果后测成绩显著优于前测成绩，说明该测验对这部分内容而言具有较高的内容效度。重点 难点含义、应用范围、与表面效度相区分、确定方法内容效度内容效度含义、观念效标、效标测量、种类、作用、确定步骤、估计方法效标关联效度效标关联效度含义、应用范围、特点、估计方法构想效度构想效度效度的评估效度的评估效标关联效度的含义效标关联效度的含义效标关联效度是指一个测验对处于特定情境中的个体的行为进行估计的有效性。被估计的行为是检验测验效度的外在标准，即效标。它是独立于测验并可以从实践中直接获得的我们所感兴趣的行为。观念效标和效标测量观念效标和效标测量我们感兴趣的行为往往是一个观念上的东西，即观念效标。对效标进行表达的一个数字或等级即是效标测量。同一个观念效标有多个效标测量。在心理与教育测量工作中，常用的效标有：学业成就、等级评定、临床诊断、专门的训练成绩、实际的工作表现、对团体的区分能力等。效标关联效度的种类及作用效标关联效度的种类及作用根据效标搜集时间的差异，分为同时效度和预测效度。效标资料与测验分数同时收集，即同时效度。用于诊断现状。效标资料是在测验之后根据实际工作成绩确定的，即预测效度。用于预测某个个体将来的行为。效标关联效度的确定步骤效标关联效度的确定步骤A.明确观念效标B.确定效标测量C.考察测验分数与效标测量的关系相关法01分组检验法02命中率03灵敏度和确认度04功利率05实证效度的估计方法实证效度的估计方法实证效度的估计方法实证效度的估计方法u相关法计算测验分数与效标测量的相关系数。积差相关、等级相关、二列相关、四分相关等。u分组检验法被试接受测验后，工作一段时间，根据工作成绩好坏分成两组，分析两组被试原先分数的差异。练习：效标关联效度的估计计算练习：效标关联效度的估计计算例例1 1：用一套学业能力测验对某校初一：用一套学业能力测验对某校初一1515名学生施测，名学生施测，其测验得分列在下表中。为了研究该学业能力测验其测验得分列在下表中。为了研究该学业能力测验的效度，收集了这的效度，收集了这1515名学生的期末考试成绩也在下名学生的期末考试成绩也在下表中。试估计学业能力测验的效度。表中。试估计学业能力测验的效度。答案答案用用 ，rXY=0.72练习：效标关联效度的估计计算练习：效标关联效度的估计计算例例2 2：研究者编制了一个学术能力倾向测验，向：研究者编制了一个学术能力倾向测验，向2020名名被试施测，并且以是否考上大学为效标，结果如下被试施测，并且以是否考上大学为效标，结果如下表所示（表所示（0 0表示未考上，表示未考上，1 1表示考上）。试估计该测表示考上）。试估计该测验的效度。验的效度。答案答案用点二列相关公式用点二列相关公式 ，St=3.324，rpbi=0.60效标关联效度的估计方法效标关联效度的估计方法u命中率（正命中率、负命中率和总命中率）正命中率指测验选出来的人中真正被选对的人数比率。负命中率指测验淘汰的人中真正该被淘汰的人数比率。总命中率指测验选对的人数和淘汰对的人数之和与总人数之比。实证效度的估计方法实证效度的估计方法u基础率、灵敏度和确认度基础率指符合筛选要求的群体在整个人群总体中所占的比率。灵敏度指所有真正符合要求的人能被测验鉴别出来的人数的比率。确认度指所有不合要求的人能被测验正确淘汰的人数的比率。当基础率较低时，选用灵敏度高的测验比较有效。当基础率较高时，选用确认度高的测验比较有效。实证效度的估计方法实证效度的估计方法u功利率使用测验所带来的好处应大大高于使用测验所耗费的时间、精力和经费。练习：效标关联效度的估计计算练习：效标关联效度的估计计算例例3 3：某智力测验对儿童鉴定的结果如下。请分别用：某智力测验对儿童鉴定的结果如下。请分别用正命中率、负命中率和总命中率以及基础率、灵敏正命中率、负命中率和总命中率以及基础率、灵敏度和确认度的方法估计该智力测验的效度。度和确认度的方法估计该智力测验的效度。表5.1 某智力测验对1万名儿童鉴定的结果测量鉴定为弱智测量确认为正常合计真正弱智24060300真正正常7096309700合计310969010000答案答案正命中率正命中率=240/310=0.7742=240/310=0.7742负命中率负命中率=9630/9690=0.9938=9630/9690=0.9938总命中率总命中率=（240+9630240+9630）/10000=0.9870/10000=0.9870基础率基础率=300/10000=0.0300=300/10000=0.0300灵敏度灵敏度=240/300=0.8000=240/300=0.8000确认度确认度=9630/9700=0.9928=9630/9700=0.9928 重点 难点含义、应用范围、与表面效度相区分、确定方法内容效度内容效度含义、观念效标、效标测量、种类、作用、确定步骤、估计方法效标关联效度效标关联效度含义、应用范围、特点、估计方法构想效度构想效度效度的评估效度的评估构想效度的含义及应用范围构想效度的含义及应用范围结构效度是指一个测验实际测到所要测量的理论结构和特质的程度。它是指测验分数能够说明心理学理论的某种结构或特质的程度。适用范围：主要用于智力测验、人格测验等。构想效度的特点构想效度的特点1.结构效度的大小首先取决于事先假定的心理特质理论。2.当实际测量的资料无法证实理论假设时，并不一定表明该测验结构效度不高。3.结构效度是通过对测量内容的选择的证据累计起来确定的，不是靠单一数量指标描述的。测验内部寻找证据法01测验之间寻找证据法02考察测验的实证效度法03多特质多方法矩阵法04因素分析法05构想效度的估计方法构想效度的估计方法构想效度的估计方法构想效度的估计方法测验内部寻找证据法测验内部寻找证据法u考察测验的内容效度。有些测验对所测内容或行为范围的定义或解释类似于理论构想的解释。u分析被试的答题过程。u通过计算测验的同质性信度。测验同质只是结构效度高的必要条件。构想效度的估计方法构想效度的估计方法测验测验之间之间寻找证据法寻找证据法u相容效度法。考察新编测验与某个已知的能够有效测量相同特质的测验之间的相关，若两者相关较高，则说明新测验有较高的效度。u区分效度法。考察新编测验与某个已知的能有效测量不同特质的旧测验间的相关，若两者相关较高，则说明新测验效度不高。两测验间相关不高只是新测验效度较高的必要非充分条件。构想效度的估计方法构想效度的估计方法考察测验的实证效度考察测验的实证效度法法u若测验有实证效度，可从效标的性质与种类来推论结构效度。a.根据效标把人分为两类，考察其得分的差异。b.根据测验得分把人分为高分组和低分组，考察这两组人在所测特质方面是否确有差异。构想效度构想效度的估计方法的估计方法多特质多方法矩阵法多特质多方法矩阵法u相容效度和区分效度方法的综合运用。a.若用多种极不相同的方法测量同一种心理特质所得的相关系数很高，说明相容效度高。b.若用多种极为相似的方法测量不同心理特质所得的相关系数很低，说明区分效度高。c.若用多种极为相似的方法测量同一种心理特质所得的相关系数很高，说明信度高。练习：结构效度的估计练习：结构效度的估计表5.2 多种特质-多种方法矩阵法特质方法1方法2方法3A1B1C1A2B2C2A3B3C3方法1A1B1C1方法2A2B2C2方法3A3B3C3例例4 4：表格里的相关系数各代表什么？：表格里的相关系数各代表什么？构想效度构想效度的估计方法的估计方法因素分析法因素分析法u 因素分析法是一种分析观察数据之间的相关矩阵的统计分析技术。探索性因素分析（EFA）验证性因素分析（CFA）测验的长度效标的性质样本的代表性测验的实施过程测量的信度影响测量效度的因素影响测量效度的因素影响效度的因素影响效度的因素测验的长度测验的长度u 测验的长度影响测验的效度。测验的长度影响测验的效度。测验长度与效度的关系：测验长度与效度的关系：r rxxxx为原测验信度，为原测验信度，r rxyxy为原测验效度系数为原测验效度系数 n n为倍数，为倍数，r rnxynxy为新测验的效度系数为新测验的效度系数练习：测验长度与效度的关系练习：测验长度与效度的关系例例5 5：已知：已知r rxxxx=0.31=0.31，r rxyxy=0.42=0.42，若希望把效度系数提，若希望把效度系数提高到高到0.650.65和和0.700.70，则测验长度要增加几倍？，则测验长度要增加几倍？答案答案用用 rnxy=0.65，n=6.47；rnxy=0.70，n=13.814提高测量效度的方法提高测量效度的方法A.精心编制测验量表，避免出现较大的系统误差。B.妥善组织测验，控制随机误差。C.创设标准应试情景，让每个被试都能发挥正常水平。D.选择正确的效标，恰当的效标测量，正确使用有关公式。