心理测量学--测验的信度.ppt

补：补：测量的误差及其来源测量的误差及其来源 误差的定义误差的定义 误差的种类误差的种类 误差的来源误差的来源测量测量结果结果测量测量因素因素1、误差的定义、误差的定义与测量目的无关与测量目的无关不准确不准确或不一致或不一致考研题考研题误差误差:与测验目的无关的因素所导致的测验结果不一致或不准确的现象与测验目的无关的因素所导致的测验结果不一致或不准确的现象.2、误差的种类、误差的种类 系统误差系统误差随机误差随机误差成熟成熟标志标志20世纪世纪50年代年代Gulliksen心理测验理论心理测验理论三大三大支柱支柱基本假设基本假设信度信度效度效度 一、经典测验理论一、经典测验理论Classical Test Theory（CTT）考研题考研题基本假设与真分数基本假设与真分数1、真分数、真分数观测观测分数分数误差误差分数分数真真分数分数测验所得测验所得未加工未加工理论定义理论定义真正特质水平真正特质水平操作定义操作定义 无数次测量结果的均值无数次测量结果的均值经典测验理论（经典测验理论（CTT）假定）假定：观察分数（观察分数（X X）与真分数（）与真分数（T T）之间）之间是一种线性关系，并只相差一个随机误差是一种线性关系，并只相差一个随机误差（E E）。）。即：即：X=T X=TE E（1 1）如如果果对对一一个个人人测测量量无无数数次次，其其误误差差之之和和为为0 0，平平均均误误差为差为0 0。（2 2）误差与真分数相互独立，相关为误差与真分数相互独立，相关为0 0。（3 3）一一个个团团体体的的平平均均真真分分数数等等于于该该团团体体中中所所有有被被试试实实得得分数的平均值。分数的平均值。（4 4）对对于于一一个个团团体体来来说说，实实得得分分数数、真真分分数数、和和测测量量误误差之间有如下关系：差之间有如下关系：关于测量误差还有如下假设：关于测量误差还有如下假设：随机误差随机误差 在一次测验中，一个团体的实测分数的变在一次测验中，一个团体的实测分数的变异数是由与测量目的有关的变异数、稳定但出异数是由与测量目的有关的变异数、稳定但出自无关来源的变异数和偶然但出自无关来源的自无关来源的变异数和偶然但出自无关来源的变异数所决定的。变异数所决定的。二、信度的定义二、信度的定义真分数方差与观测分数方差的比值真分数方差与观测分数方差的比值信度指的是测量结果的稳定性程度（或一致性程度）。信度指的是测量结果的稳定性程度（或一致性程度）。信度是反映测量中随机误差大小的指标。信度是反映测量中随机误差大小的指标。三、三、信度评估的方法信度评估的方法信度信度重测信度重测信度复本信度复本信度内部一致性内部一致性信度信度评分者信度评分者信度分半信度分半信度 同质性信度同质性信度（一）重测信度（一）重测信度（Test-retest reliability）含义含义同一测验同一测验同组对象同组对象前后测前后测2次次相关系数相关系数稳定稳定性性程序程序误差误差时间时间太短太短练习效应练习效应记忆效应记忆效应A卷卷一一定定时时距距A卷卷太长太长身心变化身心变化第一，所测的心理特性必须是稳定的。第一，所测的心理特性必须是稳定的。第二，遗忘和练习的效果基本上相互抵消。第二，遗忘和练习的效果基本上相互抵消。第三，所测心理特质在两次施测的间隔时间内第三，所测心理特质在两次施测的间隔时间内没有获得更多的学习和训练。没有获得更多的学习和训练。第四第四,报告结果时要报告两次测验的间隔及有报告结果时要报告两次测验的间隔及有关经历关经历.使用条件使用条件 优点优点省力、省时省力、省时测量属性相同测量属性相同提供随时间变化的资料提供随时间变化的资料 不足不足时间间隔长短时间间隔长短评价评价 时间间隔越长，重测信度越低；时间间隔越长，重测信度越低；时间间隔视测验目的、性质、被试时间间隔视测验目的、性质、被试 特点而定；特点而定；年幼儿童，间隔要小；年长成人，间隔可长；年幼儿童，间隔要小；年长成人，间隔可长；智力测验间隔不能太短，成就测验不能太长；智力测验间隔不能太短，成就测验不能太长；一般以一般以2-4周为宜，智力测验的间隔时间一般在周为宜，智力测验的间隔时间一般在6个月左个月左右。右。（二）复本信度（二）复本信度（Alternate-form raliability）含义含义两等值测验两等值测验最短时间内最短时间内对同组对象对同组对象施测结果施测结果r等值等值性性程序程序误差误差内容内容取样取样A卷卷最最短短时时距距B卷卷复本等值的条件复本等值的条件 各测验测量的是同一种心理特质；各测验测量的是同一种心理特质；各测验具有相同的内容和形式；各测验具有相同的内容和形式；各测验的题目不应重复；各测验的题目不应重复；各测验题目数量相等；各测验难度和区分度大体相同；各测验题目数量相等；各测验难度和区分度大体相同；各测验的分数分布（标准差和平均数）大体相同；各测验的分数分布（标准差和平均数）大体相同；复本编制好后，应再测一次，以确保等值。复本编制好后，应再测一次，以确保等值。第一，前提是有复本测验。第一，前提是有复本测验。第二，被试有条件接受两个测验第二，被试有条件接受两个测验(时间和经费等时间和经费等)。第三第三,报告结果时要报告两次测验的间隔及有关经历报告结果时要报告两次测验的间隔及有关经历.使用条件使用条件 优点优点代表性增强，信度更准代表性增强，信度更准一定程度避免练习、记忆效应一定程度避免练习、记忆效应 不足不足编制复本难编制复本难影响积极性影响积极性触类旁通触类旁通评价评价重测信度与复本信度有何异同？重测信度与复本信度有何异同？小结与问题小结与问题重测重测信度信度复本复本信度信度内部内部一致性一致性跨时间跨时间一致性一致性跨形式跨形式一致性一致性试题之间试题之间有何关系？有何关系？（三）内部一致性信度（三）内部一致性信度含义含义测验测验各题间各题间一致性一致性题目题目一致一致性性分半分半信度信度类型类型同质性同质性信度信度1、分半信度、分半信度（Split-half raliablity）分半分半方法方法奇偶题奇偶题分半分半分析分析程序程序两半相关：两半相关：rhh校校 正：正：rnn难易：低难易：低高高分半分半条件条件两半相似：两半相似：M、S项目组间相关项目组间相关分布常态分布常态校正方法校正方法斯皮尔曼斯皮尔曼-布朗公式布朗公式方差相等时方差相等时弗拉南根公式弗拉南根公式卢尤公式卢尤公式方差不等时方差不等时使用条件测验只能施测一次或没有复本的情况下使用测验只能施测一次或没有复本的情况下使用.当一个测验无法分成对等的两半时不宜使用当一个测验无法分成对等的两半时不宜使用.2、同质信度、同质信度（Homogeneity raliability）同质性同质性题目间的内部一致性题目间的内部一致性类型类型库库-理信度理信度克龙巴赫克龙巴赫 系数系数各类各类题型题型二值二值记分记分（四）评分者信度（四）评分者信度（Scorer raliability）含义含义评分者评分的一致性评分者评分的一致性方法方法2评分者评分者2个以上者个以上者rXY肯德尔和谐系数肯德尔和谐系数附：确定信度的可接受水平附：确定信度的可接受水平测验类型测验类型最低标准最低标准标准化测验标准化测验人格测验人格测验 非标准化测验非标准化测验0.900.80-0.850.60-0.85典型测验的一般标准典型测验的一般标准典型测验的信度高低水平典型测验的信度高低水平测验类型测验类型 低低 中中 高高成套成就测验成套成就测验 学术能力测验学术能力测验 成套倾向性测验成套倾向性测验 客观人格测验客观人格测验 兴趣问卷兴趣问卷 态度量表态度量表.66 .92 .98.56 .90 .97.26 .88 .96.46 .85 .97.42 .84 .93.47 .79 .98各种信度系数相应误差变异的来源各种信度系数相应误差变异的来源信度系数的类型信度系数的类型误差变异的来源误差变异的来源再测信度再测信度复本信度（连续施测）复本信度（连续施测）复本信度（间隔施测）复本信度（间隔施测）分半信度分半信度同质性信度同质性信度评分者信度评分者信度时间取样时间取样内容取样内容取样时间与内容取样时间与内容取样内容取样内容取样内容的一致性内容的一致性评分者间的差异评分者间的差异友情提示友情提示实际上，有多少种误差的来源，就有多少实际上，有多少种误差的来源，就有多少种信度估计的方法。一般来说，一个测验种信度估计的方法。一般来说，一个测验哪种误差大，就应该用哪种误差估计。有哪种误差大，就应该用哪种误差估计。有时一个测验需要几种信度估计。时一个测验需要几种信度估计。操作演练操作演练假设对假设对100100个六年级学生以两个月的时间间隔先个六年级学生以两个月的时间间隔先后施测一个创造力测验的后施测一个创造力测验的A/BA/B两个复本，所得的两个复本，所得的等值与稳定性系数为等值与稳定性系数为0.700.70。我们还根据被试对每个复本的反应计算出分半信我们还根据被试对每个复本的反应计算出分半信度为度为0.80.0.80.同时同时,我们将另一个评分者随机抽取我们将另一个评分者随机抽取5050份卷子另份卷子另外评分，得到评分者信度为外评分，得到评分者信度为0.920.92。然后，我们对这这三种方法所产生的误差变异进然后，我们对这这三种方法所产生的误差变异进行分析。行分析。一个假想测验的变异数分析一个假想测验的变异数分析信度类型信度类型误差变异数误差变异数误差变异来源误差变异来源复本信度复本信度(间隔间隔)1-0.70=0.301-0.70=0.30时间和内容取样时间和内容取样分半信度分半信度1-0.80=0.201-0.80=0.20内容取样内容取样上述两者差异上述两者差异0.30-0.20=0.100.30-0.20=0.10 时间取样时间取样评分者信度评分者信度1-0.92=0.081-0.92=0.08评分者差异评分者差异误差变异总和误差变异总和0.20+0.10+0.08=0.380.20+0.10+0.08=0.38真实变异真实变异1-0.38=0.621-0.38=0.62四、信度系数的应用四、信度系数的应用1 1、评价测验、评价测验2 2、解释分数、解释分数（1 1）个人测验分数的误差）个人测验分数的误差 （X-1.96SE）T T（X+1.96SE）（2）两种测验分数的比较）两种测验分数的比较(差异的标准误差异的标准误)所得结果与所得结果与1.96SE(0.05水平水平)进行比较进行比较,即可得出两个测验的差异是否显著即可得出两个测验的差异是否显著.五、影响信度的因素五、影响信度的因素测验长度测验长度样本特征样本特征测验难度测验难度时间间隔时间间隔 考研题考研题（一）测验长度（一）测验长度含义含义测验试题的数量测验试题的数量 w特点特点n测验越长，试题取样越具有代表性。测验越长，试题取样越具有代表性。n测验越长，猜测因素影响就越小。测验越长，猜测因素影响就越小。n增加测验长度的效果应遵循报酬递减率原则。增加测验长度的效果应遵循报酬递减率原则。w长度与信度的关系长度与信度的关系 R RXXXX为原测验的信度为原测验的信度.R RNNNN为测验长度增加后测验的信度为测验长度增加后测验的信度.K K为改变后的测验长度与原来长度之比为改变后的测验长度与原来长度之比.例例2-16：某测验有：某测验有40题，信度题，信度0.65，若增至若增至120题，信度会是多少？题，信度会是多少？例例2-17：某测验有：某测验有30题，信度题，信度0.75，试问要达到多少题才能使信度达到试问要达到多少题才能使信度达到0.90？特点特点样本越异质，分数分布越广，有可能高估信度。样本越异质，分数分布越广，有可能高估信度。样本不同，信度就有可能不同样本不同，信度就有可能不同。（二）样本特征（二）样本特征1、样本团体、样本团体异质性异质性的影响的影响2、样本团体、样本团体平均能力水平平均能力水平的影响的影响特点特点:团体平均水平太高或太低，分布变窄，可能低估信度团体平均水平太高或太低，分布变窄，可能低估信度.选择测验时应注意选择测验时应注意取样团体的变异性和能力水平取样团体的变异性和能力水平建立信度的团体与欲测团体是否一致建立信度的团体与欲测团体是否一致一般趋势一般趋势测验太难或太易测验太难或太易,分数范围缩小分数范围缩小,降低信度降低信度.难度与题型难度与题型 简答题：简答题：P=0.5时，时，X为为0100，信度最高。，信度最高。学绩测验选择题的理想平均难度（洛德）学绩测验选择题的理想平均难度（洛德）五择一：五择一：0.70四择一：四择一：0.74三择一：三择一：0.77是非题：是非题：0.85 （三）测验难度（三）测验难度智力的时间变化智力的时间变化 间隔期间隔期 信度系数信度系数同日或次日同日或次日 0.900.95 1年年 0.85 22.5年年 0.80 5年年 0.750.80 9年年 0.78 （四）时间间隔（四）时间间隔 间隔六年，间隔六年，rXX的变化的变化年龄的时间变化年龄的时间变化年龄越低，信度越低年龄越低，信度越低 第一次第一次 第二次第二次 rXX 4 10 0.73 9 15 0.87 11 17 0.92思考思考如何提高测量的信度如何提高测量的信度?适当增加测验的长度适当增加测验的长度;使测验项目的难度分布接近正态使测验项目的难度分布接近正态;努力提高试题的区分度努力提高试题的区分度;选取适当的被试团体选取适当的被试团体;主试严格执行测验规程主试严格执行测验规程;几点说明几点说明1.1.有多少种误差有多少种误差,就有多少种估计信度的方法就有多少种估计信度的方法.2.2.上面介绍的各种计算方法仅适用于常模参照测验上面介绍的各种计算方法仅适用于常模参照测验.3.3.标准参照测验的信度问题必须以概化理论为依据标准参照测验的信度问题必须以概化理论为依据.4.4.不同类型的测验，信度的要求是不一样的不同类型的测验，信度的要求是不一样的.5.5.用不同方法估计的信度也会有所差异用不同方法估计的信度也会有所差异.理论假设：理论假设：X=TE；SX=ST SE信度：测量结果的稳定性信度：测量结果的稳定性(一致性一致性)程度程度.类型类型重测重测复本复本内部一致性：分半、同质性内部一致性：分半、同质性评分者评分者小结小结测验条件、样本性质及估计方法不同测验条件、样本性质及估计方法不同,信度不同信度不同.