信效度分析.ppt

信 效 度 分 析王露2017.1.4信度分析（Reliability Analyze）指采用同样的方法对同一对象重复测量时所得结果的一致性程度，多以相关系数表示信度高低，此时相关系数可称为信度系数。定义重测信度法、复本信度法、同质性信度法（分半信度法、库德-理查逊（Kuder&Richardson）信度法、Cronbach信度系数法）常用方法信度分析（Reliability Analyze）一、重测信度法u定义：用同样的量表（测验或问卷）对同一组被调查者间隔一定时间重复施测，计算两次施测结果的相关系数，又称稳定系数（跨时间的一致性）u要求：同一量表试测两次前后，被调查者不受到外界因素影响，前后无差异u适用范围：事实式问卷（如性别、出生年月）和少数态度、意见式问卷（兴趣、爱好、习惯）u局限：由于重测信度法需要对同一样本试测两次，被调查者容易受到各种事件、活动和他人的影响，而且间隔时间长短不好把握也有一定限制因此在实施中有一定困难信度分析（Reliability Analyze）二、复本信度法u定义：让同一组被调查者一次填答两个量表，计算两个量表结果的相关系数，又称等值系数（跨形式的一致性）u要求：两个量表为平行测验两份问卷除表述方式不同外，在内容、格式、题数、难度和对应题项的提问方向、指导语说明等方面要完全一致 两份试卷试题类型完全相同，难易程度相当，但具体题目不同u局限：构造出两份或两份以上的真正平行量表，是一个很难达到的条件，因此采用这种方法者较少信度分析（Reliability Analyze）三、分（拆、对）半信度法u定义：将量表中的调查项目或试题分为尽可能相等的两半，计算两半得分的相关系数，又称内在一致性系数（跨项目的一致性），记为rhh分半方法：按前后、或题号基偶、或题目难度、或题目内容等用斯皮尔曼-布朗（Spearman-Brown）公式进行校正，求出整个样本的信度系数，记为rxx rxx=2rhh/（1+rhh）u要求：问卷或试卷能分成两个平行的量表，类似复本信度法u适用范围：态度、意见式问卷（常见形式是5 级李克特（Likert）量表）u局限：如果一个测试量表无法分成对等的两半则不宜使用分半信度法信度分析（Reliability Analyze）四、库德-理查逊（Kuder&Richardson）信度法u概念：一套常用的测验可靠性的方法，依一定公式估量测验的内部一致性，作为信度的指标，它克服部份折半法的缺点，是目前研究最常使用的信度指标，它是测量一组同义或平行测验“总和”的信度u适用范围：并非全是二分计分的量表五、克隆巴赫（Cronbach）信度系数法适合用于题目全部为二分计分法的量表内部一致性信度分析信度分析（Reliability Analyze）信度评价标准rxx=1信度达到最高rxx=0信度降到最低rxx 0.9信度很高0.8 rxx 0.9信度较高0.7 rxx 0.8可接受rxx 0.7存在问题（备注：在一般情况下，信度系数不会高到1.00，也不会降到0.00，而是在两者之间；标准化测试的信度系数要求在0.90以上，课堂测试的信度系数则以0.70-0.80之间为可接受性系数）信度分析（Reliability Analyze）SPSS操作步骤：1.创建数据文件2.将数据文件导 入spss信度分析（Reliability Analyze）SPSS操作步骤：1.创建数据文件2.将数据文件导 入spss3.AnalyzeScale Reliability Analyze4.指定变量5.选择信度估计方法信度分析（Reliability Analyze）SPSS操作步骤：1.创建数据文件2.将数据文件导 入spss3.AnalyzeScale Reliability Analyze4.指定变量5.选择信度估计方法6.单击OK信度系数大于0.7，可接受信度分析（Reliability Analyze）SPSS操作步骤：1.创建数据文件2.将数据文件导 入spss3.AnalyzeScale Reliability Analyze4.指定变量5.选择信度估计方法6.单击OK信度分析（Reliability Analyze）SPSS操作步骤：1.创建数据文件2.将数据文件导 入spss3.AnalyzeScale Reliability Analyze4.指定变量5.选择信度估计方法6.单击OK分半信度系数大于0.8，信度较高效度分析（Validity Analyze）指测量工具或手段能够准确测出所需测量的事物的程度，即在多大程度上反映了事物的客观真实性。定义内容效度、准则效度、结构效度类型一、内容效度分析u定义：又称表面效度、逻辑效度，分析所设计的题项能否代表所要测量的内容或主题u方法：逻辑分析+统计分析效度分析（Validity Analyze）一、内容效度分析u定义：分析所设计的题项能否代表所要测量的内容或主题u方法：逻辑分析+统计分析效度分析（Validity Analyze）逻辑分析 由研究者或专家评判所选题项是否“看上去”符合测量的目的和要求如成绩测验就是看题目能体现教学目标与教材要求的程度，由专家把所有的题目按照考试内容和考查目标分布进行双向分类，形成“题目双向分类表”与测验之前的“命题双向细目表”进行比较来分析一、内容效度分析效度分析（Validity Analyze）表1 题目双向细目表表2 命题双向细目表一、内容效度分析u定义：分析所设计的题项能否代表所要测量的内容或主题u方法：逻辑分析+统计分析效度分析（Validity Analyze）统计分析 采用单项与总和相关分析法获得评价结果，即计算每个题项得分与题项总分的相关系数，根据相关是否显著判断是否有效二、准则效度分析u定义：又称效标效度或效标关联效度，根据已经得到确定的某种理论，选择一种指标或测量工具作为准则（效标），分析量表题项与准则的联系u方法：相关分析或差异显著性检验效度分析（Validity Analyze）二、准则效度分析u定义：又称效标效度或效标关联效度，根据已经得到确定的某种理论，选择一种指标或测量工具作为准则（效标），分析量表题项与准则的联系u方法：相关分析或差异显著性检验效度分析（Validity Analyze）自编测试自编测试PISAPISA测试测试效标数据1数据2相关分析或差异显著性检验二、准则效度分析u定义：又称效标效度或效标关联效度，根据已经得到确定的某种理论，选择一种指标或测量工具作为准则（效标），分析量表题项与准则的联系u方法：相关分析或差异显著性检验u局限：选择一个合适的准则往往十分困难，使这种方法的应用受到一定限制效度分析（Validity Analyze）三、结构效度分析u定义：测量结果体现出来的某种结构与测值之间的对应程度，即题目是否能够测量到理论上的某种结构u方法：主成分因子(因素)分析效度分析（Validity Analyze）三、结构效度分析u定义：从量表全部变量（每一题代表一个变量）中提取一些公共因子，各公共因子分别与某一群特定变量高度关联，这些公共因子即代表了量表的基本结构效度分析（Validity Analyze）主成分因子分析三、结构效度分析u定义：从量表全部变量（每一题代表一个变量）中提取一些公共因子，各公共因子分别与某一群特定变量高度关联，这些公共因子即代表了量表的基本结构效度分析（Validity Analyze）主成分因子分析主成分因子分析方法的优点主成分因子分析方法的优点考察各个因子与假设的结构维度之间的对应吻合关系，考察各个因子与假设的结构维度之间的对应吻合关系，进而对原始量表中的题目进行筛选，重新调整结构进而对原始量表中的题目进行筛选，重新调整结构将一些有较高关联度的原始观测变量合并在一个因子将一些有较高关联度的原始观测变量合并在一个因子之下作进一步的分析讨论，达到缩减变量的数目和简之下作进一步的分析讨论，达到缩减变量的数目和简化数据分析的目的化数据分析的目的三、结构效度分析u定义：从量表全部变量（每一题代表一个变量）中提取一些公共因子，各公共因子分别与某一群特定变量高度关联，这些公共因子即代表了量表的基本结构u要求：各原始变量之间要有相关性，如果变量之间没有共同包含的信息，将无法从中提取因子u常用的检验方法：KMO（Kaiser-Meyer-Olkin）检验、巴特利特球形检验（Bartlett Test of Sphericity）效度分析（Validity Analyze）主成分因子分析三、结构效度分析u定义：从量表全部变量（每一题代表一个变量）中提取一些公共因子，各公共因子分别与某一群特定变量高度关联，这些公共因子即代表了量表的基本结构u要求：各原始变量之间要有相关性，如果变量之间没有共同包含的信息，将无法从中提取因子u常用的检验方法：KMO（Kaiser-Meyer-Olkin）检验、巴特利特球形检验（Bartlett Test of Sphericity）效度分析（Validity Analyze）主成分因子分析KMOKMO（Kaiser-Meyer-OlkinKaiser-Meyer-Olkin）检验）检验原理：比较各原始变量间的简单相关系数和偏相关系数的大小原理：比较各原始变量间的简单相关系数和偏相关系数的大小评判标准：评判标准：KMOKMO值在值在0-10-1之间，之间，KMOKMO值越接近值越接近1 1，就越适合做因子分析，就越适合做因子分析KMO值0.91效果最佳0.80.9效果较好0.70.8效果尚可0.60.7效果较差0.50.6最低水平0.5以下不适合三、结构效度分析u定义：从量表全部变量（每一题代表一个变量）中提取一些公共因子，各公共因子分别与某一群特定变量高度关联，这些公共因子即代表了量表的基本结构u要求：各原始变量之间要有相关性，如果变量之间没有共同包含的信息，将无法从中提取因子u常用的检验方法：KMO（Kaiser-Meyer-Olkin）检验、巴特利特球形检验（Bartlett Test of Sphericity）效度分析（Validity Analyze）主成分因子分析巴特利特球形检验（巴特利特球形检验（Bartlett Test of SphericityBartlett Test of Sphericity）原理：由于做因子分析需要一个单位矩阵，因此此检验用于考原理：由于做因子分析需要一个单位矩阵，因此此检验用于考察变量的相关系数是否为一个单位矩阵察变量的相关系数是否为一个单位矩阵评判标准：巴特利特球形检验的卡方值必须达到显著水平，即评判标准：巴特利特球形检验的卡方值必须达到显著水平，即P0.05P0.05三、结构效度分析u定义：从量表全部变量（每一题代表一个变量）中提取一些公共因子，各公共因子分别与某一群特定变量高度关联，这些公共因子即代表了量表的基本结构u要求：各原始变量之间要有相关性，如果变量之间没有共同包含的信息，将无法从中提取因子u常用的检验方法：KMO（Kaiser-Meyer-Olkin）检验、巴特利特球形检验（Bartlett Test of Sphericity）u相关统计量：特征根（Eigenvalue）、变量共同度（Communalities）、因子载荷（Factor Loading）、因子旋转（Factor Rotation）效度分析（Validity Analyze）主成分因子分析三、结构效度分析u定义：从量表全部变量（每一题代表一个变量）中提取一些公共因子，各公共因子分别与某一群特定变量高度关联，这些公共因子即代表了量表的基本结构u要求：各原始变量之间要有相关性，如果变量之间没有共同包含的信息，将无法从中提取因子u常用的检验方法：KMO（Kaiser-Meyer-Olkin）检验、巴特利特球形检验（Bartlett Test of Sphericity）u相关统计量：特征根（Eigenvalue）、变量共同度（Communalities）、因子载荷（Factor Loading）、因子旋转（Factor Rotation）效度分析（Validity Analyze）主成分因子分析特征根（特征根（EigenvalueEigenvalue）因子影响力的指标，代表引入该因子后可以解释平均多少原始变量的信息，它也是确定主成分的数因子影响力的指标，代表引入该因子后可以解释平均多少原始变量的信息，它也是确定主成分的数量（提取因子的数量）的根据，特征根的值越大，说明该因子越重要量（提取因子的数量）的根据，特征根的值越大，说明该因子越重要变量共同度（变量共同度（CommunalitiesCommunalities）解释某一变量有多大比率是由某一因子所决定的，其值等于变量在所有因子上的载荷量平方值的总和，解释某一变量有多大比率是由某一因子所决定的，其值等于变量在所有因子上的载荷量平方值的总和，取值在取值在0-10-1之间，值越大，说明该原始变量能被因子说明的程度越高之间，值越大，说明该原始变量能被因子说明的程度越高因子载荷（因子载荷（Factor LoadingFactor Loading）反映因子和各个原始变量之间的密切程度，也反映某一因子对某一变量所作贡献大小的指标，其值反映因子和各个原始变量之间的密切程度，也反映某一因子对某一变量所作贡献大小的指标，其值等于因子与各原始变量间的相关系数，绝对值越大，说明因子对该原始变量的影响程度越大，贡献等于因子与各原始变量间的相关系数，绝对值越大，说明因子对该原始变量的影响程度越大，贡献程度越高程度越高因子旋转（因子旋转（Factor RotationFactor Rotation）就是一种坐标转换，使因子载荷的差异尽可能变大，让每个原始变量在尽可能少的因子上有较高的就是一种坐标转换，使因子载荷的差异尽可能变大，让每个原始变量在尽可能少的因子上有较高的载荷，即尽可能让每个原始变量只跟一个因子有较高的相关性，才好将变量归为那个因子之下载荷，即尽可能让每个原始变量只跟一个因子有较高的相关性，才好将变量归为那个因子之下三、结构效度分析u定义：从量表全部变量（每一题代表一个变量）中提取一些公共因子，各公共因子分别与某一群特定变量高度关联，这些公共因子即代表了量表的基本结构u要求：各原始变量之间要有相关性，如果变量之间没有共同包含的信息，将无法从中提取因子u常用的检验方法：KMO（Kaiser-Meyer-Olkin）检验、巴特利特球形检验（Bartlett Test of Sphericity）u相关统计量：特征根（Eigenvalue）、变量共同度（Communalities）、因子载荷（Factor Loading）、因子旋转（Factor Rotation）u确定公共因子数量的原则与方法：Kaiser原则、“碎石图”检验法（Scree test）、累积贡献率效度分析（Validity Analyze）主成分因子分析三、结构效度分析u定义：从量表全部变量（每一题代表一个变量）中提取一些公共因子，各公共因子分别与某一群特定变量高度关联，这些公共因子即代表了量表的基本结构u要求：各原始变量之间要有相关性，如果变量之间没有共同包含的信息，将无法从中提取因子u常用的检验方法：KMO（Kaiser-Meyer-Olkin）检验、巴特利特球形检验（Bartlett Test of Sphericity）u相关统计量：特征根（Eigenvalue）、变量共同度（Communalities）、因子载荷（Factor Loading）、因子旋转（Factor Rotation）u确定公共因子数量的原则与方法：Kaiser原则、“碎石图”检验法（Scree test）、累积贡献率效度分析（Validity Analyze）主成分因子分析主成分因子分析所提取的因子数量是那些特征根的值大于主成分因子分析所提取的因子数量是那些特征根的值大于1 1的因子数量的因子数量（注意：采用（注意：采用KaiserKaiser原则确定因子数量时，量表的题目最好不要超过原则确定因子数量时，量表的题目最好不要超过3030个，题个，题目的平均共同度最好在目的平均共同度最好在0.70.7以上，如果样本数量大于以上，如果样本数量大于250250名，则题目的平均共同名，则题目的平均共同度应该在度应该在0.60.6以上；如果量表题目在以上；如果量表题目在5050个以上了，可能会提取过多的因子）个以上了，可能会提取过多的因子）KaiserKaiser原则：原则：“碎石图碎石图”检验法（检验法（Scree testScree test）提取公共因子数量是碎石图中最大拐点前提取公共因子数量是碎石图中最大拐点前“碎石碎石”的数量的数量累积贡献率累积贡献率贡献率是指各因子所提供的方差占总方差的百分比，贡献率越高，说明该因子所能代表的原贡献率是指各因子所提供的方差占总方差的百分比，贡献率越高，说明该因子所能代表的原始信息量越大。根据前几个成分累计贡献率所达到的百分比来确定，当累计贡献率达到始信息量越大。根据前几个成分累计贡献率所达到的百分比来确定，当累计贡献率达到80%80%时，时，即此前有即此前有K K个成分所包含的信息占总信息的个成分所包含的信息占总信息的80%80%，就取这，就取这K K个成分作为公共因子个成分作为公共因子效度分析（Validity Analyze）SPSS操作步骤：1.创建数据文件2.将数据文件导 入spss效度分析（Validity Analyze）SPSS操作步骤：1.创建数据文件2.将数据文件导 入spss3.AnalyzeDate ReductionFactor Analyze4.指定变量5.DescriptivesKMO选项Continue效度分析（Validity Analyze）SPSS操作步骤：1.创建数据文件2.将数据文件导 入spss3.AnalyzeDate ReductionFactor Analyze4.指定变量5.DescriptivesKMO选项Continue6.ExtractionScree plotContinue效度分析（Validity Analyze）SPSS操作步骤：1.创建数据文件2.将数据文件导 入spss3.AnalyzeDate ReductionFactor Analyze4.指定变量5.DescriptivesKMO选项Continue6.ExtractionScree plotContinue7.RotationVarimaxContinue效度分析（Validity Analyze）SPSS操作步骤：1.创建数据文件2.将数据文件导 入spss3.AnalyzeDate ReductionFactor Analyze4.指定变量5.DescriptivesKMO选项Continue6.ExtractionScree plotContinue7.RotationVarimaxContinue8.OptionSorted by size、Suppress absolute values less than 0.35OK0.35效度分析（Validity Analyze）SPSS操作步骤：1.创建数据文件2.将数据文件导 入spss3.AnalyzeDate ReductionFactor Analyze4.指定变量5.DescriptivesKMO选项Continue6.ExtractionScree plotContinue7.RotationVarimaxContinue8.OptionSorted by size、Suppress absolute values less than 0.35OK效度分析（Validity Analyze）SPSS操作步骤：1.创建数据文件2.将数据文件导 入spss3.AnalyzeDate ReductionFactor Analyze4.指定变量5.DescriptivesKMO选项Continue6.ExtractionScree plotContinue7.RotationVarimaxContinue8.OptionSorted by size、Suppress absolute values less than 0.35OKKMO=0.797,约等于0.8，P0.05,达到显著水平，表明该数据适合做主成分因子分析效度分析（Validity Analyze）SPSS操作步骤：1.创建数据文件2.将数据文件导 入spss3.AnalyzeDate ReductionFactor Analyze4.指定变量5.DescriptivesKMO选项Continue6.ExtractionScree plotContinue7.RotationVarimaxContinue8.OptionSorted by size、Suppress absolute values less than 0.35OK变量共同度表变量共同度表变量的初始共同度效度分析（Validity Analyze）SPSS操作步骤：1.创建数据文件2.将数据文件导 入spss3.AnalyzeDate ReductionFactor Analyze4.指定变量5.DescriptivesKMO选项Continue6.ExtractionScree plotContinue7.RotationVarimaxContinue8.OptionSorted by size、Suppress absolute values less than 0.35OK变量共同度表变量共同度表提取公共因子后变量的共同度效度分析（Validity Analyze）SPSS操作步骤：1.创建数据文件2.将数据文件导 入spss3.AnalyzeDate ReductionFactor Analyze4.指定变量5.DescriptivesKMO选项Continue6.ExtractionScree plotContinue7.RotationVarimaxContinue8.OptionSorted by size、Suppress absolute values less than 0.35OK从左至右依次为特征值、贡献率、累积贡献率效度分析（Validity Analyze）SPSS操作步骤：1.创建数据文件2.将数据文件导 入spss3.AnalyzeDate ReductionFactor Analyze4.指定变量5.DescriptivesKMO选项Continue6.ExtractionScree plotContinue7.RotationVarimaxContinue8.OptionSorted by size、Suppress absolute values less than 0.35OK前6个因子的特征值大于1，最大拐点处在第7个因子效度分析（Validity Analyze）SPSS操作步骤：1.创建数据文件2.将数据文件导 入spss3.AnalyzeDate ReductionFactor Analyze4.指定变量5.DescriptivesKMO选项Continue6.ExtractionScree plotContinue7.RotationVarimaxContinue8.OptionSorted by size、Suppress absolute values less than 0.35OK旋转前各原始变量与各公共因子之间的相关系数矩阵效度分析（Validity Analyze）SPSS操作步骤：1.创建数据文件2.将数据文件导 入spss3.AnalyzeDate ReductionFactor Analyze4.指定变量5.DescriptivesKMO选项Continue6.ExtractionScree plotContinue7.RotationVarimaxContinue8.OptionSorted by size、Suppress absolute values less than 0.35OK旋转后各原始变量与各公共因子之间的相关系数矩阵效度分析（Validity Analyze）SPSS操作步骤：1.创建数据文件2.将数据文件导 入spss3.AnalyzeDate ReductionFactor Analyze4.指定变量5.DescriptivesKMO选项Continue6.ExtractionScree plotContinue7.RotationVarimaxContinue8.OptionSorted by size、Suppress absolute values less thanOK旋转后各原始变量与各公共因子之间的相关系数矩阵对不适合的题目进行删减的三个基本原则：对不适合的题目进行删减的三个基本原则：删除在两个或三个公共因子上的载荷差不多的题目删除在两个或三个公共因子上的载荷差不多的题目某个公共因子下只有一个题目，这样的题目要删除某个公共因子下只有一个题目，这样的题目要删除删除在公共因子上的最大载荷小于删除在公共因子上的最大载荷小于0.350.35，共同度小于，共同度小于0.40.4的题目的题目效度分析（Validity Analyze）SPSS操作步骤：1.创建数据文件2.将数据文件导 入spss3.AnalyzeDate ReductionFactor Analyze4.指定变量5.DescriptivesKMO选项Continue6.ExtractionScree plotContinue7.RotationVarimaxContinue8.OptionSorted by size、Suppress absolute values less thanOK旋转后各原始变量与各公共因子之间的相关系数矩阵效度分析（Validity Analyze）SPSS操作步骤：1.创建数据文件2.将数据文件导 入spss3.AnalyzeDate ReductionFactor Analyze4.指定变量5.DescriptivesKMO选项Continue6.ExtractionScree plotContinue7.RotationVarimaxContinue8.OptionSorted by size、Suppress absolute values less thanOK旋转前的因子载荷矩阵乘以上图所示的因子旋转的转换矩阵就等于旋转后的因子载荷矩阵效度分析（Validity Analyze）SPSS操作步骤：1.创建数据文件2.将数据文件导 入spss3.AnalyzeDate ReductionFactor Analyze4.指定变量5.DescriptivesKMO选项Continue6.ExtractionScree plotContinue7.RotationVarimaxContinue8.OptionSorted by size、Suppress absolute values less thanOKp确定好量表的假设结构维度，编好每个问题题目p保证回收量表的质量和数量，题目数量与被试样本数量之比最好是1:5p适当增加同质的题目来增加量表的长度提高效度的方法提高信度的方法p适当增加同质的题目来增加量表的长度p题目难度适中p测验的时间够充分THANK YOU