R语言基础培训--常用统计分析PPT课件.ppt

基于R R的基本统计分析1.内容提要描述统计频数表分析方差分析t检验卡方检验线性回归相关分析2.描述分析(Descriptive statistics)描述统计就是把数据集所包含的信息加以简要地概况，如计算数据的数字特征、制作频数表和频数图等等，用所获得的统计量和图表来描述数据集所反映的特征和规律，使得研究的问题更加简单、直观。描述性统计主要包括反映数据集中趋势的特征值(比如平均数、中位数、众数、分位数)、数据离散程度的特征值(比如方差、标准差、值域、变异系数)和数据分布形态的特征值(比如偏度、峰度)。3.标准差（std.dev）和标准误（SE.mean）标准差（std.dev）真实均值SE样本均值当样本含量 n 足够大时，标准差趋向稳定；而标准误随n的增大而减小，甚至趋于0。4.标准差（std.dev）和标准误（SE.mean）比如，某学校共有500名学生，现在要通过抽取样本量为30的一个样本，来推断学生的身高。这时可以依据抽取的样本信息，计算出样本的均值与标准差。如果我们抽取的不是一个样本，而是10个样本，每个样本30人，那么每个样本都可以计算出均值，这样就会有10个均值。也就是形成了一个10个数字的数列，然后计算这10个数字的标准差，此时的标准差就是标准误。但是，在实际抽样中我们不可能抽取10个样本。所以，标准误就由样本标准差除以样本量来表示。当然，这样的结论也不是随心所欲，而是经过了统计学家的严密证明的。SE.mean=std.dev/n1/25.在实际的应用中，标准差主要有两点作用，一是统计量样本离散程度的表征；二是用来对样本进行标准化处理，即样本观察值减去样本均值，然后除以标准差，这样就变成了标准正态分布。标准误的作用主要是用来做区间估计，常用的估计区间是均值加减n倍的标准误（例如95%的置信区间是：均值+1.96*SE）标准差（std.dev）和标准误（SE.mean）6.95%CI:假设上面这个随机抽样估计学生身高的例子，抽样100次，每次抽10个学生测量身高，均值估计值及标准误为 152cm12cm。但有时需要表示为估计量的95%的置信区间152cm-1.96*12cm，152cm+1.96*12cm。可以解释为，如果从再从总体中抽样100次（每次抽样10个），产生100个平均值，这100个平均值将有95次落在152cm-1.96*12cm，152cm+1.96*12cm这个范围内，5次落在这个范围外，如果抽样次数越多，这个推断越准确。这个来源于中心极限定理的应用：任何分布(总体)抽样n次，每次抽样的和符合正态分布。通俗一点说,不管是学校的学生身高是怎么分布,每次随机抽取10个求和,抽取n次，这n个身高总和是符合正态分布的。平均身高为身高总和除于10，所以平均身高也是正态分布的。正态分布双尾95%的分界点所对应的值刚好是1.96。7.8.9.峰度（Kurtosis）峰度（Kurtosis）是描述某变量所有取值分布形态陡缓程度的统计量。它是和正态分布相比较的。Kurtosis=0 与正态分布的陡缓程度相同。Kurtosis0 比正态分布的高峰更加陡峭尖顶Kurtosis0 正偏差数值较大，为正偏或右偏。长尾巴拖在右边Skewness0 负偏差数值较大，为负偏或左偏。长尾巴拖在左边计算公式：Skewness 越大，分布形态偏移程度越大11.频数表(Frequency table)分析 频数表分析是对数据集按数据范围分成若干区间，即分成若干组，求出每组组中值，各组数据用组中值代替，计算各组数据的频数，并作出频数表。12.频数表分析例子summary(oats$yield)#计算频数A-table(cut(oats$yield,breaks=40+20*(0:7)round(prop.table(A)*100,2)#计算频数比例#画频数表hist(oats$yield,#breaks=7,xlim=c(40,180),xlab=yield,main=Frequency chart of yield)13.方差分析ANOVA方差分析是一种在若干组能相互比较的试验数据中，把产生变异的原因加以区分的方法与技术，其主要用途是研究外界因素或试验条件的改变对试验结果影响是否显著。类型：单因素方差分析(One-way ANOVA)、双因素方差分析(Two-way ANOVA)。方差分析的基本模型是线性模型，并假设随机变量是独立、正态和等方差的。方差分析是根据平方和的加和原理，利用 F 检验，进而判断试验因素对试验结果的影响是否显著。14.单因素方差分析15.#Tukey HSD 方法#install.packages(multcomp)library(multcomp)tuk-glht(fit,linfct=mcp(Treat=Tukey)summary(tuk)#standard displaytuk.cld-cld(tuk)#letter-based displayopar chisq.test(freq,p=probs)Chi-squared test for given probabilitiesdata:freqX-squared=6.7,df=5,p-value=0.242327.卡方检验x=c(100,110,80,55,14)probs=c(29,21,17,17,16)/100 chisq.test(x,p=probs)chisq.test(x,p=probs)Chi-squared test for given probabilitiesdata:xX-squared=55,df=4,p-value=2.685e-1128.卡方检验（列联表）yesbelt=c(12813,647,359,42)nobelt=c(65963,4000,2642,303)chisq.test(data.frame(yesbelt,nobelt)chisq.test(data.frame(yesbelt,nobelt)Pearsons Chi-squared testdata:data.frame(yesbelt,nobelt)X-squared=59,df=3,p-value=8.61e-1329.练习四以数据stu.data.csv为例，试对体重做频数分析。请分析身高是否符合正态分布？试分析性别对体重有无影响。问题4：请检验总体平均体重与60kg有无显著差异？男生和女生的平均体重有无显著差异？问题5：男女生比例是否符合 1.2:1.0？30.练习四 答案df-read.csv(file=stu.data.csv,header=T)#问题1A-table(cut(df$weight,breaks=40+15*(0:7)round(prop.table(A)*100,2)#计算频数比例hist(df$weight,breaks=7,xlim=c(40,140),xlab=weight,main=Frequency chart of weight)#问题2shapiro.test(df$height)#问题3fit-aov(weight Sex,data=df)summary(fit)library(agricolae)duncan.test(fit,Sex,alpha=0.05)$groups31.#问题4t.test(df$weight,mu=60,alternative=two.sided)wt.m-subset(df$weight,df$Sex=男)wt.f-subset(df$weight,df$Sex=女)var.test(wt.m,wt.f)#等方差检验t.test(wt.m,wt.f,paired=F)#问题5summary(df$Sex)ct-c(87,33)pt 0）,公式是有效的。35.多项式回归fit-lm(weight N+I(N2),data=df)#二次项回归模型 summary(fit)#回归分析结果 plot(df$N,df$weight)#绘制散点图 lines(df$N,fitted(fit)#添加回归线 添加光滑曲线require(graphics)plot(cars,main=lowess(cars)lines(cars)lines(lowess(cars),col=2)36.多元线性逐步回归37.最优线性回归方程为：y=-649.779+14.592x1+6.841x2+9.329x3 y=-649.779+14.592x1+6.841x2+9.329x3 回归方程表明：对于川农 16 16 号小麦而言，当 x2 x2 和 x3 x3 固定时，穗数 x1 x1 每增加 1 1万/亩，产量 y y 将平均增加 14.592Kg/14.592Kg/亩；当 x1 x1 和 x3 x3 固定时，每穗粒数 x2 x2 每增加 1 1粒，产量 y y 将平均增加 6.841Kg/6.841Kg/亩；当 x1 x1 和 x2 x2 固定时，千粒重 x3 x3 每增加 1g1g，产量y y 将平均增加 9.329 Kg/9.329 Kg/亩。38.自变量的作用主次第一种方法：计算通径系数(path coefficient,p)(path coefficient,p)。df.2-as.data.frame(scale(df)#df.2-as.data.frame(scale(df)#对数据集做标准化处理 lmfit-lm(y x1+x2+x3,data=df.2)lmfit round(coef(lmfit),3)round(coef(lmfit),3)(Intercept)x1 x2 x3 (Intercept)x1 x2 x3 0.000 0.777 0.410 0.609 0.000 0.777 0.410 0.609 第二种方法：根据 x1x1、x2x2、x3 x3 回归系数的 t t 值大小，也可判断自变量 x x 的主次顺序，凡是 t t 值较大者就是较重要的因子。结论：自变量 x x 的主次顺序为：穗数 x1 x1 千粒重 x3 x3 每穗粒数 x2x2。39.交互作用多元线性回归40.练习四以数据stu.data.csv为例，试对体重做频数分析。请分析身高是否符合正态分布？试分析性别对体重有无影响。问题4：请检验总体平均体重与60kg有无显著差异？男生和女生的平均体重有无显著差异？问题5：男女生比例是否符合 1.2:1.0？41.练习四 答案df-read.csv(file=stu.data.csv,header=T)#问题1A-table(cut(df$weight,breaks=40+15*(0:7)round(prop.table(A)*100,2)#计算频数比例hist(df$weight,breaks=7,xlim=c(40,140),xlab=weight,main=Frequency chart of weight)#问题2shapiro.test(df$height)#问题3fit-aov(weight Sex,data=df)summary(fit)library(agricolae)duncan.test(fit,Sex,alpha=0.05)$groups42.#问题4t.test(df$weight,mu=60,alternative=two.sided)wt.m-subset(df$weight,df$Sex2=1)wt.f-subset(df$weight,df$Sex2=2)var.test(wt.m,wt.f)#等方差检验t.test(wt.m,wt.f,paired=F)#问题5summary(df$Sex)ct-c(87,33)pt corr.test(df,use=complete)Call:corr.test(x=df,use=complete)Correlation matrix h dbh v cpro wd wpro tl tw lrt h dbh v cpro wd wpro tl tw lrth 1.00 0.86 0.90-0.43-0.29 0.32-0.20-0.04-0.17h 1.00 0.86 0.90-0.43-0.29 0.32-0.20-0.04-0.17dbh 0.86 1.00 0.98-0.41-0.35 0.39-0.18-0.15-0.07dbh 0.86 1.00 0.98-0.41-0.35 0.39-0.18-0.15-0.07v 0.90 0.98 1.00-0.43-0.38 0.43-0.20-0.11-0.12v 0.90 0.98 1.00-0.43-0.38 0.43-0.20-0.11-0.12cpro-0.43-0.41-0.43 1.00 0.22-0.25 0.18-0.08 0.20cpro-0.43-0.41-0.43 1.00 0.22-0.25 0.18-0.08 0.20wd -0.29-0.35-0.38 0.22 1.00-0.98-0.09-0.08 0.00wd -0.29-0.35-0.38 0.22 1.00-0.98-0.09-0.08 0.00wpro 0.32 0.39 0.43-0.25-0.98 1.00 0.02-0.02 0.01wpro 0.32 0.39 0.43-0.25-0.98 1.00 0.02-0.02 0.01tl -0.20-0.18-0.20 0.18-0.09 0.02 1.00 0.16 0.79tl -0.20-0.18-0.20 0.18-0.09 0.02 1.00 0.16 0.79tw -0.04-0.15-0.11-0.08-0.08-0.02 0.16 1.00-0.47tw -0.04-0.15-0.11-0.08-0.08-0.02 0.16 1.00-0.47lrt -0.17-0.07-0.12 0.20 0.00 0.01 0.79-0.47 1.00lrt -0.17-0.07-0.12 0.20 0.00 0.01 0.79-0.47 1.00Sample Size Sample Size 1 301 30Probability values(Entries above the diagonal are adjusted for multiple tests.)h dbh v cpro wd wpro tl tw lrt h dbh v cpro wd wpro tl tw lrth 0.00 0.00 0.00 0.53 1.00 1.00 1.00 1.00 1.00h 0.00 0.00 0.00 0.53 1.00 1.00 1.00 1.00 1.00dbh 0.00 0.00 0.00 0.63 1.00 0.85 1.00 1.00 1.00dbh 0.00 0.00 0.00 0.63 1.00 0.85 1.00 1.00 1.00v 0.00 0.00 0.00 0.53 0.92 0.53 1.00 1.00 1.00v 0.00 0.00 0.00 0.53 0.92 0.53 1.00 1.00 1.00cpro 0.02 0.02 0.02 0.00 1.00 1.00 1.00 1.00 1.00cpro 0.02 0.02 0.02 0.00 1.00 1.00 1.00 1.00 1.00wd 0.12 0.06 0.04 0.24 0.00 0.00 1.00 1.00 1.00wd 0.12 0.06 0.04 0.24 0.00 0.00 1.00 1.00 1.00wpro 0.08 0.03 0.02 0.18 0.00 0.00 1.00 1.00 1.00wpro 0.08 0.03 0.02 0.18 0.00 0.00 1.00 1.00 1.00tl 0.28 0.35 0.29 0.35 0.65 0.92 0.00 1.00 0.00tl 0.28 0.35 0.29 0.35 0.65 0.92 0.00 1.00 0.00tw 0.84 0.42 0.55 0.69 0.66 0.93 0.39 0.00 0.28tw 0.84 0.42 0.55 0.69 0.66 0.93 0.39 0.00 0.28lrt 0.38 0.71 0.54 0.29 0.99 0.96 0.00 0.01 0.00lrt 0.38 0.71 0.54 0.29 0.99 0.96 0.00 0.01 0.0055.二元数据的双系列相关系数式中rP为双系列相关系数，MP和Mq分别为两组的平均值，Sx为标准差，P和q代表两个组观测值数量的比例。该系数同样可以用t检验显著性在生态学调查中往往取多个样方，在每个样方中记录植物种存在与否和环境因子的值，要计算二元数据与环境因子的相关系数不能用前面的方法。这里用双系列相关系数（Biserial Correlation Coefficient）,这时将环境因子按照种的存在与否分为两组，则双系列相关系数：56.种Pteridium(蕨属）与土壤湿度的双系列相关分析土壤湿度对种Pteridium的分布有显著影响？Pteridium存在与否土壤湿度（%）分组P组（存在）q组（不存在）-85.285.2+55.955.9-95.295.2-58.158.1+54.954.9-83.483.4+68.268.2+46.846.8-54.854.8-92.292.2-90.790.7+30.230.2+35.235.2-90.390.3-95.695.6-91.591.5-55.455.4+35.535.5+42.142.1-43.343.357.