用R软件做聚类分析的例子PPT学习课件.ppt

,应用统计分析,R,软件实现,应用统计分析实验,R,软件,SPSS,：,这是一个很受欢迎的统计软件,容易操作，,输出漂亮，,功能齐全，,价格合理。,对于非统计工作者是很好的选择。,SAS,：,这是功能,非常,齐全的软件；,美国政府政策倾斜,(“,权威性”,),许多美国公司使用。,价格不菲,每年交费,.,即使赠送,条件苛刻,尽管现在已经尽量“傻瓜化”，仍然需要一定的训练才可以进入。,R,软件,：免费的,志愿者管理的软件。,编程方便，语言灵活，图形功能强大,有不断加入的各个方向统计学家编写的统计软件包。也可以自己加入自己算法的软件包,.,这是发展最快的软件，受到世界上统计师生的欢迎。是用户量增加最快的统计软件。,对于一般非统计工作者来说，主要问题是它没有“傻瓜化”。,Minitab,：这个软件是很方便的功能强大而又齐全的软件，也已经“傻瓜化”，在我国用的不如,SPSS,与,SAS,那么普遍。,Eviews,：这是一个主要处理回归和时间序列的软件。,GAUSS,：这是一个很好用的统计软件，许多搞经济的喜欢它。主要也是编程功能强大。目前在我国使用的人不多。,MATLAB,：,这也是应用于各个领域的以编程为主的软件，在工程上应用广泛。但是统计方法不多。,R,的历史,S,语言在,1980,年代后期在,AT&T,实验室开发,.,R,项目由,Auckland,大学统计系的,Robert Gentleman,和,Ross Ihaka,于,1995,年开始的,.,它很快得到广泛用户的欢迎,.,目前它是由,R,核心发展团队维持,;,它是一个由志愿者组成的工作努力的国际团队,下载,R,软件,www.r-project.org,学习网站,www.biosino.org/pages/newhtm/r/schtml/,R,软件的使用,1,数据描述性统计,2,回归分析,3,判别分析,4,聚类分析,5,主成分分析,6,因子分析,7,基本语法,向量,矩阵,list,与,data.frame,读写数据文件,控制语句与自定义函数,一,.R,软件的使用,基本语法,1.,变量使用即定义,:,变量名区分大小写,也可用中文命名,变量赋值可采用,4,种形式：,=,，,assign(),变量类型自动由变量赋值确定。,a=10;bc ;assign(“d”,40),中国,=“,中华人民共和国”,#,生成字符串变量,2.,注释符号,#,语句连接符,;,3.,算术运算符,:+,-,*,/,(,乘方,),%(,模,),%/%(,整除,),4.,常用的数学函数有,:abs,sign,log,log2,log10,sqrt,exp,sin,cos,tan,acos,asin,atan,cosh,sinh,，,tanh,5.,查看帮助,help(round),?abs,向量,向量的赋值,(,一维数组,下标从,1,开始,)a=c(d1,d2,d3,),间隔为,1,的等差序列,:a:b,指定间隔的等差序列,:seq(from,to,by),seq(length,from,by),重复序列：,rep(vec,times),rep(vec,times,len,each),a=c(3,5,8,10);b=1:10;,c=seq(1,10,2);d=seq(-pi,pi,0.2),e=rep(a,3);f=rep(a,2,each=3),随机向量,rnorm(10),#10,个服从标准正态分布的随机数,a=1:5,(b=1:5)#,同上，只不过显示出来,a2,#,取出,a,中第二个元素,ac(2,4)=c(4,8),#,修改,a,中第,2,、,4,个元素分别为,4,、,8,a-5,#,扣除第,5,个元素取出来,a3#,判断,a,中元素是否小于,3,1 TRUE TRUE FALSE FALSE FALSE,aa0,1,#,第,1,列大于,0,的元素,x,-c(1,3),#,没有第,1,、,3,列的,x,x-2,-c(1,3),#,没有第,2,行、第,1,、,3,列的,x.,1.,矩阵的元素访问,2.,矩阵的维数问题,dim(A)#,获得维数,返回向量,nrow(A),ncol(A)#,获得行数和列数,rownames(A),colnames(A)#,访问各维名称,3.,向量和数组,/,矩阵的转化,:,只要定义向量的,维数,即可实现向量和数组转化,c=1:12;a=matrix(c,nrow=2,ncol=6),dim(c)=c(3,4),b=as.vector(c),A=diag(c(1,4,5)#,以向量为对角元生成对角矩阵,a=diag(A)#,获取矩阵的对角元,3.,矩阵运算,+,-,*,/,分别是矩阵内部元素的四则运算,向量矩阵间：向量按列匹配与矩阵运算,例如：,A=matrix(1:6,nrow=3),B=matrix(10:15,nrow=3),C=c(100,200),则：,A+B A*B A+C,11 17 10 52 101 204,13 19 22 70 202 105,15 21 36 90 103 206,A%*%B#,乘法,t(mat)#,转置,det(mat)#,行列式,solve(mat)#,逆矩阵,eigen(mat)#,求特征值与特征向量,4.,多维数组,a=array(data=1:24,dim=c(2,3,4),a,1,列表和数据框,1.,列表是一种特殊的对象集合，各元素类型任意,生成：,list(name1=value1,namen=valuen),访问,/,修改：对象名,下标,或 对象名,$namei,stu=list(age=10,name=“Tom”,interests=c(“swimming”,”drawing”),stu2,stu$name,stu$name=“john”,names(stu)#,得到所有的对象名,2.,数据框是,R,的一种数据结构，以矩阵形式保存数据各列类型可以不同，每列为一变量，每行为样品,各列长度相等,data.frame(),stu=data.frame(name=c(,Tom,Rose,),age=c(30,32),names(stu)#,得到所有的变量名,colnames(stu)#,列名，同上,rownames(stu)#,得到行名,attach(x)#,把数据框中的变量链接到内存中,x=data.frame(matrix(1:6,nrow=2)#,矩阵转化为数据框,x=data.frame(id=101:120,score=round(rnorm(20,70,10),#,取出前两行数据,x1:2,#,选出,score60,的数据,xx20)a=10;b=10 else a=20;b=20;,控制语句控制语句与自定义函数,2.,循环结构,for(name in express)expr;,while(condition)expr;,repeat exprs;,if(,达到中止条件,)break,例子：计算,11+22+33+1010,i=1;j=1;k=1;s1=0;s2=0;s3=0;,for(i in 1:10)s1=s1+ii;#,用,for,while(j10)break,fun|t|),(Intercept)3.36014 2.06876 1.624 0.128,x 0.82006 0.08895 9.219 4.58e-07*,-,Signif.codes:0*0.001*0.01*0.05.0.1 1,Residual standard error:3.243 on 13 degrees of freedom,Multiple R-squared:0.8673,Adjusted R-squared:0.8571,F-statistic:84.99 on 1 and 13 DF,p-value:4.584e-07,若需编程，很多信息存放在,lm,和,summary,对象中,flm$coef#,得到回归系数,flm$resi#,得到残差向量,flm$fitt#,得到拟合向量,summary(flm)$sigma,#,模型残差的标准差,的估计量,summary(flm)$r.squared#,决定系数,R2,summary(flm)$adj.r.squared#,修正后的决定系数,#,预测，注意第二个参数为数据框类型，成员名称必须与原始的自变量一致,predict(flm,data.frame(x=c(14,26),predict(flm,data.frame(x=c(14,26),interval=prediction)#,区间预测,fit lwr upr,1 14.84093 7.472051 22.2098,2 24.68160 17.389301 31.9739,例,2:,回归模拟,x=runif(30,0,10)#,均匀分布的随机数,x=sort(x),y=3*x-0.2*x2+rnorm(x)#y,与,x,的准确关系,plot(x,y),l1=lm(yx);l2=lm(yx+0);,l3=lm(yx+I(x2);l4=lm(yx+I(x2)+0),abline(l1,col=red,lty=1);abline(a=0,b=l2$coef,col=green,lty=2),lines(x,l3$fit,col=blue,lty=3),lines(x,l4$fit,col=orange,lty=4),legend(bottomright,legend=c(,线性,无常数项线性,二次,二次无常数项,),col=c(,red,green,blue,orange,),lty=1:4),实验二：最小二乘估计的求解及检验,全局挑选最佳自变量组合,library(leaps),r=summary(regsubsets(y.,data=X),n=nrow(X),aic=n*log(r$rss/n)+2*apply(r$which,1,sum),#,计算,AIC,统计量,data.frame(r$outmat,r$rss,r$rsq,r$adjr2,r$cp,AIC=aic),例：水泥放热数据挑选最佳自变量组合,x1 x2 x3 x4 y,1 7 26 6 60 78.5,2 1 29 15 52 74.3,3 11 56 8 20 104.3,4 11 31 8 47 87.6,5 7 52 6 33 95.9,6 11 55 9 22 109.2,7 3 71 17 6 102.7,8 1 31 22 44 72.5,9 2 54 18 22 93.1,10 21 47 4 26 115.9,11 1 40 23 34 83.8,12 11 66 9 12 113.3,13 10 68 8 12 109.4,残差平方和,决定系数,R,2,修正后的决定系数,C,p,统计量,AIC,统计量,step(lm(y.,data=X),step(lm(y1,data=X),+x1+x2+x3+x4),逐步回归,实验三：回归分析中的自变量的挑选,四,.,判别分析,距离判别,Bayes,判别,fisher,判别,#,计算马氏距离,mahalanobis(x,center,cov,inverted=FALSE,.),距离判别,某总体的中心即均值向量,某总体的协方差阵,若设为,TRUE,表明,cov,已求逆。默认为,False,dda1=function(x,newx=NULL)#x 为训练样本，最后一列为类别,newx为待判样本,x=as.matrix(x);p=ncol(x)-1;#变量个数,k=max(x,p+1);#类别个数,n=nrow(x);#已知数据的个数,if(is.null(newx)|ncol(newx)!=p)newx=x,1:p,#如果待判样本newX为空，则为训练样本,m=nrow(newx);#待判数据的个数,md=matrix(-1,m,k);#距离矩阵k列，分别为到k个总体的距离,colnames(md)=paste(Dis,1:k,sep=);,newClass=rep(-1,m);#新的类别,cov_each=matrix(0,nrow=p,ncol=p);,for(i in 1:k),temp=xx,p+1=i,1:p;,center=apply(temp,2,mean);#计算当前总体的中心,cov_each=cov(temp),md,i=mahalanobis(newx,center,cov_each);#计算待判样本到当前总体的马氏距离,newClass=apply(md,1,which.min);#距离矩阵md每一行最小的列就是归属类,list(matrix_Distance=md,newClass=newClass),假设各总体协方差阵不相等时的距离判别,例,1,湿度差 压温差,q,1 -1.9 3.2 1,2 -6.9 10.4 1,3 5.2 2.0 1,4 5.0 2.5 1,5 7.3 0.0 1,6 6.8 12.7 1,7 0.9-15.4 1,8 -12.5 -2.5 1,9 1.5 1.3 1,10 3.8 6.8 1,11 0.2 6.2 2,12 -0.1 7.5 2,13 0.4 14.6 2,14 2.7 8.3 2,15 2.1 0.8 2,16 -4.6 4.3 2,17 -1.7 10.9 2,18 -2.6 13.1 2,19 2.6 12.8 2,20 -2.8 10.0 2,假设协方差阵不等时的距离判别结果：,$MarsDistances,1 ,2,1,0.23479212 2.1460083,2,3.03833480 6.9243049,3,0.45790973 7.3283556,4,0.40796928 6.6425393,5,1.15825305 13.3381431,6,2.44342495 9.2742507,7,5.21569514 31.8233372,8,4.51109115 31.4452037,9,0.02172825 3.5632768,10,0.51080152 2.9935950,11,0.31493244 0.4242599,12,0.55187015 0.1087923,13,2.70320062 1.9090285,14,0.67515753 1.5358775,15,0.07154715 4.3721831,16,0.90447066 4.1014802,17,1.61226774 0.4918710,18,2.57485181 1.7141432,19,1.92540870 2.3430943,20,1.56318137 0.9992699,$newClass,1 1 1 1 1 1 1 1 1 1,1 2 2 1 1 1 2 2 1 2,实验目的：掌握距离判别准则和,R,软件编程,实验任务：编写假设各总体协方差阵相等时的距离判别算法，并对,p182,数据进行距离判别,实验四：距离判别,Bayes,判别,Library(MASS),qda(),#Quadratic discriminant analysis.,#,其实质是正态总体时的最大后验概率准则,Library(MASS),#,默认先验概率,prior,为各组数据所占比例,qd=qda(g.,data=X),#X,为数据框类型，含有类别,g,qd=qda(x,g),#x,中不含类别，,g,为类别,z=predict(qd,test),#test,为待判样本,若省略，则对训练样本判别,z$class,#,类别结果,z$posterior,#,后验概率,table(X$g,z$class),#,若对训练样品判别，可输出判对情况,library(MASS),qd=qda(g.,data=X),predict(qd)$class,1 2 1 1 1 1 1 1 1 1 2,2 2 2 2 1 1 2 2 2 2,plot(X,1:2,pch=X,3,col=X,3),text(X,1,X,2,adj=-0.5,col=X,3),湿度差 压温差,q,1 -1.9 3.2 1,2 -6.9 10.4 1,3 5.2 2.0 1,4 5.0 2.5 1,5 7.3 0.0 1,6 6.8 12.7 1,7 0.9-15.4 1,8 -12.5 -2.5 1,9 1.5 1.3 1,10 3.8 6.8 1,11 0.2 6.2 2,12 -0.1 7.5 2,13 0.4 14.6 2,14 2.7 8.3 2,15 2.1 0.8 2,16 -4.6 4.3 2,17 -1.7 10.9 2,18 -2.6 13.1 2,19 2.6 12.8 2,20 -2.8 10.0 2,#,舍一验证,qd=qda(g.,data=X,CV=TRUE),$class,1 2 2 1 1 1 1 1 1 1 2,2 2 2 2 1 1 2 2 2 2,ld=lda(G.,data=X),ld$scaling#,投影方向,z=predict(ld,test),z$class,z$posterior#,后验概率,z$x#X*ld$scaling,中心化后的矩阵,费希尔判别,数据降维后，在各组协方差阵相等下进行的最大后验概率准则判别,湿度差 压温差,q,1 -1.9 3.2 1,2 -6.9 10.4 1,3 5.2 2.0 1,4 5.0 2.5 1,5 7.3 0.0 1,6 6.8 12.7 1,7 0.9-15.4 1,8 -12.5 -2.5 1,9 1.5 1.3 1,10 3.8 6.8 1,11 0.2 6.2 2,12 -0.1 7.5 2,13 0.4 14.6 2,14 2.7 8.3 2,15 2.1 0.8 2,16 -4.6 4.3 2,17 -1.7 10.9 2,18 -2.6 13.1 2,19 2.6 12.8 2,20 -2.8 10.0 2,ld$scaling,LD1,湿度差,-0.0682677,压温差,0.1562112,predict(ld)$class,1 1 2 1 1 1 2 1 1 1 1,2 2 2 2 1 2 2 2 2 2,library(MASS),class1=predict(qda(class.,data=train)$class#Bayes,判别,class2=predict(lda(class.,data=train)$class,#Fisher,线性判别,newtrain=predict(lda(class.,data=train)$x,class3=predict(qda(newtrain,train$class)$class,#Fisher,投影后再做,Bayes,判别,rbind(class1,class2,class3),table(train$class,class1),table(train$class,class2),table(train$class,class3),class1 2 1 1 1 1 1 1 1 1 2 2 2 2 2 1 1 2 2 2 2,class2 1 2 1 1 1 2 1 1 1 1 2 2 2 2 1 2 2 2 2 2,class3 1 2 1 1 1 2 1 1 1 2 2 2 2 2 1 2 2 2 2 2,类别,血清铜蛋白,蓝色反应,乙酸,中性硫化物,胃癌患者,1,萎缩性胃炎患者,2,非胃炎患者,3,2281342011,2451341040,2001671227,17015078,1001672014,225125714,130100612,15011776,1201331026,160100510,185115519,17012564,16514253,135108212,10011772,例,2,：,1 ,2 ,3 ,4 ,5 ,6 ,7 ,8 ,9 ,10 ,11,12 ,13 ,14 ,15,class1 1 1 1 1 1 2 2 2 2 2 3 3 3 3 3,class2 1 1 1 3 1 2 2 3 2 2 2 3 3 3 3,class3 1 1 1 1 1 2 2 3 2 2 2 3 3 3 3,实验五 判别分析,实验目的：掌握,Bayes,判别和,Fisher,判别的基本原理及,R,软件实现实验任务：,费希尔于,1936,年发表的鸢尾花数据是对,3,种鸢尾花：刚毛鸢尾花、变色鸢尾花和弗吉尼亚鸢尾花个抽取容量为,50,的样本，测量其花萼长、花萼宽、花瓣长和花瓣宽。请将用每组前,30,个作为训练样本，剩余数据作为待判样本进行如下判别：,1.,进行,Bayes,判别，输出,60,个待判样本的判别结果。,2.,进行,Fisher,线性判别，输出投影矩阵及,60,个待判数据的判别结果，并画出训练样本投影后的散点图，不同类别的点用不同的符号和颜色表示。,3.,将第,2,题中投影后的数据进行,Bayes,判别，输出,60,个待判数据的判别结果。,R,软件中已有数据,iris,，,iris3,，且如下可得到题中的训练样本。,train=data.frame(rbind(iris31:30,1,iris31:30,2,iris31:30,3),class=rep(c(1,2,3),each=30),五,.,聚类分析,系统聚类,快速聚类,d=dist(scale(X),method=euclidean)#,默认是欧式距离,hc1=hclust(d,method=complete),plot(hc1,hang=-1,main=,聚类谱系图,最长距离法,),“single”,最短距离法,“,complete”,最长距离法,“,median”,中间距离法,“,average”,类平均法,“,centroid”,重心法*,“,ward”,离差平方和法*,hang,表示谱系图中各类所在的位置，取负值时，从底部画起,系统聚类,d=dist(scale(X),hc1=hclust(,d2,method=,centroid,),hc1$height=sqrt(hc1$height),cbind(hc1$merge,hc1$height),plot(hc1,hang=-1,main=,聚类谱系图,重心法,),注意：“,median”,中间距离法；“,centroid”,重心法；“,ward”,离差平方和法这三种应以欧式距离的平方矩阵为递推矩阵。,和谱系图有关的还有,as.dendrogram(x,type=c(,“,rectangle,“,“,triangle,“,),horiz=FALSE),d=dist(c(1,2,6,8,11,13,15),hc1=hclust(d),dend1=as.dendrogram(hc1),par(mfrow=c(2,2),plot(dend1),plot(dend1,type=t,nodePar=list(pch=c(1,NA),plot(dend1,horiz=T),plot(dend1,edgePar=list(col=gray,lwd=2),nodePar=list(col=3:2,cex=c(2.0,0.75),pch=21:22,bg=c(light blue,pink),cutree(hc1,3),或者,rect.hclust(hc1,k=3,border=red),根据系统聚类划分为若干个类,变量聚类,d=as.dist(sqrt(1-cor(X)2),#,将相关系数转化为距离矩阵,hc1=hclust(d,method=single),plot(hc1,hang=-1),快速聚类（,k,均值聚类）,kmeans(x,centers)#centers,为聚类个数,实验六：聚类分析,实验目的：掌握系统聚类和,k,均值聚类的原理，并熟练使用,R,软件实现,实现任务：了研究亚洲各国发展情况，选取了,20,个国家的六个指标数据，进行以下聚类,选取前四个指标，用标准化数据的欧式距离作用距离度量，分别按最小距离、类平均距离、重心法和,Ward,法和最大距离法分别对这些国家做聚类，画出聚类谱系图。并输出按,Ward,法分成三类的结果,用相关系数转化为距离，分别按最小距离法和类平均距离对这些变量做聚类，画出聚类谱系图。并输出按类平均法分成两类的结果。,平均寿命,识字率,综合入学率,人均,GDP,面积,人口,Afghanistan,44.637,32.69196,54.07206,1419.003,652300,22000,Cambodia,62.168,78.2879,58.07544,1952.26,181035,11430,China,73.474,94.2301,68.005,7206.118,9600000,1295330,India,64.352,68.2926,62.60772,3354.394,2974700,1020000,Indonesia,71.493,93.78223,74.51548,4394.326,1904443,210000,Iran,71.91,85.23285,74.03589,11891.32,1645000,63900,Korea,79.8,99,99.84531,29325.77,99600,48022,Japan,83.166,99,87.29832,33648.66,377800,127310,Jordan,73.107,93.10328,78.26715,5700.399,89340,5040,Kazakhstan,65.364,99,90.93078,11927.25,2717300,14821,Nepal,67.459,60.3039,57.47862,1189.24,147181,23000,Oman,76.142,86.2734,66.16027,26258.11,30950,2325,Pakistan,67.164,57.83466,41.53325,2624.715,11500,8797,VietNam,74.908,92.13669,63.71198,3096.957,329556,77680,Philippines,72.339,93.6732,78.02884,3600.9,300000,80080,Malaysia,74.732,92.898,69.76717,14410.43,329735,23275,SaudiArabia,73.305,86.746,80.16356,24208.17,2250000,22760,Israel,81.153,98.42512,90.86705,28291.88,14900,6458,Turkey,72.23,90.03958,74.26163,13359.24,779450,66500,Qatar,75.966,94.34211,60.97165,77177.68,11437,580,