数学建模聚类分析市公开课金奖市赛课一等奖课件.pptx

第二节第二节 聚类分析聚类分析第1页第1页 聚类分析（Cluster Analysis）是研究“物以类聚”一个多元统计办法。国内有些人称它为群分析、点群分析、簇群分析等。第2页第2页一、聚类分析基本概念一、聚类分析基本概念l研究对样品或指标进行分类一个多元统计方法,是依据研究对象个体特性进行分类方法。l聚类分析把分类对象按一定规则分成若干类，这些类非事先给定，而是依据数据特性确定。在同一类中这些对象在某种意义上趋向于彼此相同，而在不同类中趋向于不相同。l职能是建立一个能按照样品或变量相同程度进行分类方法。第3页第3页 聚类分析基本思想是认为我们所研究样本或指标（变量）之间存在着程度不同相同性（亲疏关系）。于是依据一批样本多个观测指标，详细找出一些彼此之间相同程度较大样本（或指标）聚合为一类，把另外一些彼此之间相同程度较大样本（或指标）又聚合为另一类，关系密切聚合到一个小分类单位，关系疏远聚合到一个大分类单位，直到把全部样本（或指标）都聚合完成，把不同类型一一划分出来，形成一个由小到大分类系统。最终把整个分类系统画成一张谱系图，用它把全部样本（或指标）间亲疏关系表示出来。这种方法是最惯用、最基本一个，称为系统聚类分析。第4页第4页第5页第5页l除此以外，尚有动态聚类法、图论聚类法、模糊聚类法、有序聚类法等。l聚类分析有两种：一个是对样本分类，称为聚类分析有两种：一个是对样本分类，称为Q型，另一个是对变量（指标）分类，称为型，另一个是对变量（指标）分类，称为R型。型。第6页第6页lR型聚类分析主要作用：型聚类分析主要作用：不但能够理解个别变量之间亲疏程度，并且能够理解各个变量组合之间亲疏程度。依据变量分类结果以及它们之间关系，能够选择主要变量进行Q型聚类分析或回归分析。（R2为选择原则）lQ型聚类分析主要作用：型聚类分析主要作用：能够综合利用多个变量信息对样本进行分析。分类结果直观，聚类谱系图清楚地表现数值分类结果。聚类分析所得到结果比老式分类办法更细致、全面、合理。在课堂上主要讨论Q型聚类分析,Q型聚类惯用统计量是距离.第7页第7页l那么那么Q型系统聚类法则能够表述为：型系统聚类法则能够表述为：把样本当作把样本当作n维空间点，而把变量当作维空间点，而把变量当作n维维空间坐标轴，空间坐标轴，m个样本开始时自成一类，然后个样本开始时自成一类，然后要求各类之间距离，将距离最小一对并成一类，要求各类之间距离，将距离最小一对并成一类，然后再计算距离，直到所有单位所有合并为止。然后再计算距离，直到所有单位所有合并为止。第8页第8页二、距离和相同系数二、距离和相同系数l 在进行聚类分析时，样本间相同系数和距离有各种不同定义，通常按特性来划分。变量特性测度尺度有三种类型：l 间隔尺度（由连续实值变量表示）l 有序尺度（没有明确数量表示，只有次序关系，如产品等级）l 名义尺度（含有某种特性，如性别）第9页第9页l从一组复杂数据产生一个相称简朴类结构，必定要求进行“相关性”或“相同性”度量。在相同性度量选择中，经常包括许多主观上考虑，但最主要考虑是指标性质或观测尺度（名义、顺序、间隔）以及相关知识。l课堂上主要讨论指标测量为间隔尺度情况。第10页第10页距离距离l每个样本有p个指标，因此每个样本能够当作p维空间中一个点，n个样本就构成p维空间中n个点，这时很自然想到用距离来度量n个样本间靠近程度。l用 表示第i个样本与第j个样本之间距离。一切距离应满足下列条件：第11页第11页常见距离有：常见距离有：lblock distance 绝对值距离绝对值距离：leuclidean distance 欧式距离欧式距离lsquared euclidean distance 平方欧式距离平方欧式距离lchebychev distance 切比雪夫距离切比雪夫距离lminkowski distance 明考斯基距离明考斯基距离 （明氏距离）（明氏距离）当当q=1,2时，为绝对值、欧式距离；时，为绝对值、欧式距离；若趋近无穷时，则为切比雪夫距离若趋近无穷时，则为切比雪夫距离第12页第12页明氏距离在实际利用诸多，但有一些缺点。比明氏距离在实际利用诸多，但有一些缺点。比如观测值单位问题；指标间相关问题，因此改如观测值单位问题；指标间相关问题，因此改进得到下列两种距离：进得到下列两种距离：lLanberra 兰氏距离lMahalanobis 马氏距离l以上都是样本间距离定义。第13页第13页相同系数相同系数l夹角余弦l相关系数l变量间距离l利用相同系数来定义距离l利用样本协差阵来定义距离l把变量Xin次观测值当作n维空间点,在n维空间中定义m个变量间距离。第14页第14页l 夹角余弦 两变量夹角余弦定义为：第15页第15页l 相关系数 两变量相关系数定义为：第16页第16页三、系统聚类法基本环节1.选择样本间距离定义及类间距离定义；2.计算n个样本两两之间距离，得到距离矩阵 3.结构个类，每类只含有一个样本；4.合并符合类间距离定义要求两类为一个新类；5.计算新类与当前各类距离。若类个数为1，则转到环节6，不然回到环节4;6.画出聚类图；7.决定类个数和类。第17页第17页系统聚类分析办法系统聚类分析办法l系统聚类法聚类标准决定于样品间距离以及类间距离定义，类间距离不同定义就产生了不同系统聚类分析方法。l以下用dij表示样品X(i)和X(j)之间距离，当样品间亲疏关系采取相同系数Cij时，令 ；l以下用D(p,q)表示类Gp和Gq之间距离。第18页第18页1.最短距离法(SINgle method)第19页第19页2.最长距离法最长距离法(COMplete method)第20页第20页最长距离最短距离ABCDEF第21页第21页例例为了研究辽宁等5省1991年城乡居民生活消费情况分布规律，依据调查资料做类型分类，用最短距离做类间分类。数据下列：x1x2x3x4x5x6x7x8辽宁17.9039.778.4912.9419.2711.052.0413.29浙江27.6850.3711.3513.3019.2514.592.7514.87河南39.4227.938.208.1416.179.421.559.76甘肃49.1627.989.019.3215.999.101.8211.35青海510.0628.6410.5210.0516.188.391.9610.81第22页第22页l将每一个省区视为一个样本，先计算5个省区之间欧式距离，用D0表示距离矩阵（对称阵，故给出下三角阵）因此将3.4合并为一类，为类6，替换了3、4两类l类6与剩余1、2、5之间距离分别为：d(3,4)1=min(d31,d41)=min(13.80,13.12)=13.12 d(3,4)2=min(d32,d42)=min(24.63,24.06)=24.06 d(3,4)5=min(d35,d45)=min(3.51,2.21)=2.21第23页第23页l得到新矩阵合并类6和类5，得到新类7l类7与剩余1、2之间距离分别为：d(5,6)1=min(d51,d61)=min(12.80,13.12)=12.80 d(5,6)2=min(d52,d62)=min(23.54,24.06)=23.54第24页第24页l 得到新矩阵l合并类1和类2，得到新类8l此时，我们有两个不同类：类7和类8。l它们最近距离ld(7,8)=min(d71,d72)=min(12.80,23.54)=12.80第25页第25页l得到矩阵最后合并为一个大类。这就是按最短距离定义类间距离系统聚类办法。最长距离法类似！第26页第26页3.重心法重心法(CENtroid method)第27页第27页4.类平均法类平均法(AVErage method)第28页第28页中间距离第29页第29页5.离差平方和法离差平方和法(WARD)l基本思想起源于方差分析。它认为：假如分类正确，同类间基本思想起源于方差分析。它认为：假如分类正确，同类间类差平方和应较小，类与类之间离差平方和应较大类差平方和应较小，类与类之间离差平方和应较大.l详细做法是，先将详细做法是，先将n个样本分成一类个样本分成一类,然后每次缩小一类然后每次缩小一类,每每缩小一类离差平方和就要增大缩小一类离差平方和就要增大.第30页第30页 离差平方和法离差平方和法(WARD)第31页第31页系统聚类办法统一系统聚类办法统一 第32页第32页系统聚类法参数表系统聚类法参数表 第33页第33页类个数确实定类个数确实定l由适当阈值拟定；l依据数据点散布直观地拟定类个数；l依据统计量拟定分类个数；第34页第34页类个数确实定类个数确实定l依据谱系图确定分类个数准则：l各类重心间距离必须很大；l类中保包含元素不要太多；l类个数必须符合实际应用；l假如采取几个不同聚类方法处理，则在各种聚类图中应该发觉相同类。第35页第35页四、系统聚类参数选择四、系统聚类参数选择聚类类别：聚类类别：统计统计图：树型谱系图图：树型谱系图 冰柱谱系图冰柱谱系图聚类办法聚类办法1.Between-groups linkage 类间平均法类间平均法 两类距离为两类元素两两之间平均平方距离两类距离为两类元素两两之间平均平方距离2.Within-groups linkage 类内平均法类内平均法两类距离为合并后类中也许元素两两之间平均平方距离两类距离为合并后类中也许元素两两之间平均平方距离3.Nearest neighbor 最短距离法最短距离法 4.Furthest neighbor 最长距离法最长距离法5.Centroid clustering 重心法重心法 (欧式距离欧式距离)6.Median clustering 中间距离法中间距离法 (欧式距离欧式距离)7.Ward Method 离差平办法离差平办法 (欧式距离欧式距离)第36页第36页SPSS界面指南界面指南第37页第37页五、系统聚类法之例：地域按经济效益分类五、系统聚类法之例：地域按经济效益分类某年全国某年全国28个省区经济效益指标表，演示个省区经济效益指标表，演示第38页第38页类间平均法类间平均法第39页第39页类内平均法类内平均法第40页第40页最短距离法最短距离法第41页第41页最长距离法最长距离法第42页第42页重心法重心法第43页第43页中间距离法中间距离法第44页第44页离差平办法离差平办法第45页第45页六、快速聚类法快速聚类法聚类数由用户指定，分类是唯一。快速聚类法聚类数由用户指定，分类是唯一。l1.分类数分类数l2.聚类办法聚类办法:method:iterate and clussifyl clussify onlyl3.聚类中心聚类中心:centersl4.迭代次数迭代次数:iteratel5.保留分类结果保留分类结果:save第46页第46页第47页第47页