判别函数线性判别函数线性判别函数的市公开课一等奖百校联赛特等奖课件.pptx

2-1、判别函数 2-2、线性判别函数 2-3、线性判别函数性质 2-4、广义线性判别函数 2-5、非线性判别函数第二章 判别函数第1页v假设对一模式X已抽取n个特征，表示为：v模式识别问题就是依据模式X Xn n个特征来判别模式属于1,2,m 类中那一类。2-1 判别函数 第2页比如下列图：三类分类问题，它们边界限就是一个判别函数2.1 判别函数（续）第3页v判别函数包含两类：v一类 是线性判别函数：线性判别函数广义线性判别函数 （所谓广义线性判别函数就是把非线性判别函数映射到另外一个空间变成线性判别函数）分段线性判别函数v另一类是非线性判别函数2.1 判别函数（续）第4页 2-2 线性判别函数v我们现在对两类问题和多类问题分别进行讨论。v(一)两类问题 即:v v1.二维情况：取两个特征向量v 这种情况下 判别函数:第5页v在两类别情况，判别函数 g(x)含有以下性质：v这是二维情况下判别由判别边界分类.v情况如图：1.二维情况第6页2.n维情况v现抽取n个特征为：v判别函数：v另外一个表示方法：第7页v模式分类：v当 g1(x)=WTX=0 为判别边界。当n=2时，二维情况判别边界为一直线。当n=3时，判别边界为一平面，n3时，则判别边界为一超平面。2.n维情况第8页(二)多类问题v对于多类问题，模式有 1,2,m 个类别。可分三种情况：1。第一个情况：每一模式类与其它模式类间可用单第一个情况：每一模式类与其它模式类间可用单个判别平面把一个类分开。个判别平面把一个类分开。这种情况，M类可有M个判别函数，且含有以下性质：第9页v右图所表示，每一类别可用单个判别边界与其它类别相分开。v假如一模式X属于1，则由图可清楚看出:这时g1(x)0而g2(x)0，g3(x)0，g2(x)0，g3(x)0。则此模式X就无法作出确切判决。如图中 IR1,IR3，IR4区域。v另一个情况是IR2区域，判别函数都为负值。IR1，IR2，IR3，IR4。都为不确 定区域。1 1。第一个情况（续）第一个情况（续）第14页v问当x=(x1,x2)T=(6,5)T时属于那一类v结论：g1(x)0，g3(x)g2(x)和 g1(x)g3(x)。v假设判别函数为：v则判别边界为：3。第三种情况（续）第20页v结论：不确定区间没有了，所以这种是最好情况。v用上列方程组作图以下：3。第三种情况（续）第21页v问假设未知模式x=(x1,x2)T=(1,1)T，则x属于那一类。v把它代入判别函数：v得判别函数为：v因为v所以模式x=(1,1)T属于 类。3。第三种情况（续）第22页2-3、线性判别函数性质v1、模式空间与加权空间v模式空间：由 组成n维欧氏空间。vW是此空间加权向量，它决定模式分界面H，W与H正交。v加权空间：以 为变量组成欧氏空间v模式空间与加权空间几何表示以下列图：第23页模式空间第24页第25页1、模式空间与加权空间（续）第26页v该式表示一个经过加权空间原点平面，此平面就是加权空间图中平面,一样令g(x2)=g(x3)=g(x4)=0，分别作出经过加权空间原点平面图中用阴影表示部分是各平面正侧。v加权空间结构：v设 是加权空间分界面上一点，代入上式得：1、模式空间与加权空间第27页v这是一个不等式方程组，它解 处于由1类全部模式决定平面正边和由2类全部模式决定平面负边，它解区即为凸多面锥。v如图所表示：(b)为加权空间，（c）为正规化后加权空间。v由上能够得到结论：加权空间全部分界面都经过坐标原点。这是加权空间性质。v为了更清楚，下面用二维权空间来表示解向量和解区。1、模式空间与加权空间（续）第28页v在三维空间里，令w3 =0 则为二维权空间。如图：v给定一个模式X，就决定一条直线：v即分界面H，W与H正交，W称为解向量。v解向量变动范围称为解区。v因x1,x21，x3,x42由图可见x1,x3离最近，所以分界面H能够是x1,x3之间任一直线，由垂直于这些直线W就组成解区，解区为一扇形平面，即阴影区域。v如右图:2、解向量和解区第29页v把不等式方程正规化：v正规化：2、解向量解区（续）第30页vg(x)=WTX=0决定一个决议界面，当g(x)为线性时，这个决议界面便是一个超平面H，并有以下性质：v性质：W与H正交（如图所表示）v假设x1,x2是H上两个向量v所以 vW 与(x1-x2)垂直，即W与H正交。v普通说，超平面H把特征空间分成两个半空间。即1,2空间，当x在1空间时g(x)0,W指向1，为H正侧，反之为H负侧.3、超平面几何性质第31页12g(x)0g(x)03、超平面几何性质第32页v 矢量到H正交投影 与 值成正比v其中：x p：x在H 投影向量，vr是x 到H 垂直距离。v 是W方向单位向量。3、超平面几何性质（续）v性质：第33页其次:3、超平面几何性质（续）v这是超平面第二个性质，矢量x到超平面正交投影 正比与g(x)函数值。第34页v性质：3、超平面几何性质（续）第35页v性质：3、超平面几何性质（续）第36页v一组模式样本不一定是线性可分，所以需要研究线性分类能力方法，对任何容量为N样本集，线性可分概率多大呢？v（以下列图（a），线性不可分）v例：4个样本有几个分法。v图（b）直线把x1分开，每条直线可把4个样本分成1 2 类，4个样本分成二类总可能分法为24=16类，其中有二种是不能用线性分类实现线性可分是14。即概率为14/16。4。二分法能力（a）x1x2x3x4 （b）第37页v结论：N个样品线性可分数目(条件：样本分布良好）：4。二分法能力（续）v对N和n各种组合D(N,n)值，表示在下表中，从表中可看出，当N，n迟缓增加时D(N,n)却增加很快。第38页12345612222222444444368888848141616161651022303232324。二分法能力（续）v线性可分概率：第39页v把上式用曲线表示成下列图：图中横坐标用=N/n+1表示。v由图讨论：4。二分法能力（续）第40页v结论：在实际工作中，分类训练非常主要，由已知样原来训练。因为已知样本有限，而未知样本无限。选择已知类别训练样本数方法以下：4。二分法能力（续）第41页v：假如训练样本N N0，设计分类器分类能力太差，因为训练样本太少。v：假如训练样本N太多时，则样本太多，运算量、存放量太大。v：所以实际工作中应该取：n4。二分法能力（续）第42页2-4、广义线性判别函数v这么一个非线性判别函数经过映射，变换成线性判别函数。v判别函数普通形式：第43页2-4、广义线性判别函数（续）v例：如右图。第44页2-4、广义线性判别函数（续）v要用二次判别函数才可把二类分开：212第45页2-4、广义线性判别函数（续）v从图能够看出：在阴影上面是1类，在阴影下面是2类，v结论：在X空间非线性判别函数经过变换到Y空间成为线性，但X变为高维空间212第46页v1.分段线性判别函数分段线性判别函数（用线性无法分开,可用分段线性判别函数）、基于距离分段线性判别函数基于距离分段线性判别函数。（用均值代表一类，经过均值连线中点垂直线分开）把i类能够分成li个子类:分成l个子类。现在定义子类判别函数：在同类子类中找最近均值。判别规则：这是在M类中找最近均值。则把x归于j类完成份类。2-5、非线性判别函数第47页2-5、非线性判别函数（续）v例：未知x,如图：v先与1类各子类均值比较，即 ，找一个最近 与2各子类均值比较取最近 因g2(x)g1(x)，所以x2类。第48页v设 1,2,mv而每一类又能够分为 子类。v对每个子类定义一个线性判别函数为：v则定义i类线性判别函数为：、基于函数分段线性判别函数 利用均值代表一类有时有不足，如图所表示。若用 线性判别函数代表一类，就会克服上述情况。1、分段线性判别函数第49页v在各子类中找最大判别函数作为这类代表，则对于M类，可定义M个判别函数gi(x),i=1,2,.M,所以，决议规则：v对未知模式x，把x先代入每类各子类判别函数中，找出一个最大子类判别函数，M类有M个最大子类判别函数，在M个子类最大判别函数中，再找一个最大，则x就属于最大子类判别函数所属那一类。1、分段线性判别函数（续）第50页、基于凹函数并分段线性判别函数（针对多峰情况）设li子类判别函数，i=1,2,.r则分段线性判别函数有以下特征：1、分段线性判别函数（续）v(a)：l1,l2,lr都是分段线性判别函数v(b)：若A,B都是分段线性判别函数，则：AB，AB也是分段线性判别函数。AB取最小，AB取最大。v(c)：对任何分段线性函数都能够表示成以下二种形式：v1)、析取范式(这是经常采取形式)P=(L11L12L1m)(Lq1Lq2Lqm)v2)、合取范式Q=(L11 L12 L1m)(Lq1 Lq2 Lqm)v每个(L11 L12 L1m)都称为凹函数。第51页1、分段线性判别函数（续）v对于多峰二类问题：设第一类有q个峰，则有q个凹函数。v即P=P1P2Pqv每个凹函数Pi由m 个线性判别函数来组成。vPi=Li1Li2Limv假设对于每个子类线性判别函数Lij都设计成：第52页v例、设如图1、分段线性判别函数（续）P=(L11L12 L13 L14 L15)(L21L22 L23 L24)(L31L32 L33 L34)第53页2、二次判别函数v二次判别函数普通可表示成：第54页2、二次判别函数(续)第55页2、二次判别函数(续)v关于二次判别函数，我们将在贝叶斯分类器中详细叙述。第56页