哈工大模式识别课程期末总结.ppt
《哈工大模式识别课程期末总结.ppt》由会员分享,可在线阅读,更多相关《哈工大模式识别课程期末总结.ppt(123页珍藏版)》请在咨信网上搜索。
1、哈哈尔滨工工业大学大学课程总复习11.关于期末考关于期末考试/考察考察2.章章节知知识点整理点整理21.1.关于期末考关于期末考试/考察考察31.确认考试人员名单;2.考试/考察方式学位课:考试70%+报告30%;选修课:报告100%(不用考试)。3.报告形式(见word文档)4.考试题目(100分)1简答题(35分)7*5=35分2推导题(8分)3证明题(8分)4问答题(24分)3*8=24分5计算题(25分)9+8+8=25分(记得要得要带尺子,尺子,铅笔,橡皮擦笔,橡皮擦)【关于期末考试】42.2.章章节知知识点整理点整理5哈哈尔滨工工业大学大学第1章 模式识别绪论6模式识别基本概念模式
2、识别系统组成模式识别基本问题应用领域小结7模式模式识别系系统组成成 8【模式识别系统组成】1.1.信息的信息的获取:通取:通过测量、采量、采样、量化并用矩、量化并用矩阵或向量表示。通常或向量表示。通常输入入对象的信息有三个象的信息有三个类型:二型:二维图像(文字、指像(文字、指纹、地、地图、照片等)、照片等)、一、一维波形(波形(脑电图、心、心电图、机械震、机械震动波形等)、物理参量和波形等)、物理参量和逻辑值(体(体检中的温度、血化中的温度、血化验结果等)果等)2.2.预处理:去除噪声,加理:去除噪声,加强有用的信息,并有用的信息,并对输入入测量量仪器或其它器或其它因素造成的干因素造成的干扰
3、进行行处理。理。3.3.特征提取与特征提取与选择:为了了实现有效的有效的识别分分类,要,要对原始数据原始数据进行行变换得到最能反映分得到最能反映分类本本质的特征,此的特征,此过程程为特征提取和特征提取和选择。4.4.分分类决策:在特征空决策:在特征空间中用中用统计方法把被方法把被识别对象象归为某一某一类。基本作法是在基本作法是在样本本训练集基集基础上确定某个判决上确定某个判决规则,使按,使按这种判决种判决规则对被被识别对象象进行分行分类所造成的所造成的错误识别率最小或引起的率最小或引起的损失最小。失最小。5.5.后后处理:理:针对决策采取相决策采取相应的行的行动。信息信息获取取预处理理特征提取
4、特征提取与与选择分分类决策决策后后处理理模式模式识别系系统组成框成框图9哈哈尔滨工工业大学大学第2章 贝叶斯决策理论10概率概率论基基础知知识贝叶斯决策基叶斯决策基础知知识基于最小基于最小错误率的率的贝叶斯决策叶斯决策基于最小基于最小风险的的贝叶斯决策叶斯决策贝叶斯分叶斯分类器器设计正正态分布分布时的的统计决策决策小小结11贝叶斯决策基叶斯决策基础知知识12【贝叶斯决策基础知识】贝叶斯决策理叶斯决策理论先验概率:后验概率:类条件概率:贝叶斯公式:13基于最小基于最小错误率的率的贝叶斯决策叶斯决策14【基于最小错误率的贝叶斯决策】(4)15【基于最小错误率的贝叶斯决策】16【基于最小错误率的贝叶
5、斯决策】17【基于最小风险的贝叶斯决策】概念概念决策决策决策空决策空间 前面所前面所讲的的错误率达到最小。在某些率达到最小。在某些实际应用中,最小用中,最小错误率的率的贝叶斯准叶斯准则并不适合。以癌并不适合。以癌细胞胞识别为例,例,诊断中如果断中如果把正常把正常细胞判胞判为癌症癌症细胞,固然会胞,固然会给病人精神造成病人精神造成伤害,但害,但伤害有限;相反地,若把癌症害有限;相反地,若把癌症细胞胞误判判为正常正常细胞,将会使早期胞,将会使早期的癌症患者失去治的癌症患者失去治疗的最佳的最佳时机,造成机,造成验证的后果。的后果。18【基于最小风险的贝叶斯决策】数学描述数学描述19【基于最小风险的贝
6、叶斯决策】期望期望风险:条件期望条件期望损失:失:目的:期望目的:期望风险最小化最小化20【基于最小风险的贝叶斯决策】最小最小风险贝叶斯决策叶斯决策规则:21【基于最小风险的贝叶斯决策】算法步算法步骤:22【基于最小风险的贝叶斯决策】例例题2:2:23【基于最小风险的贝叶斯决策】24【基于最小错误率的贝叶斯决策与最小风险的贝叶斯决策的关系】定理:定理:0-10-1风险25哈哈尔滨工工业大学大学第3章 概率密度函数估计26引言引言参数估参数估计正正态分布的参数估分布的参数估计非参数估非参数估计本章小本章小结27参数估参数估计 28【参数估计】最大似然估最大似然估计贝叶斯估叶斯估计贝叶斯学叶斯学习
7、29【最大似然估计】基本假基本假设30【最大似然估计】基本概念基本概念31【最大似然估计】基本原理基本原理32【最大似然估计】估估计量量估估计值33【最大似然估计】一元参数一元参数34【最大似然估计】多元参数多元参数35【最大似然估计】例子(梯度法不适合):不成功!不成功!36【贝叶斯估计】采用最小采用最小风险贝叶斯决策叶斯决策37【贝叶斯估计】38【贝叶斯估计】39【贝叶斯学习】40【三种方法总结】41【三种方法总结】42哈哈尔滨工工业大学大学第4章 线性判别函数43线性判性判别函数的基本概念函数的基本概念Fisher线性判性判别准准则函数函数感知准感知准则函数函数最小平方最小平方误差准差准
8、则函数函数多多类问题444.1.1概念的提出概念的提出【线性判别函数】定定义454.1.1概念的提出概念的提出【线性判别函数】分分类决策决策464.1.1概念的提出概念的提出【线性判别函数】分析分析474.1.1概念的提出概念的提出【线性判别函数】分析分析说明:判明:判别函数函数g(x)正比于任意一正比于任意一点点x到超平面的代数距离。到超平面的代数距离。48FisherFisher线性判性判别准准则函数函数49【Fisher线性判别准则函数】概念概念 应用用统计方法解决模式方法解决模式识别问题时,往往遇到,往往遇到维数数问题(举例:例:图像像识别),降),降维是有效方法。考是有效方法。考虑到
9、降到降d d维空空间的的样本投影到一条直本投影到一条直线上,如果投影到任意一条直上,如果投影到任意一条直线上上则可能造可能造成本来有很好区分度的成本来有很好区分度的样本在直本在直线上上线性不可分。因此,直性不可分。因此,直线的方向很关的方向很关键。50【Fisher线性判别准则函数】基本思路基本思路 FisherFisher判判别的基本思想:希望投影后的一的基本思想:希望投影后的一维数据数据满足:足:两两类之之间的距离尽可能的距离尽可能远;每一每一类自身尽可能自身尽可能紧凑。凑。51【Fisher线性判别准则函数】52【Fisher线性判别准则函数】53【Fisher线性判别准则函数】54【F
10、isher线性判别准则函数】55哈哈尔滨工工业大学大学第5章 非线性判别函数56基本概念基本概念基于距离的分段基于距离的分段线性判性判别函数函数分段分段线性分性分类器器设计二次判二次判别函数函数程序程序设计方法方法实际应用系用系统设计研究研究报告告57哈哈尔滨工工业大学大学第6章 特征的选择与提取581.1.引言引言2 2 类别可分离性判据可分离性判据3 3 特征特征选择4.4.特征提取特征提取59哈哈尔滨工工业大学大学第7章 近邻法600.0.引言引言1.1.近近邻法原理及其决策法原理及其决策规则 2.2.快速搜索近快速搜索近邻法法3.3.剪剪辑近近邻法法4.4.压缩近近邻法法611.1.近
11、近邻法原理及其决策法原理及其决策规则 62【基本原理】最小距离分最小距离分类器是将各器是将各类训练样本划分成若干子本划分成若干子类,并,并在每个子在每个子类中确定代表点,一般用子中确定代表点,一般用子类的的质心或心或邻近近质心的心的某一某一样本本为代表点。代表点。测试样本的本的类别则以其与以其与这些代表点距些代表点距离最近作决策。离最近作决策。该法的缺点是所法的缺点是所选择的代表点并的代表点并不一定不一定能很能很好地代表各好地代表各类,后果将使后果将使错误率增加。率增加。近近邻法的基本思想:法的基本思想:增加代表点的数量有没有可能增加代表点的数量有没有可能获得性能好的分得性能好的分类器呢器呢?
12、一种一种极端的情况是以全部极端的情况是以全部训练样本作本作为“代表点代表点”,计算算测试样本与本与这些些“代表点代表点”,即所有,即所有样本的距离,并以最近本的距离,并以最近邻者的者的类别作作为决策。此决策。此为近近邻法的基本思想。法的基本思想。63【最近邻法决策规则】若若则其中其中 表示是表示是 类的第的第 个个样本。决策本。决策规则为:定定义:将与:将与测试样本最近本最近邻样本本类别作作为决策的方法。决策的方法。对一个一个 类别问题,每,每类有有 个个样本,本,则第第 类 的判的判别函数函数64 最近最近邻法可以法可以扩展成找展成找测试样本的本的 个最近个最近样本作决策本作决策依据的方法。
13、其基本依据的方法。其基本规则是,在所有是,在所有 个个样本中找到与本中找到与测试样本的本的 个最近个最近邻者;者;其中各其中各类别所占个数表示成所占个数表示成 则决策决策为:【-近邻法决策规则】注意:注意:近近邻一般采用一般采用 为奇数,跟投票表决一奇数,跟投票表决一样,避免因两,避免因两种票数相等而种票数相等而难以决策。以决策。若若则65【问题的提出】上述上述讨论中可以看出,尽管近中可以看出,尽管近邻法有其法有其优良品良品质,但是它的,但是它的一个一个严重弱点与重弱点与问题是需要存是需要存储全部全部训练样本,以及繁重的距本,以及繁重的距离离计算量。但以算量。但以简单的方式降低的方式降低样本数
14、量,只能使其性能降低,本数量,只能使其性能降低,这也是不希望的。也是不希望的。为此要研究既能减少近此要研究既能减少近邻法法计算量与存算量与存储量,量,同同时又不明又不明显降低其性能的一些改降低其性能的一些改进算法。算法。改改进算法大致基于两种原理算法大致基于两种原理。一种是。一种是对样本集本集进行行组织与整与整理,分群分理,分群分层,尽可能将,尽可能将计算算压缩到在接近到在接近测试样本本邻域的小域的小范范围内,避免与内,避免与训练样本集中每个本集中每个样本本进行距离行距离计算。算。另一种原理另一种原理则是在原有是在原有样本集中挑本集中挑选出出对分分类计算有效的算有效的样本,使本,使样本本总数合
15、理地减少,以同数合理地减少,以同时达到既减少达到既减少计算量,又算量,又减少存减少存储量的双重效果。量的双重效果。662.2.快速搜索近快速搜索近邻法法673.3.剪剪辑近近邻法法684.4.压缩近近邻法法69哈哈尔滨工工业大学大学第8章 主成分分析(PCA)701.1.引言引言2 2 主成分分析主成分分析(PCA)(PCA)3 3 基于基于K-LK-L展开式的特征提取展开式的特征提取4.4.应用用举例例712.2.主成分分析主成分分析72根据方差最大化原理,用一组新的、线性无关且相互正交的向量来表征原来数据矩阵的行(或列)。这组新向量(主成分)是原始数据向量的线性组合。通过对原始数据的平移、
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 哈工大 模式识别 课程 期末 总结
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【快乐****生活】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【快乐****生活】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。