![点击分享此内容可以赚币 分享](/master/images/share_but.png)
离群点检测(基于距离)实验报告.doc
《离群点检测(基于距离)实验报告.doc》由会员分享,可在线阅读,更多相关《离群点检测(基于距离)实验报告.doc(15页珍藏版)》请在咨信网上搜索。
1、题 目离群点检测(基于距离)学生姓名学生学号专业班级指导教师2015-1-17实验四 离群点检测(基于距离)此实验是在实验三的基础上,修改完成。实验算法与上次相同,但增加了离群点检测。离群点检测方法为:在聚类完成之后,计算簇中的点到各自簇心的距离。当簇中的一点到簇心的距离大于该簇的平均距离与1.5倍标准差的和时,则认为该点为离群点,即阀值平均距离与1.5倍标准差的和。一、 实验目的1. 深刻理解离群点,了解离群点检测的一般方法;2. 掌握基于距离的离群点检测算法;3. 锻炼分析问题、解决问题的思维,提高动手实践的能力。二、 背景知识异常对象被称作离群点。异常检测也称偏差检测和例外挖掘。常见的异
2、常成因:数据来源于不同的类(异常对象来自于一个与大多数数据对象源(类)不同的源(类)的思想),自然变异,以及数据测量或收集误差。异常检测的方法:(1)基于模型的技术:首先建立一个数据模型,异常是那些同模型不能完美拟合的对象;如果模型是簇的集合,则异常是不显著属于任何簇的对象;在使用回归模型时,异常是相对远离预测值的对象;(2)基于邻近度的技术:通常可以在对象之间定义邻近性度量,异常对象是那些远离其他对象的对象;(3)基于密度的技术:仅当一个点的局部密度显著低于它的大部分近邻时才将其分类为离群点。三、 实验要求改写一种简单的半监督方法,用于离群点检测。使用一种你熟悉的程序设计语言,如C+或Jav
3、a,实现该方法,并在两种不同的数据集上进行讨论(1)只有一些被标记的正常对象;(2)只有一些被标记的离群点实例。四、 实验环境Win7 旗舰版 + Visual Studio 2012语言:C+五、 算法描述K-means算法是很典型的基于距离的聚类算法,采用距离作为相似性的评价指标,即认为两个对象的距离越近,其相似度就越大。该算法认为簇是由距离靠近的对象组成的,因此把得到紧凑且独立的簇作为最终目标。1、 算法思路K-means算法先随机选取K个对象作为初始的聚类中心。然后计算每个对象与各个种子聚类中心之间的距离,把每个对象分配给距离它最近的聚类中心。聚类中心以及分配给它们的对象就代表一个聚类
4、。一旦全部对象都被分配了,每个聚类的聚类中心会根据聚类中现有的对象被重新计算。这个过程将不断重复直到满足某个终止条件。终止条件可以是以下任何一个:1)没有(或最小数目)对象被重新分配给不同的聚类。2)没有(或最小数目)聚类中心再发生变化。3)误差平方和局部最小。2、 算法步骤a. 从数据集中随机挑K个数据当簇心; b. 对数据中的所有点求到这K个簇心的距离,假如点Pi离簇心Si最近,那么Pi属于Si对应的簇;c. 根据每个簇的数据,更新簇心,使得簇心位于簇的中心;d. 重复步骤e和步骤f,直到簇心不再移动(或其他条件,如前后两次距离和不超过特定值),继续下一步;e. 计算每个簇的正常半径,即阀
5、值(此程序阀值为每个簇的平均距离与1.5倍标准差之和);f. 从每个簇中,找出大于阀值的点,即离群点。六、 数据结构Node类,定义了二维空间中的一个点,pos_x,pos_y三成员变量分别为x,y,轴的值,且为double型。Node类作为基本数据结构,使用在KMean类里。KMean类封装了一系列成员变量和函数,实现了KMean算法。具体成员变量和函数详细说明如下:class KMeanprivate:int cluster_num;/生成的簇的数量。vector mean_nodes;/均值点vector data;/所有的数据点vector* clusters;/簇,key为簇的下标,
6、value为该簇中所有点int count;/记录迭代次数vector* cutData;double* radio;/初始化函数(首先随即生成代表点)void Init_Means();/聚类过程,将空间中的点分到不同的簇中void ClusterProcess();/获取当前结点的簇下标int getIndexOfCluster(vector means, Node active);/获取每个点到各自簇中心的距离和double getSumOfDist(vector* clusters, vector mean_nodes);/生成均值Node getMeans(int cluster_i
7、ndex);/获取两个点之间的距离double getDistance(Node active,Node other);public:/构造函数,c_num为簇个数,node_vector为原始数据KMean(int c_num,vector node_vector);KMean();/找出离群点 只要距离大于平均距离+标准差,则视为离群点void cut();/显示剪枝结果void showCutResult();程序代码图注:代码图中相关函数的说明见KMean类的方法说明。七、 程序截图随机生成50个数据,随机选取4个簇心,如上图所示。经过聚类,簇1、簇2的中心已改变,算出的阀值、检测到的
8、离群点如上图所示。簇3、簇4聚类后,正常点和离群点如图所示。八、 实验总结实验程序,是在聚类完成之后,基于距离筛选出了离群点。在数据挖掘过程中,将离群点数据丢弃,更有利于分析获取有用的数据。从实验结果看,部分离群点的距离远大于正常距离,丢弃这些数据,避免无效数据干扰,显得非常有意义。九、 附件1. 程序源码main.cpp主程序入口#include #include #include k-mean.h#include using namespace std;/输入数据void input(vector& vecData,int num);int main()srand(int) time(0)
9、;vector data;int num,k;cout num k;input(data,num);KMean kmean(k,data);kmean.cut();kmean.showCutResult();system(pause);return 0;void input(vector& vecData,int num)for(int i =0;inum;i+)Node node;node.pos_x = (rand() % 5000 );node.pos_y = (rand() % 5000 );vecData.push_back(node);k-mean.hkmean类和Node类声明/
10、k-mean.h#pragma once#include using namespace std;/空间点的定义class Nodepublic:double pos_x;double pos_y;Node()pos_x = 0.0;pos_y = 0.0;friend bool operator (const Node& first,const Node& second)/对x轴的比较if(first.pos_x second.pos_x)return false;/对y轴的比较else if(first.pos_y second.pos_y)return true;elsereturn f
11、alse; friend bool operator = (const Node& first,const Node& second)if(first.pos_x = second.pos_x & first.pos_y = second.pos_y)return true;elsereturn false;class KMeanprivate:int cluster_num;/生成的簇的数量。vector mean_nodes;/均值点vector data;/所有的数据点vector* clusters;/簇,key为簇的下标,value为该簇中所有点int count;/记录迭代次数ve
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 离群 检测 基于 距离 实验 报告
![提示](https://www.zixin.com.cn/images/bang_tan.gif)
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【快乐****生活】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【快乐****生活】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。