浅谈入侵检测技术(终稿)-毕业论文.doc

浅谈入侵检测技术目 录1引言21.1入侵检测技术的提出 21.2入侵检测技术技术研究史 31.2.1 以Denning模型为代表的IDS早期技术 31.2.2中期：统计学理论和专家系统相结合 41.2.3基于网络的NIDS是目前的主流技术 51.3本课题研究的途径与意义 112入侵检测技术原理 122.1 入侵检测技术第一步信息收集 122.1.1 网络入侵检测技术模块方式 132.1.2 主机入侵检测技术模块方式 132.1.3信息来源的四个方面 132.2 入侵检测技术的第二步信号分析 152.2.1模式匹配 162.2.2统计分析 162.2.3完整性分析 163入侵检测技术功能概要 184 入侵检测技术技术分析 194.1入侵分析按其检测技术规则分类 194.1.1基于特征的检测技术规则 194.1.2基于统计的检测技术规则204.2 一些新的分析技术 204.2.1 统计学方法 204.2.2 入侵检测技术的软计算方法 214.2.3 基于专家系统的入侵检测技术方法 215 入侵检测技术技术发展方向 225.1分布式入侵检测技术与通用入侵检测技术架构225.2应用层入侵检测技术 225.3智能的入侵检测技术 225.4入侵检测技术的评测方法 225.5网络安全技术相结合 226 建立数据分析模型 236.1测试数据的结构 226.2数据中出现的攻击类型256.2.1攻击（Attacks） 256.2.2发现训练集中的攻击类型 266.2.3其他主流的攻击类型 287 聚类算法在网络入侵检测技术中的作用 297.1模式识别的概念 297.2模式分类 297.3基于异常的入侵检测技术 327.4聚类算法简介 327.4.1 K-means算法 327.4.2迭代最优化算法327.4.3我的构想 32结论35致谢35参考文献 35本设计来自：完美毕业设计网登陆网站联系客服远程截图或者远程控观看完整全套论文图纸设计客服QQ：81910401引言1.1入侵检测技术的提出随着Internet高速发展，个人、企业以及政府部门越来越多地依靠网络传递信息, 然而网络的开放性与共享性容易使它受到外界的攻击与破坏,信息的安全保密性受到严重影响。网络安全问题已成为世界各国政府、企业及广大网络用户最关心的问题之一。在计算机上处理业务已由基于单机的数学运算、文件处理，基于简单连结的内部网络的内部业务处理、办公自动化等发展到基于企业复杂的内部网、企业外部网、全球互联网的企业级计算机处理系统和世界范围内的信息共享和业务处理。在信息处理能力提高的同时，系统的连结能力也在不断的提高。但在连结信息能力、流通能力提高的同时，基于网络连接的安全问题也日益突出，黑客攻击日益猖獗，防范问题日趋严峻： 具Warroon Research的调查，1997年世界排名前一千的公司几乎都曾被黑客闯入。 据美国FBI统计，美国每年因网络安全造成的损失高达75亿美元。 Ernst和Young报告，由于信息安全被窃或滥用，几乎80%的大型企业遭受损失 在最近一次黑客大规模的攻击行动中，雅虎网站的网络停止运行3小时，这令它损失了几百万美金的交易。而据统计在这整个行动中美国经济共损失了十多亿美金。由于业界人心惶惶，亚马逊(A)、AOL、雅虎(Yahoo!)、eBay的股价均告下挫，以科技股为主的纳斯达克指数(Nasdaq)打破过去连续三天创下新高的升势，下挫了六十三点，杜琼斯工业平均指数周三收市时也跌了二百五十八点。遇袭的网站包括雅虎、亚马逊和B、MSN.com、网上拍卖行eBay以及新闻网站CNN.com，估计这些袭击把Internet交通拖慢了百分二十。目前我国网站所受到黑客的攻击，还不能与美国的情况相提并论，因为我们在用户数、用户规模上还都处在很初级的阶段，但以下事实也不能不让我们深思： 1993年底，中科院高能所就发现有黑客侵入现象，某用户的权限被升级为超级权限。当系统管理员跟踪时，被其报复。1994年，美国一位14岁的小孩通过互联网闯入中科院网络中心和清华的主机，并向我方系统管理员提出警告。 1996年，高能所再次遭到黑客入侵，私自在高能所主机上建立了几十个帐户，经追踪发现是国内某拨号上网的用户。同期，国内某ISP发现黑客侵入其主服务器并删改其帐号管理文件，造成数百人无法正常使用。 进入1998年，黑客入侵活动日益猖獗，国内各大网络几乎都不同程度地遭到黑客的攻击：7月，江西169网被黑客攻击，造成该网3天内中断网络运行2次达30个小时，工程验收推迟20天；同期，上海某证券系统被黑客入侵；8月，印尼事件激起中国黑客集体入侵印尼网点，造成印尼多个网站瘫痪，但与此同时，中国的部分站点遭到印尼黑客的报复；同期，西安某银行系统被黑客入侵后，提走80.6万元现金；9月，扬州某银行被黑客攻击，利用虚存帐号提走26万元现金。每年全球因计算机网络的安全系统被破坏而造成的经济损失达数百亿美元。进入新世纪之后，上述损失将达2000亿美元以上。 看到这些令人震惊的事件，不禁让人们发出疑问：网络还安全吗？试图破坏信息系统的完整性、机密性、可信性的任何网络活动都称为网络入侵。防范网络入侵最常用的方法就是防火墙。防火墙（Firewall）是设置在不同网络（如可信任的企业内部网和不可信任的公共网）或网络安全域之间的一系列部件的组合,它属于网络层安全技术,其作用是为了保护与互联网相连的企业内部网络或单独节点。它具有简单实用的特点，并且透明度高，可以在不修改原有网络应用系统的情况下达到一定的安全要求。 但是，防火墙只是一种被动防御性的网络安全工具，仅仅使用防火墙是不够的。首先，入侵者可以找到防火墙的漏洞，绕过防火墙进行攻击。其次，防火墙对来自内部的攻击无能为力。它所提供的服务方式是要么都拒绝，要么都通过,不能检查出经过他的合法流量中是否包含着恶意的入侵代码，这是远远不能满足用户复杂的应用要求的。对于以上提到的问题，一个更为有效的解决途径就是入侵检测技术。在入侵检测技术之前，大量的安全机制都是根据从主观的角度设计的,他们没有根据网络攻击的具体行为来决定安全对策，因此，它们对入侵行为的反应非常迟钝，很难发现未知的攻击行为，不能根据网络行为的变化来及时地调整系统的安全策略。而入侵检测技术正是根据网络攻击行为而进行设计的，它不仅能够发现已知入侵行为，而且有能力发现未知的入侵行为，并可以通过学习和分析入侵手段，及时地调整系统策略以加强系统的安全性。1.2入侵检测技术技术研究史审计是最早引入计算机安全领域的概念，像存取文件、变更他们的内容或分类等的活动都记录在审计数据中，安全管理员、系统操作员和维护人员和普通用户一样都要经过行为审核。安德森提出要建立一个安全监督系统，保护那些系统敏感信息。他还提出应该检查什么、如何分析他、以及如何保护监督系统免受攻击，这成了今天IDS研究的核心内容。 70年代后期，美国政府，包括DoD（国防部）和NIST（国家标准和技术协会）支持的计算机安全研究2开始了，安全审计也被考虑在这些研究中。1980年，安德森提出了另外一项报告，这次是针对一个空军客户，后者使用大型计算机处理大量的机密数据。报告中，安德森提出了减少分析数据量的方法，以及比较统计数据和总的观察也就是统计行为，以发现反常的行为。当一个安全违例发生或（统计上）反常的事件出现时，就会提醒安全官员。安全官员还能利用详细的观测资料做后续的评估。安德森的报告为SRI（Stanford Research Institute）和TRW（美国著名的数据安全公司）的早期工作提供了蓝图。在1980年代中期，入侵检测技术方面的许多工作都被他的思路深深影响。1.2.1 以Denning模型为代表的IDS早期技术 19841985年，Sytex为SPAWAR（美国海军）开展了一个审计分析项目。他基于Unix系统的shell级的审计数据，论证这些数据能够识别“正常”和“反常”使用的区别。特里萨兰特（Teresa Lunt）在Sytex为这个项目工作，后来又去了SRI，在那里她参与并领导了IDES（入侵检测技术专家系统）项目。 IDES项目是1984年由乔治敦大学的桃乐茜顿宁（Dorothy Denning）和彼得诺埃曼（PeterNeumann）开始的，是IDS早期研究中最重要的成就之一。IDES模型基于这样的假设：有可能建立一个框架来描述发生在主体（通常是用户）和客体（通常是文件、程序或设备）之间的正常的交互作用。这个框架由一个使用规则库（规则库描述了已知的违例行为）的专家系统支持。这能防止使用者逐渐训练（误导）系统把非法的行为当成正常的来接受，也就是说让系统“见怪不怪”。1988年，特里萨兰特等人改进了顿宁的入侵检测技术模型，并开发出了一个IDES。该系统包括一个异常检测技术器和一个专家系统，分别用于异常模型的建立和基于规则的特征分析检测技术。系统的框架如图2所示。 顿宁的模型假设：入侵行为明显的区别于正常的活动，入侵者使用系统的模式不同于正常用户的使用模式，通过监控系统的跟踪记录，可以识别入侵者异常使用系统的模式，从而检测技术出入侵者违反系统安全性的情况。论文中的一些提法看起来很吸引人，但却并没有多少有力的证据，有些想当然。 顿宁的模型中有6个主要构件：主体、对象、审计数据、轮廓特征（或可称为“范型”profiles）、异常记录和行为规则。范型（profiles）表示主体的行为特色，也是模型检测技术方面的关键。行为规则描述系统验证一定条件后抽取的行为，他们能“更新范型，检测技术异常行为，能把异常和可能的入侵关联起来并提出报告”。审计纪录由一个行为触发，而且记录主体尝试的行为、行为本身、行动对准的目标、任何可能导致例外的情况以及行为消耗的资源和独特的时间戳标记。审计记录会和范型进行比较（使用适当的规则），那些符合异常条件的事件将被识别出来。这个模型独立于特定的系统平台、应用环境、系统弱点以及入侵的类型，也不需要额外的关于安全机制、系统脆弱性或漏洞攻击方面的知识，他为构建入侵监测系统提供了一个通用的框架。1.2.2中期：统计学理论和专家系统相结合80年代末，一些其他值得注意的系统开发出来，大部分走的是将统计学理论和专家系统结合在一起的路子。有几个系统，特别是在Haystack和NADIR中，分析引擎把几个商业数据库管理系统（比如Oracle，Sybase）聚合在一起，发挥他们各自的优势。MIDAS由美国国家安全局下属的计算机安全中心开发，用来监控他的Multics系统Dock master。他使用混合的专家系统和统计学分析方法，以及来自Multics应答系统（Answering System）的已检查的审计日志信息，应答系统控制用户的注册（注册信息由其他数据源扩充）。MIDAS是最早基于连接互联网的系统开发的产品之一。Wisdom和Sense，分别由Los Alamos和OakRidge开发，是另一个专家系统和统计学分析方法的混合。他使用非参量的统计技术从历史审计数据中产生规则。就像很多其他机器学习方法一样，他也遇到了很多问题，包括获取训练数据的困难、高的误报率和规则库对存储能力的过高需求。直到那时，IDS系统仍旧依靠受保护主机收集的审计数据，但加州大学戴维斯分校开发的网络系统监控器NSM（The Network System Monitor）改变了这个状况。NSM在入侵检测技术技术发展史上是继IDES之后的又一个里程碑，他监控以太网段上的网络流量，并把他作为分析的主要数据源。从当时的检测技术报告上可以看到，NSM检测技术了超过100 000的网络连接，并从中识别出超过300个入侵。今天，大部分商业IDS系统直接使用从网络探测的数据作为他们主要，甚至是惟一的数据源。1.2.3基于网络的NIDS是目前的主流技术1994年，Mark Crosbie和Gene Spafford建议使用自治代理（Autonomous Agents）以便提高IDS的可伸缩性、可维护性、效率和容错性，这个思想跟上了计算机科学中其他领域的研究的潮流，比如说软件代理。另一个解决当时多数入侵检测技术系统伸缩性不足的研究成果是1996年提出的GRIDS(Graph-based Intrusion Detection System）系统，该系统对大规模自动或协同攻击的检测技术很有效，这种跨越多个管理区域的自动协同攻击显然是入侵行为发展的方向。1997年，CISCO要求WheelGroup公司将入侵检测技术与他的路由器结合。同年，ISS成功开发了RealSecure，他是在Windows NT下运行的分布式网络入侵检测技术系统，被人们广泛使用。1996年的第一次开发是传统的基于探测器的NIDS（网络入侵检测技术系统，监视整个网络段），在Windows和Solaris 26上运行。1998年后期，RealSecure发展成为一个混合式的入侵检测技术系统。他对入侵行为具有广泛的反应能力包括断开连接、发送SNMP信息、Email提醒、运行客户程序记录会话内容等，并能根据检测技术自动产生审计策略。NIDS系统由安全控制中心和多个探测器组成。安全控制中心完成整个分布式安全监测预警系统的管理与配置。探测器负责监测其所在网段上的数据流，进行实时自动攻击识别和响应。近年来的技术创新还有：Forrest将免疫原理运用到分布式入侵检测技术中；1998年Ross Anderson和AbidaKhattk将信息检索技术引入这个领域。1.3 本课题研究的途径与意义聚类是模式识别研究中非常有用的一类技术。用聚类算法的异常检测技术就是一种无监督的异常检测技术技术，这种方法可以在未标记的数据上进行，它将相似的数据划分到同一个聚类中，而将不相似的数据划分到不同的聚类，并为这些聚类加以标记表明它们是正常还是异常，然后将网络数据划分到各个聚类中，根据聚类的标记来判断网络数据是否异常。本课题是网络入侵检测技术的研究，主要介绍模式识别技术中两种聚类算法，K-means算法和迭代最优化算法，并阐述此算法在入侵检测技术技术中的应用原理，接着分析这两种算法具体应用时带来的利弊，最后针对算法的优缺点提出自己改进的算法，并对此算法进行分析，可以说这种算法是有监督和无监督方法的结合，是K-means算法和迭代最优化算法的折中，是一种较理想的算法。通过研究本课题，可以了解入侵检测技术技术的发展历程，及国内外研究水平的差距，熟悉各种入侵检测技术原理方法的异同，以便今后对某种检测技术方法作进一步的改进时能够迅速切入要点；在对入侵检测技术技术研究的同时，认真学习了模式识别这门课程，这是一门交叉学科，模式识别已经在卫星航空图片解释、工业产品检测技术、字符识别、语音识别、指纹识别、医学图像分析等许多方面得到了成功的应用，但所有这些应用都是和问题的性质密不可分的，学习过程中接触了许多新理论和新方法，其中包括数据挖掘，统计学理论和支持向量机等，极大的拓展了自己的知识面，这所带来的收获已经不仅仅停留在对入侵检测技术技术研究这个层面上。2 入侵检测技术原理入侵检测技术（Intrusion Detection）的定义为：识别针对计算机或网络资源的恶意企图和行为，并对此做出反应的过程。IDS则是完成如上功能的独立系统。IDS能够检测技术未授权对象（人或程序）针对系统的入侵企图或行为(Intrusion)，同时监控授权对象对系统资源的非法操作(Misuse)。入侵检测技术作为一种积极主动的安全防护技术，提供了对内部攻击、外部攻击和误操作的实时保护，在网络系统受到危害之前拦截和响应入侵。入侵检测技术系统能很好的弥补防火墙的不足，从某种意义上说是防火墙的补充，帮助系统对付网络攻击，扩展了系统管理员的安全管理能力（包括安全审计、监视、进攻识别和响应），提高了信息安全基础结构的完整性。它从计算机网络系统中的若干关键点收集信息，并分析这些信息，看看网络中是否有违反安全策略的行为和遭到袭击的迹象。入侵检测技术被认为是防火墙之后的第二道安全闸门，在不影响网络性能的情况下能对网络进行监测，从而提供对内部攻击、外部攻击和误操作的实时保护。这些都通过它执行以下任务来实现： 监视、分析用户及系统活动； 系统构造和弱点的审计； 识别反映已知进攻的活动模式并向相关人士报警； 异常行为模式的统计分析； 评估重要系统和数据文件的完整性； 操作系统的审计跟踪管理，并识别用户违反安全策略的行为。对一个成功的入侵检测技术系统来讲，它不但可使系统管理员时刻了解网络系统（包括程序、文件和硬件设备等）的任何变更，还能给网络安全策略的制订提供指南。更为重要的一点是，它应该管理、配置简单，从而使非专业人员非常容易地获得网络安全。而且，入侵检测技术的规模还应根据网络威胁、系统构造和安全需求的改变而改变。入侵检测技术系统在发现入侵后，会及时做出响应，包括切断网络连接、记录事件和报警等。2.1 入侵检测技术第一步信息收集在现实生活中，警察要证明罪犯有罪，必须先收集证据。只有掌握了充足的证据，才能顺利破案。IDS也是一样。一般来说，IDS通过2种方式获得信息：