![点击分享此内容可以赚币 分享](/master/images/share_but.png)
《深度学习》课件 第3章 人工神经网络与深度学习.pdf
《《深度学习》课件 第3章 人工神经网络与深度学习.pdf》由会员分享,可在线阅读,更多相关《《深度学习》课件 第3章 人工神经网络与深度学习.pdf(50页珍藏版)》请在咨信网上搜索。
1、深度学习BIGDATA高级大数据人才培养系列丛书第3章 人工神经网络与深度学习3?人脑神经元模型32M-P模缨34人脑神经网络的互连结构3.5 人工神经网络的学习3.6 人工健经网络的特点37 蝌网络基本才3.8 避学习其它网络结构习题,31探秘大脑的工作原理第3章人工神经网络与深度学习311人类活动抽象与深度学习模型人工神经元的数学模型、互连结构和学习规则(算法)是决定人工神经网络模型 的信息处理性能的3个关键特性。(1)生物神经元的结构与功能生物神经元中的树突接收来自其他神经元的输入,轴突将神经元的输出传递给 其他神经元,神经元之间通过突触互相连接。神经元对不同突触接收的输入信号 进行时空
2、整合,在一定条件下触发产生输出信号。(2)人工神经元模型人工神经元是对生物神经元结构和功能的模拟,一般是一个多输入单输出的非线 性器件其功能是:5每个输入信号进行处理以确定其强度(加权);确定所有输入信号的组合效果(求和);确定其输出(激活特性)。,31探秘大脑的工作原理第3章人工神经网络与深度学习311人类活动抽象与深度学习模型(3)人工神经网络的互连结构通过一定的规则将多个神经元连接成网络,才能实现对信息的处理和存储。根据 人工神经网络中各个神经元是否按层次排列,同层神经元之间是否有相互连接,以及人工神经网络中是否存在反馈环路,通常可以将人工神经网络的互连结构分 为无反馈的层内无互连层次结
3、构、有反馈的层内无互连层次结构、无反馈的层内 互连层次结构和有反馈的层内互连层次结构。(4)人工神经网络的学习规则只有具有学习能力,人工神经网络才具有智能特性。人工神经网络的学习过程实 际上就是对网络连接权值的调整过程。常见的人工神经网络学习方式可分为:有 监督学习、无监督学习和强化学习(灌输式学习)。最早提出的人工神经网络学 习规则是Hebb学习规则。纠正学习规则、相关学习规则、随机学习规则、胜者 为王学习规则等也是人工神经网络中常用学习规则。,3.1探秘大脑的工作原理第3章人工神经网络与深度学习习人的活动过程伴随信息传递、知识处理相智能的形成过程,其信息 传输模型如图所示,3.1探秘大脑的
4、工作原理第3章人工神经网络与深度学习(5)深度学习算法习人的活动过程伴随信息传递、知识处理相智能的形成过程,其信息 传输模型如图所示,3.1探秘大脑的工作原理第3章人工神经网络与深度学习(5)深度学习算法深度学 习深度学习的基本模型人的活动过程伴随信息传递、知识处理相智能的形成过程,其信息 传输模型如图所示,31探秘大脑的工作原理第3章人工神经网络与深度学习神经网络没有一个严格的正式定义,其特点有3个方面*它试图模仿大脑的神经兀之间传递,处理信息的模式,特点3.1探秘大脑的工作原理第3章人工神经网络与深度学习深度学习也只要三个步骤:建构网络、设定目标、开始学习。在深度学习的过程中,外部环境以某
5、种形式提供信息(数据)来源,学习将外部 信息(数据)加工为知识,并放入知识库;知识库中存放指导执行部分动作的一 般原则,要兼顾表达能力强,易于推理、易于完善及扩展知识表示等要求;执行 环节利用知识库中的知识完成某种任务,并把完成任务过程中所获得的一些信息 反馈给学习环节,指导进一步学习。,31探秘大脑的工作原理第3章人工神经网络与深度学习3.1.2人脑神经元的结构神经元的基本结构包括细胞体和突起两部分。细胞体包括细胞核、细胞质、细胞 膜。细胞膜内外电位差称为膜电位。神经元的突起一般包括数条短而呈树状分支 的树突和一条长而分支少的轴突。长的突起外表大都套有一层鞘,组成神经纤维,神经纤维末端的细小
6、分支叫作神经末梢。神经纤维集结成束,外面包有膜,构成 一条神经。3.1探秘大脑的工作原理第3章人工神经网络与深度学习生物神经元在结构上由四部分组成:细胞体(Cell body)、树突(DendHte)、轴突(Axon)、突触(Synapse)用来完成神经元折信息的接收、传速和处理。树突是树状的神经纤维接收网络,是细胞的输入端,它将电信号传 送到细胞体,细胞体对这些输入信号进行整合并进行阈值处理。轴突是单根长纤维,它把细胞体的输出信号导向其他神经元,是细胞的输出端。一个神经细胞的轴突和另一个神经细胞树突的结合点称为突触,它是一个细胞的输出(轴突)与另一个细胞的输入(树突)的 接口。)31探秘大脑
7、的工作原理第3章人工神经网络与深度学习3.1.3人脑神经元功能 在生物神经元中,树突作为输入端,轴突作为输出端,突触作为输出 和输入的接口,细胞体成为一个微型信息处理器,能接收来自其他神 经元的信号,进行组合后,通过膜电位的作用产生输出信号,并沿轴 突传递至其他神经元。细胞的输出端 树突:细胞的输入端 突触:轴突与树突的接口。)31探秘大脑的工作原理第3章人工神经网络与深度学习树突神经递质 突触后细胞大脑神经细胞的工作流程)31探秘大脑的工作原理第3章人工神经网络与深度学习U U U U-生物神经元的信息处理流程)3探秘大脑的工作原理第3章人工神经网络与深度学习时空整合功能兴奋与抑制状态脉冲与
8、电位转换生物神经元本身是一个多输入 单输出的非线性信息处理单元,生物神经元作为控制和信息处 理基本单元具有一些重要的功 能特性。功能特性神经纤维传导速率突触延时和不应期学习、遗忘和疲劳3.1探秘大脑的工作原理第3章人工神经网络与深度学习3.1.4人脑视觉机理1.视觉形成的过程视觉信息通过视细胞、双极细胞、水平细胞和神经节细胞,并经视神经以“串行”的信息模式传递至外侧膝状体进行解码成“点阵”形式再由视放射传送到初级视 皮质不同功能区,最后向高级区域的相应分工区域传递,在不同皮质区整合以产 生对视觉信息的完整认知。2.视觉的中枢通路与皮层定位人的视觉系统的信息处理是分级的。如图所示。从低级1区提取
9、边缘特征,再到2 区的形状或者目标的部分等,再到更高层,整个目标、目标的行为等。也就是说 高层的特征是低层特征的组合,从低层到高层的特征表示越来越抽象,越来越能 表现语义或者意图。而抽象层面越高,存在的可能猜测就越少,就越利于分类。噌xfiWBF-AA1 不力爵S视觉的分层处理结构高级大数据人才培养系列丛书第3章 人工神经网络与深度学习3.1 探秘大脑的工作原理3.2 人脑神经元模型32M-P模缨34人脑神经网络的互连结构3.5 人工神经网络的学习3.6 人工健经网络的特点37 蝌网络基本才3.8 避学习其它网络结构习题)3.2人脑神经元模型第3章人工神经网络与深度学习3.2.1人脑神经元模型
10、人工神经元模型有以下三个基本要素。(1)连接加权(2)求和单元(3)激活函数连接权输出 hw.b神经元的数学模型)3.2人脑神经元模型第3章人工神经网络与深度学习y y3.2.2激活函数常用激活函数主要有:线性函数、an 非线性函数(sigmoid型函数)、bD 概率型函数。(c)隹LUC y0(e)si gmDi dn 1(d)口 口高级大数据人才培养系列丛书第3章 人工神经网络与深度学习3.1 探秘大脑的工作原理3.2 人脑神经元模型3.3 M-P模型34人脑神经网络的互连结构3.5 人工神经网络的学习3.6 人工健经网络的特点37 蝌网络基本才3.8深度学习其它网络结构习题3.3 MP模
11、型第3章人工神经网络与深度学习M-P模型3.3.1 标准M-P模型M-P模型是一个非常简单的人工神经网络模型,并且在它被提出时,也并没有给 出相应的学习算法来调整神经元之间的连接全值,因此不具备学习能力。但是,在实际应用中可以根据需要采用一些常用的学习算法来调整神经元之间的连接权 值,使其具备学习能力。3.3.2 改进的M-P模型标准M-P模型,没有考虑到神经元的突触延迟特性和突触传递的不应期以及生 物神经元的时间整合特性,考虑到上述3个特性,改进的M-P模型为:每个神经元都是一个多输入单输出的信息处理单元;神经元输入分兴奋性输入和抑制性输入两种类型;神经元具有空间整合特性和阈值特性;神经元输
12、入与输出间有固定的时滞,主要取决于突触延搁;忽略时间整合作用和不应期;神经元本身是非时变的,即其突触时延和突触强度均为常数。高级大数据人才培养系列丛书第3章 人工神经网络与深度学习3.1 探秘大脑的工作原理3.2 人脑神经元模型3.3 M-P模型3.4 人脑神经网络的互连结构3.5 人工神经网络的学习3.6 人工健经网络的特点37 蝌网络基本才3.8深度学习其它网络结构习题)3.4人脑神经网络的互连结构第3章人工神经网络与深度学习3.4.1 前馈神经网络前馈神经网络(feedforward neural network),简称前馈网络,是人 工神经网络的一种。在此种神经网络中,各神经元从输入层
13、开始,接 收前一级输入,并输入到下一级,直至输出层。整个网络中无反馈,可用一个有向无环图表示输入层隐含层输出层特点:输入节点无计算功能,只是为了表征输入 矢量各元素值;以后各层节点表示具有计算功能 的神经元,称为计算单元。)3.4人脑神经网络的互连结构第3章人工神经网络与深度学习3.4.2 反馈网络在反馈网络中(Feedback NNs),输入信号决定反馈系统的初始状态,系统经过一系列状态转以后,逐渐收敛于平衡状态,这一状态就是反 馈网络经计算后输出的结果。输入层输出层高级大数据人才培养系列丛书第3章 人工神经网络与深度学习3.1 探秘大脑的工作原理3.2 人脑神经元模型313M-P模型3.4
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 深度学习 深度学习课件 第3章 人工神经网络与深度学习 深度 学习 课件 人工 神经网络
![提示](https://www.zixin.com.cn/images/bang_tan.gif)
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【曲****】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【曲****】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。