篇神经计算.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第,4,章 神经计算,1,人工神经网络基础,2,感知器,3 BP,神经网络,4.1,人工神经网络基础,人工神经网络是人脑及其活动的一个理论化的数学模型，它由大量的处理单元通过适当的方式互连构成，是一个大规模的非线性自适应系统。,是一个并行、分布处理结构，它由处理单元及称为连接的无向信号通道互连而成。,4.1.1,人工神经元网络模型,4.1.2,几个问题,1,）学习能力,2,）普化能力,3,）信息的分布存放,4,）适用性,学习能力,可以根据所在的环境取改变它的行为。也就是说，人工神经网络可以接受用户提交的样本集合，依照系统给定的算法，不断修正用来确定系数行为的神经元之间的连接强度，而且在网络的基本构成确定之后，这种改变是根据其接受的样本集合自然进行的。,在学习过程中，人工神经网络不断从所接受的样本集合中提取该集合所蕴含的基本内容，并将其以神经元之间的连接权重的形式存放于系统中。,对于不同的人工神经网络模型来说，有不同的学习,/,训练算法，有事，同种结构的网络拥有不同的算法，以适应不同的应用要求。对一个网络模型来说，其学习,/,训练算法是非常重要的。,普化能力,由于其运算的不精确性，人工神经网络在被训练后，对输入的微小变化是不反应的。与事物的两面性相对应，虽然在要求高精度计算时，这种不精确性是一个缺陷，但是，有些场合又可以利用这一点获取系统的良好性能。例如，可以使这种不精确性表现成,“,去噪声，容残缺,”,的能力，而这对模式识别有时恰好是非常重要的。,适用性,人工神经网络擅长于处理适用形象思维的问题。主要包括两个方面：,1,）对大量的数据进行分类，并且只有较少的几种情况。,2,）必须学习一个复杂的非线性映射。,ANN,类型与功能,计算功能,ANN,模型代表,数学近似映射，如模式识别，分类，函数逼近,BP CPN RBF Elamn,概率密度函数估计,SOM CPN,从二进制数据基中提取相关信息,BSB,（脑中盒模型）,形成拓扑连续及统计意义上的同构映射,SOM,Kohonen,最近相邻模式分类,BP,BM(,玻尔兹曼机,),，,CPN,Hopfield,，,BAM,ART,Kohonen,数据聚类,ART,最优化,BM Hopfield,4.1.3,人工神经元模型,基本构成,激活函数,M-P,模型,基本构成,激活函数,神经元在获得网络输入后，它应该给出适当的输出。按照生物神经元的特性，每个神经元有一个阈值，当该神经元所获得的输入信号的累积效果超过阈值时，它就处于激发态；否则，应该处于抑制态。为了使系统有更宽的适用面，希望人工神经元有一个更一般的变换函数，用来执行对该神经元所获得的网络输入的变换，这就是激活函数，也可以称之为激励函数、活化函数，用,f,表示：,式中，,o,是该神经元的输出。由此式可以看出，此函数同时也用来将神经元的输出进行放大处理或限制在一个适当的范围内。典型的激活函数有线性函数、非线性斜面函数、阶跃函数和,S,形函数等,4,种。,M-P,模型,4.1.4,网络拓扑结构,单级网,多级网,循环网,简单单级网,多级前馈网,4.1.5,人工神经网络的训练,人工神经网络最具有吸引力的特点是其学习能力。,人工神经网络的学习过程就是对它的训练过程。所谓训练，就是在将由样本向量构成的样本集合（简称为样本集、训练集）输入到人工神经网络的过程中，按照一定的方式去调整神经元之间的连接权，使得网络能将样本集的内涵以连接权矩阵的方式存储起来，从而使得在网络接受输入时，可以给出适当的输出。,从学习的形式来看，一种是有导师学习，另一种是无导师学习，后者较为低级。,无导师学习,有导师学习,4.2,感知器,感知器是最早被设计并被实现的人工神经网络。,学习算法,线性不可分问题,感知器结构图,4.2.1,学习算法,离散单输出感知器训练算法,离散多输出感知器训练算法,连续多输出感知器训练算法,离散单输出感知器训练算法,离散多输出感知器训练算法,连续多输出感知器训练算法,4.3 BP,神经网络,Rumelhart,，,McClelland,于,1985,年提出了,BP,网络的误差反向后传,BP(Back Propagation),学习算法,BP,算法基本原理,利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计。,David,Rumelhart,J.McClelland,THANK YOU,SUCCESS,2024/12/14 周六,27,可编辑,4.3.1 BP,神经网络模型,三层,BP,网络,4.3.1 BP,神经网络模型,激活函数,必须处处可导,一般都使用,S,型函数,使用,S,型激活函数时,BP,网络输入与输出关系,输入,输出,4.3.1 BP,神经网络模型,输出的导数,根据,S,型激活函数的图形可知,对神经网络进行训练，应该将,net,的值尽量控制在收敛比较快的范围内,4.3.2 BP,网络的标准学习算法,学习的过程：,神经网络在外界输入样本的刺激下不断改变网络的连接权值,以使网络的输出不断地接近期望的输出。,学习的本质：,对各连接权值的动态调整,学习规则：,权值调整规则，即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则。,4.3.2 BP,网络的标准学习算法,-,算法思想,学习的类型：有导师学习,核心思想：,将输出误差,以某种形式,通过隐层向输入层逐层反传,学习的过程：,信号的正向传播 误差的反向传播,将误差分摊给各层的所有单元各层单元的误差信号,修正各单元权值,4.3.2 BP,网络的标准学习算法,-,学习过程,正向传播：,输入样本输入层各隐层输出层,判断是否转入反向传播阶段：,若输出层的实际输出与期望的输出（教师信号）不符,误差反传,误差以某种形式在各层表示修正各层单元的权值,网络输出的误差减少到可接受的程度,进行到预先设定的学习次数为止,4.3.2 BP,网络的标准学习算法,网络结构,输入层有,n,个神经元，隐含层有,p,个神经元,输出层有,q,个神经元,变量定义,输入向量,;,隐含层输入向量；,隐含层输出向量,;,输出层输入向量,;,输出层输出向量,;,期望输出向量,;,4.3.2 BP,网络的标准学习算法,输入层与中间层的连接权值,:,隐含层与输出层的连接权值,:,隐含层各神经元的阈值,:,输出层各神经元的阈值,:,样本数据个数,:,激活函数,:,误差函数：,4.3.2 BP,网络的标准学习算法,第一步，网络初始化,给各连接权值分别赋一个区间（,-1,，,1,）内的随机数，设定误差函数,e,，给定计算精度值 和最大学习次数,M,。,第二步,随机选取第 个输入样本及对应期望输出,4.3.2 BP,网络的标准学习算法,第三步，计算隐含层各神经元的输入和输出,4.3.2 BP,网络的标准学习算法,第四步，利用网络期望输出和实际输出，计算误差函数对输出层的各神经元的偏导数 。,4.3.2 BP,网络的标准学习算法,第五步，利用隐含层到输出层的连接权值、输出层的 和隐含层的输出计算误差函数对隐含层各神经元的偏导数 。,4.3.2 BP,网络的标准学习算法,4.3.2 BP,网络的标准学习算法,第六步，利用输出层各神经元的 和隐含层各神经元的输出来修正连接权值 。,4.3.2 BP,网络的标准学习算法,第七步，利用隐含层各神经元的 和输入层各神经元的输入修正连接权。,4.3.2 BP,网络的标准学习算法,第八步，计算全局误差,第九步，判断网络误差是否满足要求。当误差达到预设精度或学习次数大于设定的最大次数，则结束算法。否则，选取下一个学习样本及对应的期望输出，返回到第三步，进入下一轮学习。,4.3.2 BP,网络的标准学习算法,BP,算法直观解释,情况一直观表达,当误差对权值的偏,导数大于零时，权值,调整量为负，实际输,出大于期望输出，,权值向减少方向调整，,使得实际输出与期望,输出的差减少。,w,ho,e,0,，此时,w,ho,0,4.3.2 BP,网络的标准学习算法,BP,算法直解释,情况二直观表达,当误差对权值的偏导数,小于零时，权值调整量,为正，实际输出少于期,望输出，权值向增大方向,调整，使得实际输出与期,望输出的差减少。,e,0,w,ho,4.3.3 BP,神经网络学习算法的,MATLAB,实现,MATLAB,中,BP,神经网络的重要函数和基本功能,函 数 名,功 能,newff(),生成一个前馈,BP,网络,tansig(),双曲正切,S,型,(Tan-Sigmoid),传输函数,logsig(),对数,S,型,(Log-Sigmoid),传输函数,traingd(),梯度下降,BP,训练函数,4.3.3 BP,神经网络学习算法的,MATLAB,实现,MATLAB,中,BP,神经网络的重要函数和基本功能,newff(),功能 建立一个前向,BP,网络,格式,net=newff(PR,，,S1 S2.SN1,，,TF1 TF2.TFN1,，,BTF,，,BLF,，,PF),说明,net,为创建的新,BP,神经网络；,PR,为网络输入取向量取值范围的矩阵；,S1 S2,SNl,表示网络隐含层和输出层神经元的个数；,TFl TF2,TFN1,表示网络隐含层和输出层的传输函数，默认为,tansig,；,BTF,表示网络的训练函数，默认为,trainlm,；,BLF,表示网络的权值学习函数，默认为,learngdm,；,PF,表示性能数，默认为,mse,。,4.3.3 BP,神经网络学习算法的,MATLAB,实现,MATLAB,中,BP,神经网络的重要函数和基本功能,tansig(),功能 正切,sigmoid,激活函数,格式,a=tansig(n),说明 双曲正切,Sigmoid,函数把神经元的输入范围从,(-,，,+),映射到,(-1,，,1),。它是可导函数，适用于,BP,训练的神经元。,logsig(),功能 对数,Sigmoid,激活函数,格式,a=logsig(N),说明对数,Sigmoid,函数把神经元的输入范围从,(-,，,+),映射到,(0,，,1),。它是可导函数，适用于,BP,训练的神经元。,2.4.3 BP,神经网络学习算法的,MATLAB,实现,例,2-3,，下表为某药品的销售情况，现构建一个如下的三层,BP,神经网络对药品的销售进行预测：输入层有三个结点，隐含层结点数为,5,，隐含层的激活函数为,tansig,；输出层结点数为,1,个，输出层的激活函数为,logsig,，并利用此网络对药品的销售量进行预测，预测方法采用滚动预测方式，即用前三个月的销售量来预测第四个月的销售量，如用,1,、,2,、,3,月的销售量为输入预测第,4,个月的销售量，用,2,、,3,、,4,月的销售量为输入预测第,5,个月的销售量,.,如此反复直至满足预测精度要求为止。,月份,1,2,3,4,5,6,销量,2056,2395,2600,2298,1634,1600,月份,7,8,9,10,11,12,销量,1873,1478,1900,1500,2046,1556,2.4.3 BP,神经网络学习算法的,MATLAB,实现,%,以每三个月的销售量经归一化处理后作为输入,P=0.51520.81731.0000;,0.81731.00000.7308;,1.00000.73080.1390;,0.73080.13900.1087;,0.13900.10870.3520;,0.10870.35200.0000;,%,以第四个月的销售量归一化处理后作为目标向量,T=0.7308 0.1390 0.1087 0.3520 0.0000 0.3761;,%,创建一个,BP,神经网络，每一个输入向量的取值范围为,0,1,，隐含层有,5,个神经,%,元，输出层有一个神经元，隐含层的激活函数为,tansig,，输出层的激活函数为,%logsig,，训练函数为梯度下降函数，即,2.3.2,节中所描述的标准学习算法,net=newff(0 1;0 1;0 1,5,1,tansig,logsig,traingd);,net.trainParam.epochs=15000;,net.trainParam.goal=0.01;,%,设置学习速率为,0.1,LP.lr=0.1;,net=train(net,P,T);,2.4.3 BP,神经网络学习算法的,MATLAB,实现,BP,网络应用于药品预测对比图,由对比图可以看出预测效果与实际存在一定误差，此误差可以通过增加运行步数和提高预设误差精度业进一步缩小,BP,神经网络的特点,非线性映射能力,能学习和存贮大量输入,-,输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供网络进行学习训练，它便能完成由,n,维输入空间到,m,维输出空间的非线性映射。,泛化能力,当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确映射。这种能力称为泛化能力。,容错能力,输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小。,小结,BP,算法背景,BP,神经网络模型,BP,算法,基本思想,推导过程,实现,BP,神经网络的,MATLAB,函数,BP,神经网络的应用实例,BP,神经网络与感知器神经网络的对比,THANK YOU,SUCCESS,2024/12/14 周六,54,可编辑,