数学建模-神经网络算法.pdf

.LIGHTTEMPERATURERELATIVE HUMIDITY叫NUTRIENTAGEPLANTTYPETRANSPIRATIONASSIMILATIONALLOCATION2021/10/101学习目标-拓宽视野-感受神经网络算法的应用背景-能够用神经网络算法解决一些简单问题-不探究详细的理论基础2021/10/102内容安排 人工神经网络简介 人工神经网络的基本功能 人工神经网络的发展历史 人工神经网络的生物学基础 M-P模型 前馈神经网络-单层感知器-多层感知器 BP算法 BP网络 应用案例（MATLAB计算）2021/10/1031.人工神经网络简介生物神经网络-类的大脑大约有1.4X 1011个神经细胞，亦称为神经 兀O-每个神经元有数以千计的通道同其它神经元广泛相互 连接，形成复杂的生物神经网络。人工神经网络-以数学和物理方法以及信息处理的角度对人脑神经网 络进行抽象，并建立某种简化模型，就称为人工神经 网络(Artificial Neural Network,缩写 ANN)。-对人类大脑系统的一阶特性的一种描述。-(生理角度的模拟)2021/10/10 4基本原理-存在一些输入和相应的输出，而对如何由输入得到输 出的机理并不清楚-把输入与输出之间的未知过程看成是一个“网络”，通过不断地给这个网络输入和相应的输出来“训练”这个网络，网络根据输入和输出不断地调节自己的各 节点之间的权值来满足输入和输出。-当训练结束后，给定一个输入，网络便会根据已调节好的权值计算出相应的输出。2021/10/10PLANTTYPE严格定义ANN-最典型的定义由Simpson在1987年提出-人工神经网络是一个非线性的有向图，通过改变权大小来存放模式的加权边，完整的或未知的输入找到模式。ANN算法-根据人的认识过程而开发出的一种算法图中含有可以 并且可以从不2021/10/1062.人工神经网络的基本功能a畲(1)联想记忆功能-由于神经网络具有分布 存储信息和并行计算的 性能，因此它具有对外 界刺激信息和输入模式 进行联想记忆的能力。-联想记忆有两种基本形自联想记忆异联想记忆2021/10/107自联想记忆-网络中预先存储（记忆）多种模式信息-当输入某个已存储模式的部分信息或带有噪声干扰的 信息时，网络能通过动态联想过程回忆起该模式的全 部信息异联想记忆-网络中预先存储了多个模式对-每一对模式均由两部分组成，当输入某个模式对的一 部分时，即使输入信息是残缺的或迭加了噪声的，网 络也能回忆起与其对应的另一部分2021/10/108不完整模式的自联想-神经网络通过预先存储信息和学习机制进行自适应训 练，可以从不完整的信息和噪声干扰中恢复原始的完 整信息-这一能力使其在图象复原、图像和语音处理、模式识 另I J、分类等方面具有巨大的潜在应用价值2021/10/1092021/10/1010非线性映射功能-在客观世界中，许多系统的输入与输出之间存在复杂 的非线性关系，对于这类系统，往往很难用传统的数 理方法建立其数学模型。-设计合理的神经网络，通过对系统输入输出样本对进 行自动学习，能够以任意精度逼近任意复杂的非线性 映射。-神经网络的这一优良性能使其可以作为多维非线性函 数的通用数学模型。该模型的表达是非解析的，输入 输出数据之间的映射规则由神经网络在学习阶段自动 抽取并分布式存储在网络的所有连接中。-具有非线性映射功能的神经网络应用十分广阔，几乎 涉及所有领域。2021/10/10112.人工神经网络的基本功能（续）（3）分类与识别功能传统分类能力 ANN分类能力2021/10/1012分类与识别功能-神经网络对外界输入样本具有很强的识别与分类能力。-对输入样本的分类实际上是在样本空间找出符合分类 要求的分割区域，每个区域内的样本属于一类。-传统分类方法只适合解决同类相聚，异类分离的的识 别与分类问题。-但客观世界中许多事物（例如，不同的图象、声音、文字等等）在样本空间上的区域分割曲面是十分复杂 的，相近的样本可能属于不同的类，而远离的样本可 能同属一类。-神经网络可以很好地解决对非线性曲面的逼近，因此 比传统的分类器具有更好的分类与识别能力。2021/10/10132.人工神经网络的基本功能(续)(4)优化计算功能2021/1(14优化计算功能-优化计算是指在已知的约束条件下，寻找一组参数组合，使由该组合确定的目标函数达到最小值。-某些类型的神经网络可以把待求解问题的可变参数设 计为网络的状态，将目标函数设计为网络的能量函数。-神经网络经过动态演变过程达到稳定状态时对应的能 量函数最小，从而其稳定状态就是问题的最优解。-这种优化计算不需要对目标函数求导，其结果是网络 自动给出的。2021/10/10152.人工神经网络的基本功能(续)(5)知识处理功能t答 解 题 问一网现 同经实 由神络表里 式知 布、指 川取行(获平 识识知 知换f变f量 变据 数 入 输题 问 的 解 求神经网络专家系统的构成2021/10/1016知识处理功能知识是人们从客观世界的大量信息以及自身的实践中 总结归纳出来的经验、规则和判据。神经网络获得知识的途径与人类似，也是从对象的输 入输出信息中抽取规律而获得关于对象的知识，并将 知识分布在网络的连接中予以存储。神经网络的知识抽取能力使其能够在没有任何先验知 识的情况下自动从输入数据中提取特征，发现规律，并通过自组织过程将自身构建成适合于表达所发现的 规律。另一方面，人的先验知识可以大大提高神经网络的知 识处理能力，两者相结合会使神经网络智能得到进一 步提升。2021/10/10173.神经网络的发展历史神经网络的发展历程经过了 4个阶段。（1）启蒙期（1890-1969年）1890年，W.James发表专著心理学，讨论了脑的结构和功能。1943年，心理学家WSMcCul l och和数学家W.Pitts提出了描述脑 神经细胞动作的数学模型，即MP模型（第一个神经网络模型）。1949年，心理学家Hebb实现了对脑细胞之间相互影响的数学描述，从心理学的角度提出了至今仍对神经网络理论有着重要影响的Hebb 学习法则。1958年，E.Rosenbl att提出了描述信息在人脑中贮存和记忆的数学 模型，即著名的感知机模型（Perceptron）。1962年，Widrow和Hoff提出了自适应线性神经网络，即Adal ine网 络，并提出了网络学习新知识的方法，即Widrow和Hoff学习规则（即b学习规则），并用电路进行了硬件设计。2021/10/10183.神经网络的发展历史(续)(2)低潮期(1969-1982)-受当时神经网络理论研究水平的限制，以及冯诺依曼 式计算机发展的冲击等因素的影响，神经网络的研究 陷入低谷。-在美、日等国有少数学者继续着神经网络模型和学习 算法的研究，提出了许多有意义的理论和方法。例如，1969年，S.Groisberg和A.Carpentet提出了至今为止 最复杂的ART网络，该网络可以对任意复杂的二维模式进行自 组织、自稳定和大规模并行处理。1972年，Kohonen提出了 自组织映射的SOM模型。2021/10/10193.神经网络的发展历史(续)(3)复兴期(1982-1986)-1982年，物理学家Hoppield提出了Hoppield神经网络 模型，该模型通过引入能量函数，实现了问题优化求 解，1984年他用此模型成功地解决了旅行商路径优化 问题(TSP)。-在1986年，在Rumelhart和McCelland等出版 Parallel Distributed Processing 一书，提出了一 种著名的多层神经网络模型，即BP网络。该网络是迄 今为止应用最普遍的神经网络。2021/10/10203.神经网络的发展历史（续）（4）新连接机制时期（1986.现在）-神经网络从理论走向应用领域，出现了神经网络芯片 和神经计算机。-神经网络主要应用领域有 模式识别与图象处理（语音、指纹、故障检测和图象压缩等）控制与优化 预测与管理（市场预测、风险分析）竺2021/10/10214.人工神经网络的生物学基础神经生理学和神经解剖学的研究结果表明，神经元(Neuron)是脑组织的基本单元，是人脑信息处理系统的最小单元。生物神经元2021/10/1022神经元之间的联接强度决定信号传递的强弱；神经元之间的联接强度是可以随训练改变的；信号可以是起刺激作用的，也可以是起抑制作用的；一个神经元接受的信号的累积效果决定该神经元的状态；每个神经元可以有一个“阈值”2021/10/10 234.1 生物神经元的信息处理机理(1)信息的产生神经元间信息的产生、传递和处理是一种电化学活动。神经元状态 膜电位静息-极化兴奋 去极化抑制 超极化2021/10/1024腹电位|(mV)40200-20一 40一 60-80_ 100冲动脉冲1ms,一同值电位一静止膜电位2021/10/10254.1生物神经元的信息处理机理（续）信息的传递与接收2021/10/10264生物神经元的信息处理机理(续)(3)信息的整合空间整合-同一时刻产生的刺激所引起的膜电位变化，大致 等于各单独刺激引起的膜电位变化的代数和时间整合-各输入脉冲抵达神经元的时间先后不一样。总的 突触后膜电位为一段时间内的累积2021/10/10274.2神经元的人工模型神经元及其突触是神经网络的基本器件。因此，模拟生物神经网络应首先模拟生物神经元V人工神经元（节点），从三个方面进行模拟：节点本身的信息处理能力（数学模型）节点与节点之间连接（拓扑结构）相互连接的强度（通过学习来调整）决定人工神经网 络整体性能的三 大要素2021/10/1028神经元的建模模型的六点假设：(1)每个神经元都是一个多输入单输出的信息处理单元;(2)神经元输入分兴奋性输入和抑制性输入两种类型;(3)神经元具有空间整合特性和阈值特性；(4)神经元输入与输出间有固定的时滞，主要取决于突触延搁;(5)忽略时间整合作用；(6)神经元本身是非时变的，即其突触时延和突触强度 均为常数。2021/10/1029假设 1:多输入单输出(a)多输入单输出正如生物神经元 有许多激励输入 一样，人工神经 元也应该有许多 的输入信号图中，每个输入 的大小用确定数 值Xi表示，它们同 时输入神经元j，神经元强单输出 用Oj表示。2021/10/1030假设2：输入类型-兴奋性和抑制性(b)输入加权生物神经元具有不同的突 触性质和突触强度，其对 输入的影响是使有些输入 在神经元产生脉冲输出过 程中所起的作用比另外一 些输入更为重要。图中，对神经元的每一个 输入都有一个加权系数wu，称为权重值，其正负模拟 了生物神经元中突触的兴 奋和抑制，其大小则代表 了突触的不同连接强度。2021/10/1031假设3：空间整合特性和阈值特性（C）输入加权求和 作为ANN的基本处理单元，必须对全部输入信号进行 整合，以确定各类输入的 作用总效果 图中，表示组合输入信号 的“总和值”，相应于生 物神经元的膜电位。神经元激活与否取决于某 一阈值电平，即只有当其 输入总和超过阈值时，神 经元才被激活而发放脉冲,否则神经元不会产生输出 信号。2021/10/1032神经元的输出图中，人工神经元的输出也同生物神经元一样仅有 一个(d)输入-输出函数%如，用Oj表示神经元输出,则输出与输入之间的对应 关系可用图中的某种非线 性函数来表示。2021/10/1033神经元模型示意图2021/输入加权求和(输入-输出函数344.2.1人工神经元的数学模型 人工神经元模拟生物神经元的一阶特性，具有生物神经元 的六大特征 一个人工神经元一般有多个输入和一个输出 一个人工神经元有一个转移函数（激发函数），不同的转 移函数对应了不同的网络，也决定了网络的用途2021/1u/iu354.2.1人工神经元的数学模型0M=啊/巧(一为)-勺(4.1)i-1%一输入输出间的突触时延；/神经元j的阈值；叫一神经元i到j的突触连接系数或称权重值；/()神经元转移函数。2021/10/1036为简单起见，将4.1上式中的突触时延取为单位时间，则 式(4.1)可写为4.2式。上式描述的神经元数学模型全面表达了神经元模型的6点 假定。其中-输入Xi的下标i=l,2,n,输出Oj的下标j体现了神经元模型假定(1)中的“多输入单输出”。-权重值队的正负体现了假定(2)中“突触的兴奋与抑制”。-匕代表假定中神经元的“阈值”；-“输入总和”常称为神经元在t时刻的净输入，用下面的式子表示:noj(t+l)=f WyXi-Tj(4.2)i12021/10/10374.2.1人工神经元的数学模型（续）n ne j(t)=工 i-1net dfX J J(4.3)(4.4)%二(%/.W)TX=(X x2.x)T令 x0=-l,Wo=Tj 则有-Tj=xowo2021/10/1038421人工神经元的数学模型(续)netj(t)体现了神经元j的空间整合特性而未考虑时间整 合，当netfTj 0时，神经元才能被激活。Oj(t+1)与x1(t 之间的单位时差代表所有神经元具有相同的、恒定的工作 节律，对应于假定(4)中的“突触延搁”；亚仃与时间无关 体现了假定中神经元的“非时变”。为简便起见，在后面用到式3)时，常将其中的(t)省略O式3)还可表示为权重向量%和输入向量X的点积WTX。其中%和X均为列向量，定义为-Wj=(w1 w2.wn)T,X=(x1 x2.xn)T如果令沏=-，wkTj,则有一4二人0%,因此净输入与阈值之 差可表达为：2021/10/1039421人工神经元的数学模型（续）nnet-Ti-net；=7=W JXJ J J U L Ji=04.5综合以上各式，神经元模型可简化为:。7=知的力。X4.62021/10/1040人工神经元的转移函数神经元各种不同数学模型的主要区别在于采用了不同的转 移函数，从而使神经元具有不同的信息处理特性。神经元的信息处理特性是决定人工神经网络整体性能的三 大要素之一，反映了神经元输出与其激活状态之间的关系,最常用的转移函数有4种形式。2021/10/1041人工神经元的转移函数(1)阈值型转移函数1 Q0a尸(4.7)0 x X 02021/10/10 42人工神经元的转移函数(2)非线性转移函数2021/10/1043 非线性转移函数为实数域R到0.1闭集的非减连续函数，代表了状态连续型神经元模型。非线性转移函数称为sigmoid,简称S型函数。特点是函数本身及其导数都是连续的，因而在处理上十分 方便。S型函数函数又分为单极性和双极性两种。2021/10/1044人工神经元的转移函数分段线性转移函数10 xWO f(x)=ex 0 xxc xc输入层隐藏层输出层2021/10/1061多级网层次划分-信号只被允许从较低层流向较高层。-层号确定层的高低：层号较小者，层次较低，层号较 大者，层次较高。-输入层：被记作第0层。该层负责接收来自网络外部的 信息输入层 隐藏层 输出层多级网-第j层：第j-l层的直接后继层（j 0）,它直接接受第j-l层 的输出。-输出层：它是网络的最后一层，具有该网络的最大层号,负责输出网络的计算结果。-隐藏层：除输入层和输出层以外的其它各层叫隐藏层。隐藏 层不直接接受外界的信号，也不直接向外界发送信号输入层隐藏层输出层2021/10/1063多级网约定：-输出层的层号为该网络的层数：n层网络，或n级网络。-第j-l层到第j层的联接矩阵为第j层联接矩阵，输出层对应的矩阵叫 输出层联接矩阵。今后，在需要的时候，一般我们用W表示第j层 矩阵。W（D W w w（h）输入层 隐藏层 输出层2021/10/10 64多级网h层网络输入层隐藏层输出层2021/10/1065多级网非线性激活函数-F(X)=kX+C每层的网络输出举例-Fi(XW)-F3(F2(Fj(XW)W)W)2021/10/1066循环网隐藏层输入层-输出层2021/10/1067循环网 将输出信号反馈到输入端 输入的原始信号被逐步地“加强”、被“修复”符合大脑的短期记忆特征-看到的东西不是一下子就从脑海里消失的网络的稳定性-反馈信号会引起网络输出的不断变化-我们希望这种变化逐渐减小，并且最后能消失-当变化最后消失时，网络达到了平衡状态。如果这种变化不能消 失，则称该网络是不稳定的。2021/10/1068（二）网络信息流向类型前馈型网络前馈:网络信息处理的方向是从输入层到各隐层再到 输出层逐层进行反馈型网络在反馈网络中所有节点都具有信息处理功能，而且 每个节点既可以从外界接收输入，同时又可以向外 界输出。2021/10/1069(二)网络信息流向类型(1)前馈型网络前馈是因网络信息 处理的方向是从输 入层到各隐层再到 输出层逐层进行而 得名2021/10/1070单纯前馈型（上图）-从信息处理能力看，网络中的节点可分为两种一种是输入节点，只负责从外界引入信息后向前传 递给第一隐层；另一种是具有处理能力的节点，包括各隐层和输出 层节点。-前馈网络中一层的输出是下一层的输入，信息的处理 具有逐层传递进行的方向性，一般不存在反馈环路。因此这类网络很容易串联起来建立多层前馈网络。2021/10/10 71多层前馈网络可用一个有向无环路的 图表示-输入层常记为网络的第一层，第一个隐 层记为网络的第二层，其余类推。-所以，当提到具有单层计算神经元的网 络时，指的应是一个两层前馈网络（输 入层和输出层）-当提到具有单隐层的网络时，指的应是 一个三层前馈网络2021/10/1072(二)网络信息流向类型(2)反馈型网络在反馈网络中所有 节点都具有信息处 理功能，而且每个 节点既可以从外界 接收输入，同时又 可以向外界输出。2021/10/1073 单纯反馈型网络 单层全互连结构网络：是一种典型的反馈型网络，可 以用上图所示的完全的无向图表示。注意-上面介绍的分类方法、结构形式和信息流向只是对目 前常见的网络结构的概括和抽象。-实际应用的神经网络可能同时兼有其中一种或几种形 式。例如，从连接形式看，层次网络中可能出现局部 的互连；从信息流向看，前馈网络中可能出现局部反2021/10/10744.2.3神经网络学习 神经网络能够通过对样本的学习训练，不断改变网络的 连接权值以及拓扑结构，以使网络的输出不断地接近期望 的输出。这一过程称为神经网络的学习或训练，其本质是 可变权值的动态调整。神经网络的学习方式是决定神经网络信息处理性能的第三 大要素（神经网络研究的重点）。改变权值的规则称为学习规则或学习算法（亦称训练规则 或训练算法）。在单个处理单元层次，无论采用哪种学习规则进行调整，其算法都十分简单。但当大量处理单元集体进行权值调整 时，网络就呈现出“智能”特性，其中有意义的信息就分 布地存储在调节后的权值矩阵中。2021/10/10 754.2.3神经网络学习：分类有导师学习（有监督学习）这种学习模式采用的是纠错规则。在学习训练过程中需要不断给网络成对提供一个输入 模式和一个期望网络正确输出的模式，称为“教师信 号”。将神经网络的实际输出同期望输出进行比较，当网络 的输出与期望的教师信号不符时，根据差错的方向和 大小按一定的规则调整权值。当网络对于各种给定的输入均能产生所期望的输出时,即认为网络已经在导师的训练下“学会”了训练数据 集中包含的知识和规则，可以用来进行工作了。2021/10/1076无导师学习（无监督学习）学习过程中，需要不断给网络提供动态输入信息，网 络能根据特有的内部结构和学习规则，在输入信息流 中发现任何可能存在的模式和规律，同时能根据网络 的功能和输入信息调整权值，这个过程称为网络的自 组织其结果是使网络能对属于同一类的模式进行自动分类。在这种学习模式中，网络的权值调整不取决于外来教 师信号的影响，可以认为网络的学习评价标准隐含于 网络的内部。2021/10/1077死记式学习是指网络事先设计成能记忆特别的例子，以后当给定 有关该例子的输入信息时，例子便被回忆起来。死记式学习中网络的权值一旦设计好了就不再变动，因此其学习是一次性的，而不是一个训练过程。2021/10/1078学习的过程（权值调整的一般情况）A叫二也叫,X(/)M)X)2021/10/10 w.(z+7)=叫+中叫(t),x(t),dj(OW)794.2.3神经网络学习-常用学习规则览衷规M树直雌权值 加雒方式式IfebbianNWj=i/W：X)XAwy=TfQVjT X)x10无辆PerceptronAfVj=rHdJ-sgn(WjTXyX网=理dj-sgnfwfx)有副市Delta/%=水叩。万（吃四效=M-0）八呵）%fit有副市磔Wdrow-HoffM.二从 djWx)X做=Mdj-W：X)Xi有导师任意相关AfVj=gjX阿.=啊洛.0有导师mWnner-take-all/%=惟一)随机 归T上无聊联Outstar2O21/1o叫一府叫）ho加二次4一%）0翦卖805.M-P模型M-P(McCullochPitts)模型，也称为处理单元(PE)输入：X=(x X29，xn)联接权：W=(wP W 2，wn)T网络输入：net=Lxiwi=xw 输出：o=f(net)2021/10/10816.前馈神经网络 1958年，美国心理学家Frank Rosenblatt提出一种具有单 层计算单元的神经网络，称为Perceptron,即感知器。感知器是模拟人的视觉接受环境信息，并由神经冲动进行 信息传递的层次型神经网络。感知器研究中首次提出了自组织、自学习的思想，而且对 所能解决的问题存在着收敛算法，并能从数学上严格证明,因而对神经网络研究起了重要推动作用。2021/10/10826.1单层感知器单层感知器的结构与功能都非常简单，以至于在解决实际问题时很少采用，但由于它在神经网络研究中具有重要意义，是研究其它网络的基础，而且较 易学习和理解，适合于作为学习神经网络的起点。单层感知器是指只有一层处理单元的感知器，如果包括输入层在内，应为两 层。-图中输入层也称为感知层，有n个神经元节点，这些节点只负责引入外部信息，自 身无信息处理能力，每个节点接收一个输入信号，n个输入信号构成输入列向量X。-输出层也称为处理层，有m个神经元节点，每个节点均具有信息处理能力，m个节 点向外部输出处理信息，构成输出列向量0。-两层之间的连接权值用权值列向量表示，m个权向量构成单层感知器的权值矩阵肌2021/10/1083单层感知器最早也是最简单的一种神 经网络，它的神经元激发函 数为阶跃函数，感知器模型感知器模型.Xj,.）。一（。0力，o m）W；=（叼/，咋力攻加，叫Tj7,2,m2021/10/1085感知器模型净输入:输出:nnet 厂工 wij xii-1nOj=sgn(netj-Tj)=sgn(峰)=sgn(WJ X)i=0令 x0=-l,Wo=Tj 则有-Tj=xowo2021/10/1086感知器的功能%!(1)设输入向量豕=(巧户2尸ax2-1输出：j=01 Wj jX+y2 jX2 Tj 0,从而使输出为1；线下方 的择本用o表示，它们使773右。从而使输出为T。由感知器权值和阈值确定的直线 方程规定了分界线在样本空间的 位置，从而也确定了如何将输入 样本分为两类。假如分界线的初始位置不能将*类样本同。类样本正确分开，改变 权值和阈值，分界线也会随之改 变，因此总可以将其调整到正确 分类的位置。90感知器的功能设输入向量X=(x，,x2户3尸输出:11叱产+咋 jx2+jx3W y jXi+咋 jx2+w3 jx3-Tj0 Tj=O贝(I 由方程 ijX1+w2jX2+w3j-Tj=Q确定了三维空间上的一个分界平面2021/10/1091(2)输入是三维w;x=oJ切/X7+W4X2+w 歹 x3-Tj=Qx7=a x2+bx3+c2021/10/10感知器的功能显然，由感知器权值和阈值确定的直线方程规定了分界平面在样本空间的 位置，从而也确定了如何将输入样本分为两类。假如分界平面的初始位置不能将*类样本同。类样本正确分开，改变权值和 阈d氤10母界平面也会随之改变，因此总可以将其调整到正确分类的位置。93感知器的功能（3）设输入向量X=（x也,，），输出：w/i+w/2+wj7）=0贝（I由方程 w/i+w犷z+w句-4=0确定了n维空间上的一个分界平面（超平面），该平面可以将输入样本分为两类2021/10/1094感知器的功能一个最简单的单计算节点感知器具有分类 功能。其分类原理是将分类知识存储于感知器的 权向量（包含了阈值）中，由权向量确定 的分类判决界面将输入模式分为两类。2021/10/1095例一 用感知器实现逻辑“与”功能值 J o o O 1真与 O 1 O 1逻表勺o O 1 1*O0从真值表中可以看出，4个样本的输出有两种情况，一种使输出为3另一种使输出为1,因此属于分类问题。2021/10/1096例一 用感知器实现逻辑“与”功感知器结构和训练结果用感知器学3通则进行训2021/10/10wpc1+w2x2-T=Q0.5x1+0.5x2-0.75=097例二用感知器实现逻辑“或”功能逻辑“或”真值表a*2 y 000011 101 ill2021/10/1098例二用感知器实现逻辑“或”功_感知器结构wix1+w2x2-T=Q x1+x2-0.5=Q2021/10/1099思考并回答分界线的方程是什么？w，x=o感知器的模型如何表示?图示？-数学表达式？2021/10/10感知器的局限性问题：能否用感知器实现“异或”功能?“异或”的真值表巧“2 y0000 11101i i o4个样本也分为两类，但任何直线也不可能把两类样本分开;如果两类样本可以用直线、平面或超平面分开，称为线性可分，否则为线性 不可分；由感知器分类的几何意义可知，由于净输入为零确定的分类判决方程是线性 方程，因而它只能解决线性可分问题而不可能解决线性不可分问题。由此可 桃”单计算层感知器的局限性是仅对线性可分问题具有分类能力。101感知器的学习关键问题就是求2021/10/10102感知器的学习算法pe 学习信号等于神经元期望输出（教师信号）与实际输出之差式中可为期望的输出，。斤（叮 因此，权值调整公式应为/I Wj=|4-sg77（W，Y）A/2尸-sg%（叼X）x i=O,l,式中，当实际输出与期望值相同时，权值不需要调整。感 知器学习规则代表一种有导师学习。2021/10/10103感知器的学习算法感知器学习规则的训练步骤：（1）对各权值/（。）,%（。）,”（。），j=h 2,a（用为计算层的节点数）赋予较小的非零随机数;输入样本对想力,其中H=（U3外%外,x再,成为期望的输出向量（教师信号），上标。代表 样本对的模式序号，设样本集中的样本总数为尸,贝M=i2,n2021/10/10104感知器的学习算法感知器学习规则的训练步骤：计算各节点的实际输出OjP)=sg川%？刈J=12.M(4)调整各节点对应的权值，明(什尸有+n dP-oP(f)XP,j=l,2,m,其中。为学习率，用于控制调整速度，太大会影响训练的稳定性，太小则使训练的收敛速度变慢，一般取WI；返回到步骤输入下一对样本，周而复始直到对所有 样本，感知器的实际输出与期望输出相等。2021/10/10105感知器的学习规则的训练步骤-(1)权值初始化-(2)输入样本对-(3)计算输出-(4)根据感知器学习规则调整权值-(5)返回到步骤(2)输入下一对样本，周而复始直 到对所有样本，感知器的实际输出与期望输出相等。2021/10/10106感知器的学习算法例三单计算节点感知器，3个输入。给定3对训练样 本对如下：*=(-1,1,-2,0尸 4=一1=(-1,0,1.5,-0.5尸 d2=-l=(-1,-1,1,0.5尸 加=1设初始权向量%（。）=（。.5厂7,0尸，n=0.1o注意：输入向量中第一个分量X。恒等于U,权向量中第 一个分量为阈值 试根据以上学习规则训练该感知器。2021/10/10107感知器的学习算法解：第一步输入得网(0)*=(0.5之1,0)(1/广2,0尸=2.5o1(0)=sgn(2.5)=7W(l)=%(0)+n d1-(0)X1=(05广1,0)，+0.1(1/)(/厂2,0尸=(07,08广0.6,0尸2021/10/10108感知器的学习算法第二步输入得#(1)=(070.8厂0.6,0)(10.5厂0.5)7.6o2(l)=sgn(-l.6)1W(2)=/1)+n d2-o2(l)X2=(0.7,0810.6,0尸+0.111-(-1)(-1,0.5广0.5尸=(0.7,08 厂0.6,0)7由于2=标(1),所以.(2尸%(1)。2021/10/10109感知器的学习算法第三步输入X3,得M(2 用=(070.8.0.6,0)(-1,。305尸=21O3(2)=sgn(-2.1=-1W(3)=%(2)+n d3-o3(2)X3=(0.7,08.0.6,0尸+0.11-(.1)(-1广1,1,0.51=(0.5,06厂0.4,0.1尸第四步 返回到第一步，继续训练直到成-。0=0,p=l,2,3。2021/10/10110单层感知器的局限性问题：能否用感知器解决如下问题?2021/10/10111单层感知器的局限性无法解决“异或”问题“异或”的真值表Xj x2 y0 0 0Oil 10 1110只能解决线性可分问题2021/10/101126.2多层感知器：提出单计算层感知器具有局限性：-只能解决线性可分问题，而大量的分类问题是线性不可 分的。解决的有效办法-在输入层与输出层之间引入隐层作为输入模式的“内部 表示，将单计算层感知器变成多（计算）层感知器。-采用非线性连续函数作为转移函数，使区域边界线的基 本线素由直线变成曲线，从而使整个边界线变成连续光 滑的曲线。2021/10/10113多层感知器例四 用两计算层感知器解决“异或”问题。双层感知器“异或”的真值表Xj x2%y2 O0 0 1100 110 110 0 1111110具有单隐层的感知器，其中隐层的 两个节点相当于两个独立的符号单 元（单计算节点感知器）两个符号单元可分别在x7、X2平面 上确定两条分界直线S7和S2,从而 构成上图所示的开放式凸域通过适当调整两条直线的位置，可使两类线性不 可分样本分别位于该开放式凸域内部和外部。对隐节点/来说，直线下面的样本使其输出为 力=1,而直线上面的样本使其输出为力二。；对隐节点2来说，直线方上面的样本使其输出为 丫2二1，而直线下面的样本使其输出为乃二。2021/10/10115 当输入样本为。类时，其位置处于开放式凸域内部，即同时处在直线5 下方和直线与上方。根据以上分析，应有为=1,y2=l.当输入样本为*类时，其位置处于开放式凸域外部，即或者同时处在 两直线S八Sz上方，使力=0,y2=h或者同时处在两直线S八Sz下方，使力=7,二0。输出层节点以隐层两节点的输出力、必作为输入，其结构也相当于一 个符号单元。如果经过训练，使其具有逻辑“与非”功能，则异或问 题即可得到解决。根据“与非”逻辑，当隐节点输出为为二1，乃二1时，该节点输出为。=。；当隐节点输出为力=1,%二。时，或力=。，乃=，时，该节点输出为。二1。2021/10/10116 对于一般形式的单隐层感知器，当输入样本为二维向量 时，隐层中的每个节点确定了二维平面上的一条分界直线。多条直线经输出节点组合后会构成各种形状的凸域（所谓 凸域是指其边界上任意两点之连线均在域内）。通过训练调整凸域的形状，可将两类线性不可分样本分为 域内和域外。输出层节点负责将域内外的两类样本进行分 类。单隐层节点数量增加可以使多边形凸域的边数增加，从 而在输出层构建出任意形状的凸域。如果在此基础上再增 加第二个隐层，则该层的每个节点确定一个凸域，各种凸202峨经输出层节点组合后成为任意形状。117如图，由凸域组合成任意形状后，意味着双隐层的分类能力比单隐层大大提高。分类问题越复杂，不同类别样本在样本空间的布局越趋于犬牙 交错,因而隐层需要的神经元节点数也越多。Kolmogorov理论 指出：双隐层感知器足以解决任何复杂的分类问题。该结论已2021/10/10经过严格的数学证明。118具有不同隐层数的感知器的分类能力对比感知器结构 异或问题 复杂问题 判决域形状 判决域半平面任意复杂 形状域凸域219说明为便于直观描述感知器分类能力，在上述分析中,将转移函数限定为符号函数或单位阶跃函数。实际上，提高感知器分类能力的另一个途径是，采用非线性连续函数作为神经元节点的转移函数。这样做的好处是能使区域边界线的基本线素由直 线变成曲线，从而使整个边界线变成连续光滑的 曲线2021/10/10120连续多输出感知器训练算法 1,用适当的小伪随机数初始化权矩阵W；2,初置精度控制参数E,学习率a,精度控制变量d=z+1；3.Whil e d do 3.1 d=0；3.2 for 每个样本(X,Y)do 3.2.1 输入X；/(x1,x2,xn)3.2.2 求0=F(XW)；3.2.3修改权矩阵W：for i=1 to n,j=1 to m do Wij=Wij+a(yrOj)为；x与之间的差别对Wjj的影响 3.2.4累积误差 for j=1 to m do d=d+(yOj)22021/10/101217.BP算法提高网络性能(如分类能力)的有效途径-包含隐层的多层前馈网络长期以未没有书是出解决权值调整问题的有效算法。-非线性连续转移函数 BP(Error Back Propagation,BP)算法-1986年，Rumelhart和McCelland领导的科学家小组 Parallel Distributed Processing一书-应用对象：多层前馈网络-具有非线性连续转移函数2021/10/10122误差反传(BP)算法(1)基于BP算法的多层前馈网络模型2021/10/10123模型的数学表达输入向量：的（，必，”修,），隐层输出向量：六心以，心尸输出层输出向量：。=（0川2,M肥M/），期望输出向量：d=（由,4，/加”/）,输入层到隐层之间的权值矩阵：7=（吸小,弓,以）隐层到输出层之间的权值矩阵：%（孙叫，叫，阴）各个变量之间如何建立联系，来描述整个网络？2021/10/10124基于BP算法的多层前馈网络模型输出层:Ok=f(netk)k=l,2,1(3.4.1)mnet k=Z w jk y j k=l,2,1(3.4.2)j=0隐层:y j=j)nnetj=z”i=0j=l,2,M(3.4.3)j=l,2,m(3.4.4)2021/10/10125基于BP算法的多层前馈网络模型单极性Sigmoid函数:双极性Sigmoid函数:72021/10/10126BP学习算法一、网络误差与权值调整7 1输出误差E定义：=（-0）2=，（四_。后）2 2 2k=l将以上误差定义式展开至隐层：I I jnE=；-/（殁）2=g 恢-/（，力杈y）2k=l k=l j=02021/10/101273.4.2 BP学习算法一、网络误差与权值调整（续）进一步展开至输入层：I mE=/1Z%jk f（nety）2k=l j-0/m n=gZ-/1Z w/左/（Z V）芍）2 k=l j-0 i=0由上式可以看出，网络输入误差是各层权值依、丫仃 202例般甬数，因此调整权值可改变误差及1283.4.2 BP学习算法调整权值的原则显然是使误差不断地减小，因此应使 权值的调整量与误差的梯度下降成正比/攻汝=一-j=02,m;4=7,2,JSw jkAVy=77-i=0,2,叫dviJ式中负号表示梯度下降，常数w7）表示比例系数，在训练中反映学习速率。在全部推导过程中，对输出层有；仁7,2,.”/2021/10/附隐层有户0/,2,.”；j=12,m 1293.4.2 BP学习算法一、BP算法推导对于输出层，有.dE dE dnet