D人工神经网络复习习题.pptx

第第1章章绪论绪论1.1人脑与计算机人脑与计算机1.2人工神经网络发展简史人工神经网络发展简史1.2.1启蒙时期启蒙时期1.2.2低潮时期低潮时期1.2.3复兴时期复兴时期1.2.4新时期新时期1.2.5国内研究概况国内研究概况1.3神经网络的基本特征与功能神经网络的基本特征与功能1.4神经网络的应用领域神经网络的应用领域本章小结本章小结第第2章章神经网络基础知识神经网络基础知识2.1人工神经网络的生物学基础人工神经网络的生物学基础2.2人工神经元模型人工神经元模型 2.2.1神经元的建摸神经元的建摸 2.2.2神经元的数学模型神经元的数学模型 2.2.3神经元的转移函数神经元的转移函数2.3人工神经网络模型人工神经网络模型 2.3.1网络拓扑结构类型网络拓扑结构类型 2.3.1.1层次型结构层次型结构 2.3.1.2互连型结构互连型结构 2.3.2网络信息流向类型网络信息流向类型 2.3.2.1前馈型网络前馈型网络 2.3.2.2反馈型网络反馈型网络2.4神经网络学习神经网络学习 2.4.1Hebbian学习规则学习规则 2.4.2Perceptron（感知器）学习规则（感知器）学习规则 2.4.3(Delta)学习规则学习规则 2.4.4Widrow-Hoff学习规则学习规则 2.4.5Correlation（相关）学习规则（相关）学习规则 2.4.6Winner-Take-All（胜者为王）学习规则（胜者为王）学习规则 2.4.7Outstar（外星）学习规则（外星）学习规则本章小结本章小结 第第3章章监督学习神经网络监督学习神经网络3.1单层感知器单层感知器 3.1.1感知器模型感知器模型 3.1.2单节点感知器的功能分析单节点感知器的功能分析 3.1.3感知器的学习算法感知器的学习算法 3.1.4感知器的局限性及解决途径感知器的局限性及解决途径3.2基于误差反传的多层感知器基于误差反传的多层感知器BP神经网络神经网络 3.2.1 BP网络模型网络模型 3.2.2BP学习算法学习算法 3.2.3BP算法的程序实现算法的程序实现 3.2.4BP网络的主要能力网络的主要能力 3.2.5误差曲面与误差曲面与BP算法的局限性算法的局限性3.3BP算法的改进算法的改进3.4BP网络设计基础网络设计基础3.5BP网络应用与设计实例网络应用与设计实例本章小结本章小结第第4章章竞争学习神经网络竞争学习神经网络 4.1竞争学习的概念与原理竞争学习的概念与原理 4.1.1基本概念基本概念 4.1.2竞争学习原理竞争学习原理 4.2自组织特征映射神经网络自组织特征映射神经网络 4.2.1SOM网络的生物学基础网络的生物学基础 4.2.2SOM网网(络络)的拓扑结构的拓扑结构与权值调整域与权值调整域 4.2.3自组织特征映射网自组织特征映射网(络络)的运行原理与学习算法的运行原理与学习算法 4.2.3.1运行原理运行原理 4.2.3.2学习算法学习算法 4.2.3.3功能分析功能分析 4.3自组织特征映射网络的设计与应用自组织特征映射网络的设计与应用 4.4自适应共振理论自适应共振理论本章小结本章小结第第6章章反馈神经网络反馈神经网络 6.1离散型离散型Hopfield神经网络神经网络(DHNN)6.1.1网络的结构与工作方式网络的结构与工作方式 6.1.2网络的稳定性与吸引子网络的稳定性与吸引子 6.1.2.1网络的稳定性网络的稳定性 6.1.2.2吸引子吸引子与能量函数与能量函数 6.1.2.3吸引子的性质吸引子的性质 6.1.2.4吸引子的吸引域吸引子的吸引域 6.1.3网络的权值设计网络的权值设计 6.1.4网络的信息存储容量网络的信息存储容量 6.2连续型连续型Hopfield神经网络神经网络(CHNN)6.3Hopfield网络应用与设计实例网络应用与设计实例 6.4双向联想记忆双向联想记忆(BAM)神经网络神经网络 6.5随机神经网络随机神经网络 6.6递归神经网络递归神经网络本章小结本章小结第第1章章绪论绪论1.1人脑与计算机人脑与计算机1.2人工神经网络发展简史人工神经网络发展简史1.2.1启蒙时期启蒙时期1.2.2低潮时期低潮时期1.2.3复兴时期复兴时期1.2.4新时期新时期1.2.5国内研究概况国内研究概况1.3神经网络的基本特征与功能神经网络的基本特征与功能1.4神经网络的应用领域神经网络的应用领域本章小结本章小结1.2人工神经网络发展简史人工神经网络发展简史神经网络的研究可追溯到神经网络的研究可追溯到19世纪末期，其发展历史可分为四个时期。世纪末期，其发展历史可分为四个时期。第一个时期为第一个时期为启蒙时期启蒙时期，开始于，开始于1890年美国著名心理学家年美国著名心理学家WJames关于人脑结构与功能的研究，结束于关于人脑结构与功能的研究，结束于1969年年Minsky和和Papert发表发表感知器感知器(Perceptron)一书。一书。第二个时期为第二个时期为低潮时期低潮时期，开始于，开始于1969年，结束于年，结束于1982年年Hopfield发表发表著名的文章著名的文章“神经网络和物理系统神经网络和物理系统”(NeuralNetworkandPhysicalSystem)。第三个时期为第三个时期为复兴时期复兴时期，开始于，开始于JJHopfield的突破性研究论文，的突破性研究论文，结束于结束于1986年年DERumelhart和和JLMcClelland领导的研究小组发表领导的研究小组发表的的并行分布式处理并行分布式处理(ParallelDistributedProcessing)一书。一书。第四个时期为第四个时期为高潮时期高潮时期，以，以1987年首届国际人工神经网络学术会议为年首届国际人工神经网络学术会议为开端，迅速在全世界范围内掀起人工神经网络的研究应用热潮，至今势头开端，迅速在全世界范围内掀起人工神经网络的研究应用热潮，至今势头不衰。不衰。1.2.1启蒙时期启蒙时期低潮时期低潮时期复兴时期复兴时期高潮时期高潮时期(新高潮新高潮)本章小结本章小结第第2章章神经网络基础知识神经网络基础知识2.1人工神经网络的生物学基础人工神经网络的生物学基础2.2人工神经元模型人工神经元模型 2.2.1神经元的建摸神经元的建摸 2.2.2神经元的数学模型神经元的数学模型 2.2.3神经元的转移函数神经元的转移函数2.3人工神经网络模型人工神经网络模型 2.3.1网络拓扑结构类型网络拓扑结构类型 2.3.1.1层次型结构层次型结构 2.3.1.2互连型结构互连型结构 2.3.2网络信息流向类型网络信息流向类型 2.3.2.1前馈型网络前馈型网络 2.3.2.2反馈型网络反馈型网络2.4神经网络学习神经网络学习 2.4.1Hebbian学习规则学习规则 2.4.2Perceptron（感知器）学习规则（感知器）学习规则 2.4.3(Delta)学习规则学习规则 2.4.4Widrow-Hoff学习规则学习规则 2.4.5Correlation（相关）学习规则（相关）学习规则 2.4.6Winner-Take-All（胜者为王）学习规则（胜者为王）学习规则 2.4.7Outstar（外星）学习规则（外星）学习规则本章小结本章小结 2.2人工神经元模型人工神经元模型人工神经网络是在现代神经生物学研究基础上提出的模人工神经网络是在现代神经生物学研究基础上提出的模拟生物过程以反映人脑某些特性的拟生物过程以反映人脑某些特性的计算结构计算结构。它不是人脑神。它不是人脑神经系统的真实描写，而只是人脑神经系统的某种抽象、简化经系统的真实描写，而只是人脑神经系统的某种抽象、简化和模拟。和模拟。神经元及其突触是神经网络的基本器件。因此，模拟生神经元及其突触是神经网络的基本器件。因此，模拟生物神经网络应物神经网络应首先模拟生物神经元首先模拟生物神经元。在人工神经网络中，神经元常被称为在人工神经网络中，神经元常被称为“处理单元处理单元”。人工神经元是人工神经元是对生物神经元的一种形式化描述；对生物神经元的一种形式化描述；人工神经元是人工神经元是对生物神经元的信息处理过程进行抽象，对生物神经元的信息处理过程进行抽象，并用数学语言予以描述；并用数学语言予以描述；人工神经元是人工神经元是对生物神经元的结构和功能进行模拟，并对生物神经元的结构和功能进行模拟，并用模型图予以表达。用模型图予以表达。2.2.1神经元的建摸神经元的建摸(1/6)目前人们提出的神经元模型已有很多，其中最早提出且影目前人们提出的神经元模型已有很多，其中最早提出且影响最大的是响最大的是M-P模型（模型（1943年由心理学家年由心理学家McCulloch和数学家和数学家WPitts首先提出的）。首先提出的）。该模型经过不断改进后，形成目前应用广泛的一种神经元该模型经过不断改进后，形成目前应用广泛的一种神经元模型。模型。关于神经元的信息处理机制，该模型在简化的基础上提出关于神经元的信息处理机制，该模型在简化的基础上提出以下以下6点假定：点假定：1、是一个多输入单输出的信息处理单元；、是一个多输入单输出的信息处理单元；2、突触分兴奋性和抑制性两种类型；、突触分兴奋性和抑制性两种类型；3、神经元具有空间整合特性和阀值特性；、神经元具有空间整合特性和阀值特性；4、输入与输出间有固定的时滞，取决于突触延搁；、输入与输出间有固定的时滞，取决于突触延搁；5、忽略时间整合作用和不应期；、忽略时间整合作用和不应期；6、神经元本身是非时变的，即其突触时延和突触强度均、神经元本身是非时变的，即其突触时延和突触强度均为常数。为常数。2.2.1神经元的建摸神经元的建摸(2/6)上述假定，可用图上述假定，可用图2.5中的神经元模型示意图进行图解表示。中的神经元模型示意图进行图解表示。2.2.1神经元的建摸神经元的建摸(3/6)如生物神经元有许多激励输入一样，人工神经元也应该有如生物神经元有许多激励输入一样，人工神经元也应该有许多的输入信号。许多的输入信号。图中用图中用xi(i=1,2,n)表示输入数值的大小，它们同时输表示输入数值的大小，它们同时输入神经元入神经元j。jx1xixnwnjwijw1j2.2.1神经元的建摸神经元的建摸(4/6)生物神经元具有不同的突触性质和突触强度，其影响是使生物神经元具有不同的突触性质和突触强度，其影响是使有些输入的作用比另外一些输入更为重要。有些输入的作用比另外一些输入更为重要。对模拟神经元的每一个输入都有一个对模拟神经元的每一个输入都有一个加权系数加权系数wij，称为权，称为权重值，其重值，其正负正负模拟了生物神经元中突触的兴奋和抑制，其模拟了生物神经元中突触的兴奋和抑制，其大小大小则代表了突触的不同连接强度。则代表了突触的不同连接强度。jx1xixn2.2.1神经元的建摸神经元的建摸(5/6)作为基本处理单元，必须对全部输入信号进行整合，以确作为基本处理单元，必须对全部输入信号进行整合，以确定各类输入的作用总效果，组合表示输入信号的定各类输入的作用总效果，组合表示输入信号的“总和总和值值”，相应于生物神经元的膜电位。相应于生物神经元的膜电位。神经元是否激活，决于某一神经元是否激活，决于某一阈值阈值电平，即只有当其电平，即只有当其输入总输入总和超过阈值和超过阈值时，神经元才被激活而发出脉冲，否则神经元不会时，神经元才被激活而发出脉冲，否则神经元不会产生输出信号。产生输出信号。wnjwijw1jjx1xixnfoj2.2.1神经元的建摸神经元的建摸(6/6)人工神经元的输出也同生物神经元一样仅有一个，如用人工神经元的输出也同生物神经元一样仅有一个，如用oj表示神经元表示神经元j输出。输出。输出与输入之间的对应关系可用某种函数来表示，这种输出与输入之间的对应关系可用某种函数来表示，这种函数称为函数称为转移函数转移函数，一般都是，一般都是非线性的非线性的。wnjwijw1jjx1xixn2.2.2 神经元的数学模型神经元的数学模型(1/6)我们用一个数学表达式对上述内容可进行抽象与我们用一个数学表达式对上述内容可进行抽象与概括。概括。令令xi(t)表示表示t时刻神经元时刻神经元j接收的来自神经元接收的来自神经元i的信息的信息输入，输入，oj(t)表示表示t时刻神经元的信息输出，则神经元时刻神经元的信息输出，则神经元j的的状态可表达为状态可表达为式中式中ij输入输入i输出输出j间的突触延时；间的突触延时；Tj神经元神经元j的的阈阈值；值；wij神经元神经元i到到j的突触连接系数值；的突触连接系数值；f()神经元转移函数。神经元转移函数。2.2.2 神经元的数学模型神经元的数学模型(2/6)为简单起见，将上式中的突触延时取为单位时为简单起见，将上式中的突触延时取为单位时间，则式（间，则式（2.1）可写为）可写为 上式描述的神经元数学模型全面表达了神经元模上式描述的神经元数学模型全面表达了神经元模型的型的6点假定。点假定。1、多输入单输出、多输入单输出;(n个输入个输入;1个输出个输出)2、突触分兴奋性和抑制性、突触分兴奋性和抑制性;(wij可正可负、可大可小可正可负、可大可小)3、有空间整合特性和阀值特性、有空间整合特性和阀值特性;(求和求和,Tj)4、输入与输出间有固定的时滞、输入与输出间有固定的时滞;5、忽略时间整合作用和不应期、忽略时间整合作用和不应期;6、非时变，即突触时延和突触强度为常数。、非时变，即突触时延和突触强度为常数。2.2.2 神经元的数学模型神经元的数学模型(3/6)输入总和常称为神经元在输入总和常称为神经元在t时刻的净输入，用时刻的净输入，用 当当netjTj时，神经元时，神经元j才能被激活。才能被激活。oj(t+1)与与xi(t)之间的单位时间差代表所有神经元之间的单位时间差代表所有神经元具有相同的、恒定的工作节律，具有相同的、恒定的工作节律，wij与时间无关。与时间无关。为简便起见，后面用到式为简便起见，后面用到式(2.3)和和(2.3)时，常将时，常将其中的其中的(t+1)和和(t)省略。省略。2.2.2 神经元的数学模型神经元的数学模型(4/6)式式(2.3)还可表示为权重向量和输入向量的点积还可表示为权重向量和输入向量的点积其中其中Wj和和X均为列向量，定义为均为列向量，定义为2.2.2 神经元的数学模型神经元的数学模型(5/6)如果令如果令x0=-1，w0j=Tj，则有，则有-Tj=w0jx0，因此净输入和阈值，因此净输入和阈值之差可表示为：之差可表示为：式式(2.4)中列向量和的第一个分量的下标均从中列向量和的第一个分量的下标均从1开始开始,而式而式(2.5)中则从中则从0开始。开始。2.2.2 神经元的数学模型神经元的数学模型(6/6)采用式采用式(2.5)的约定后的约定后,净输入改写为净输入改写为net,与原来与原来的区别是包含了阈值。综合以上各式的区别是包含了阈值。综合以上各式,神经元模型可神经元模型可简化为简化为x0=-1x1xixnw0j=Tjfojwnjwijw1jj-Tj=w0jx02.2.3 神经元的转移函数神经元的转移函数神经元的各种不同数学模型的主要区别在于采用神经元的各种不同数学模型的主要区别在于采用了不同的转移函数，从而使神经元具有不同的信息处了不同的转移函数，从而使神经元具有不同的信息处理特性。理特性。神经元的信息处理特性是决定人工神经网络整体神经元的信息处理特性是决定人工神经网络整体性能的三大要素之一，因此转移函数的研究具有重要性能的三大要素之一，因此转移函数的研究具有重要意义。意义。神经元的转移函数反映了神经元输出与其激活状神经元的转移函数反映了神经元输出与其激活状态之间的关系，最常用的转移函数有以下态之间的关系，最常用的转移函数有以下4种形式。种形式。（1）阈值型转移函数）阈值型转移函数（2）非线性转移函数）非线性转移函数（3）分段线性转移函数）分段线性转移函数（4）概率型转移函数）概率型转移函数(1)阈值型转移函数阈值型转移函数阈值型转移函数采用了图阈值型转移函数采用了图2.6的单位阶跃函数，用下式定义的单位阶跃函数，用下式定义 具有这一具有这一转移函数转移函数的神经元称为阈值型神经元，这是神经的神经元称为阈值型神经元，这是神经元模型中最简单的一种，经典的元模型中最简单的一种，经典的M-P模型就属于这一类。模型就属于这一类。函数中的自变量函数中的自变量x代表代表netj-Tj，即当即当netj=Tj时，神经元为兴奋状态，时，神经元为兴奋状态，输出为输出为1；当时；当时netj0，输出为，输出为1；线的另一边；线的另一边netj0，所以输出为，所以输出为1，我们用，我们用*表示；线表示；线下方，由于下方，由于net0，所以输出，所以输出-1,，我们用，我们用o表示，见图表示，见图3.3。由感知器权值和阈由感知器权值和阈值确定的直线方程，规值确定的直线方程，规定了分界线在样本空间定了分界线在样本空间的位置，从而也确定了的位置，从而也确定了如何将输入样本分为两如何将输入样本分为两类。类。假如分界线的初始假如分界线的初始位置不能将位置不能将*类样本同类样本同o类样本正确分开，改变类样本正确分开，改变权值和阈值，分界线也权值和阈值，分界线也会随之改变，因此总可会随之改变，因此总可以将其调整到正确分类以将其调整到正确分类的位置。的位置。3.1.2 单节点感知器的功能分析单节点感知器的功能分析（2）设输入向量）设输入向量X=(x1,x2,x3)T，则，则3个输入分量在几何个输入分量在几何上构成一个三维空间。节点的输出为上构成一个三维空间。节点的输出为则由方程则由方程确定三维空间的一个平面，该平面是一个分界平面。平确定三维空间的一个平面，该平面是一个分界平面。平面上方的样本用面上方的样本用*表示，它们使，从而使输出为表示，它们使，从而使输出为1；平面下方；平面下方的样本用的样本用o表示，它们使，从面使输出为表示，它们使，从面使输出为-1。同理，由感知器权值和阈同理，由感知器权值和阈值确定的平面方程规定了分界值确定的平面方程规定了分界平面在样本空间的方向与位置，平面在样本空间的方向与位置，从而也确定了如何将输入样本从而也确定了如何将输入样本分为两类。分为两类。3.1.2 单节点感知器的功能分析单节点感知器的功能分析（3）将上述两个特例推广到）将上述两个特例推广到n维空间的一般情况，设输维空间的一般情况，设输入向量入向量X=(x1,xn)T，则，则n个输入分量在几何上构成一个个输入分量在几何上构成一个n维维空间。由方程空间。由方程定义一个定义一个n维空间上的超平面。此平面可以将输入样本维空间上的超平面。此平面可以将输入样本分为两类。分为两类。通过以上分析可以看出，一个最简单的单计算节点通过以上分析可以看出，一个最简单的单计算节点感知感知器具有分类功能器具有分类功能。其分类原理是。其分类原理是将分类知识存储于感知器的将分类知识存储于感知器的权向量（包含了阈值）中权向量（包含了阈值）中，由权向量确定的分类判决界面可，由权向量确定的分类判决界面可将输入模式分为两类。将输入模式分为两类。3.1.2 单节点感知器的功能分析单节点感知器的功能分析用感知器学习规则进行训练，得到的连接用感知器学习规则进行训练，得到的连接权值标在图权值标在图3.4中。中。令净输入为零，可得到分类判决方程为令净输入为零，可得到分类判决方程为x1 x2 y000010100111由图由图3.5可以看出，可以看出，该方程确定的直线将该方程确定的直线将输出为输出为1的样本点的样本点*和和输出为输出为0的样本点的样本点o正正确分开了。确分开了。从图中还可以看从图中还可以看出，该直线并不是惟出，该直线并不是惟一解。一解。下面研究用单计算节点感知器实现逻辑运下面研究用单计算节点感知器实现逻辑运算问题。算问题。用感知器实现逻辑用感知器实现逻辑“与与”功能。功能。逻辑逻辑“与与”的真值表如右：的真值表如右：x1x23.1.2 单节点感知器的功能分析单节点感知器的功能分析用感知器实现逻辑用感知器实现逻辑“或或”功能。功能。逻辑逻辑“或或”的真值表如右。的真值表如右。用感知器学习规则进行训用感知器学习规则进行训练，得到的连接权值为练，得到的连接权值为w1=w2=1，T=0.75，令净输入，令净输入为零，得分类判决方程为为零，得分类判决方程为该直线能把图该直线能把图3.6中的两中的两类样本分外，显然，该直线也类样本分外，显然，该直线也不是惟一解。不是惟一解。3.1.2 单节点感知器的功能分析单节点感知器的功能分析3.1.2 单节点感知器的功能分析单节点感知器的功能分析例例3.1 考虑下面定义的分类问题：考虑下面定义的分类问题：X1=-1,1T，d1=1；X2=-1,-1T，d2=1；X3=0,0T，d3=-1；X4=1,0T，d4=-1；其中：其中：Xi=x1i,x2iT为样本的输入，为样本的输入，di为样本的目标输出（为样本的目标输出（i=1,2,3,4）。）。能否用单节点感知器能够求解这个问题？能否用单节点感知器能够求解这个问题？试设计该感知器解决分类问题，用以上试设计该感知器解决分类问题，用以上4个输入向量验证。个输入向量验证。该感知器分类的正确性，对以下该感知器分类的正确性，对以下4个输入向量进行分类。个输入向量进行分类。X5=-2,0T；X6=1,1T；X7=0,1T；X8=-1,-2T。解：解：首先将首先将4个输入样本标在图个输入样本标在图3.7所示的输入平面上，立刻看出，可以找到所示的输入平面上，立刻看出，可以找到一条直线将在两类样本分开，因此可以用单节点感知器解决该问题。一条直线将在两类样本分开，因此可以用单节点感知器解决该问题。设分界线方程为：设分界线方程为：其中权值和阈值可以用下一节介绍的其中权值和阈值可以用下一节介绍的感知器学习算法进行训练而得到，也可以感知器学习算法进行训练而得到，也可以采用求解联立方程的方法。采用求解联立方程的方法。x1x2X1X2X3X43.1.2 单节点感知器的功能分析单节点感知器的功能分析例例3.1 考虑下面定义的分类问题：考虑下面定义的分类问题：X1=-1,1T，d1=1；X2=-1,-1T，d2=1；X3=0,0T，d3=-1；X4=1,0T，d4=-1；其中：其中：Xi=x1i,x2iT为样本的输入，为样本的输入，di为样本的目标输出（为样本的目标输出（i=1,2,3,4）。）。能否用单节点感知器能够求解这个问题？能否用单节点感知器能够求解这个问题？试设计该感知器解决分类问题，用以上试设计该感知器解决分类问题，用以上4个输入向量验证。个输入向量验证。该感知器分类的正确性，对以下该感知器分类的正确性，对以下4个输入向量进行分类。个输入向量进行分类。X5=-2,0T；X6=1,1T；X7=0,1T；X8=-1,-2T。解（续）解（续）：取直线上的两个点分别代入方程，如对于本例可取：取直线上的两个点分别代入方程，如对于本例可取(-0.5，0)和和(-0.5，1)，得到：，得到：此方程可有无穷多组解。此方程可有无穷多组解。取取w1j=-1，则有，则有w2j=0，Tj=0.5。netj=-x1+0*x2 0.5分别将分别将4个输入个输入向量代入感知器的输出向量代入感知器的输出表达式表达式o=sgn(WTX-T)，可得网络的输出分，可得网络的输出分别为别为1，1，-1，-1，即感知器的输出和教师，即感知器的输出和教师信号相符，可以进行正确分类。信号相符，可以进行正确分类。x1x2X1X2X3X4x1x2X1X2X3X43.1.2 单节点感知器的功能分析单节点感知器的功能分析例例3.1 考虑下面定义的分类问题：考虑下面定义的分类问题：X1=-1,1T，d1=1；X2=-1,-1T，d2=1；X3=0,0T，d3=-1；X4=1,0T，d4=-1；其中：其中：Xi=x1i,x2iT为样本的输入，为样本的输入，di为样本的目标输出（为样本的目标输出（i=1,2,3,4）。）。能否用单节点感知器能够求解这个问题？能否用单节点感知器能够求解这个问题？试设计该感知器解决分类问题，用以上试设计该感知器解决分类问题，用以上4个输入向量验证。个输入向量验证。该感知器分类的正确性，对以下该感知器分类的正确性，对以下4个输入向量进行分类。个输入向量进行分类。X5=-2,0T；X6=1,1T；X7=0,1T；X8=-1,-2T。解（续）解（续）：分别将：分别将58号待分类样本输入设计好的感知器，可以得到感知器号待分类样本输入设计好的感知器，可以得到感知器的输出分别为的输出分别为1，-1，-1，1；因此在因此在8个样本中，个样本中，X1，X2，X5，X8属于一类，属于一类，X2，X4，X6，X7属于另一属于另一类。类。此外，从图此外，从图3.8中还可以看出，样本中还可以看出，样本X5，X6的分类不依赖于权值和阈值的选的分类不依赖于权值和阈值的选择，而样本择，而样本X7，X8的分类则依赖于权值的分类则依赖于权值和阈值的选择。和阈值的选择。X5X6X7X83.1.2 单节点感知器的功能分析单节点感知器的功能分析例例3.2 考虑以下考虑以下4类线性可分类线性可分样本的分类问题：样本的分类问题：第一类：第一类：X1=1,1T，X2=1,2T；第二类：第二类：X3=2,-1T，X4=2,2T；第三类：第三类：X5=-1,2T，X6=-2,1T；第四类：第四类：X7=-1,-1T，X8=-2,-2T；试设计一种试设计一种感知器网络感知器网络求解该问题。求解该问题。解：首先画出解：首先画出8个输入样本在平面上的分布，如图个输入样本在平面上的分布，如图3.9(a)所示。所示。图中图中 。x1x2第第1类类第第2类类第第3类类第第4类类从图中可以看出，可以从图中可以看出，可以（用）（用）两条直线两条直线将全部样本分为将全部样本分为4类：类：先用一条分界线将先用一条分界线将8个样本分为两组，即个样本分为两组，即第一、三类为一组，第二、四类为另一组。第一、三类为一组，第二、四类为另一组。然后再用一条分界线将四类分开，其结然后再用一条分界线将四类分开，其结果如图果如图3.9(b)所示。所示。由于每个由于每个感知器中的每个计算节点对应的权感知器中的每个计算节点对应的权值和阈值确定了样本空间的一条线性判决边界，值和阈值确定了样本空间的一条线性判决边界，本例中的感知器应有本例中的感知器应有2个节点。个节点。如图如图3.10所示，所示，对应于样本的期望输出对应于样本的期望输出为：第一类：为：第一类：d1=d2=0,0T；第二类：；第二类：d3=d4=0,1T；第三类：；第三类：d5=d6=1,0T；第四类：；第四类：d7=d8=1,1T。可以推知，具有可以推知，具有M个节点的单层个节点的单层感知器可对感知器可对2M个线性可分类别进行分类。个线性可分类别进行分类。作业作业P.67题题3.1BP算法的基本思想是，算法的基本思想是，学习过程由信号的正向传播学习过程由信号的正向传播与与误差误差的反向传播的反向传播两个过程组成。两个过程组成。正向传播时，输入样本从输入层传人，经各隐层逐层处理正向传播时，输入样本从输入层传人，经各隐层逐层处理后，传向输出层。后，传向输出层。若输出层的实际输出与期望的输出若输出层的实际输出与期望的输出(教师信号教师信号)不符，则转不符，则转入误差的反向传播阶段。入误差的反向传播阶段。误差反传误差反传是将输出误差以某种形式通过隐层向输入层逐层是将输出误差以某种形式通过隐层向输入层逐层反传、并将误差分摊给各层的所有单元，从而获得各层单元的反传、并将误差分摊给各层的所有单元，从而获得各层单元的误差信号误差信号，此误差信号即作为，此误差信号即作为修正各单元权值的依据修正各单元权值的依据。这种信号正向传播与误差反向传播的各层权值调整过程，这种信号正向传播与误差反向传播的各层权值调整过程，是周而复始地进行的。权值不断调整的过程，也就是网络的学是周而复始地进行的。权值不断调整的过程，也就是网络的学习训练过程。习训练过程。此过程一直进行到网络输出的此过程一直进行到网络输出的误差减少到可接受的程度误差减少到可接受的程度，或进行到或进行到预先设定的学习次数预先设定的学习次数为止。为止。3.2 基于误差反传的多层感知器基于误差反传的多层感知器BP神经网络神经网络3.2.1 BP网络模型网络模型采用采用BP算法的多层前馈网络是至今为止算法的多层前馈网络是至今为止应用应用最广泛最广泛的神经网络。在多层前馈网的应用中，以图的神经网络。在多层前馈网的应用中，以图3.16所示的所示的单隐层网络单隐层网络的应用最为普遍。的应用最为普遍。习惯将习惯将单隐层单隐层前馈前馈网称为网称为三层前馈网三层前馈网或或三三层感知器层感知器，所谓三层包，所谓三层包括了括了输入层输入层、隐层隐层和和输输出层出层。x0y0 x1xixnW1WkWlV1VjVmoloko1ymyjy1x0y0 x1xixnW1WkWlV1VjVmoloko1ymyjy1输入层输入层x0y0 x1xixnW1WkWlV1VjVmoloko1ymyjy1X=(x1,xi,xn)T输入层输入层输入向量输入向量X：x0y0 x1xixnW1WkWlV1VjVmoloko1ymyjy1输入向量：输入向量：X=(x1,x2,xi,xn)T输入层输入层输入层到隐层输入层到隐层j之间的之间的连接连接。x0y0 x1xixnW1WkWlV1VjVmoloko1ymyjy1输入层输入层Vj=(v1j,vij,vnj)T输入层到隐层输入层到隐层j之间的之间的权值向量权值向量Vj：隐层隐层x0y0 x1xixnW1WkWlV1VjVmoloko1ymyjy1输入层输入层V1=(v11,vi1,vn1)T隐层隐层输入层到隐层输入层到隐层1之间的之间的权值向量权值向量V1：x0y0 x1xixnW1WkWlV1VjVmoloko1ymyjy1输入层输入层Vm=(v1m,vim,vnm)T隐层隐层输入层到隐层输入层到隐层m之间的权值向量之间的权值向量Vm：x0y0 x1xixnW1WkWlV1VjVmoloko1ymyjy1输入层输入层V=(V1,Vj,Vm)隐层隐层输入层到隐层之输入层到隐层之间的间的权值矩阵权值矩阵（由由m个权值向量组成个权值向量组成）：）：y0 x1xixnW1WkWlV1VjVmoloko1ymyjy1x0输入层输入层隐层隐层隐层神经元的隐层神经元的阈值阈值可用加入可用加入x0=-1 来处理。来处理。Vj=(v0j,v1j,vij,vnj)TX=(x0,x1,x2,xi,xn)Tx0y0 x1xixnW1WkWlV1VjVmoloko1ymyjy1输入层输入层Y=(y1,yj,ym)T隐层的输出向隐层的输出向量定义为量定义为Y：隐层隐层x0y0 x1xixnW1WkWlV1VjVmoloko1ymyjy1输入层输入层Y=(y1,yj,ym)T隐层输出向量隐层输出向量Y到到输出层输出层k之间的之间的连接连接。隐层隐层输出层输出层x0y0 x1xixnW1WkWlV1VjVmoloko1ymyjy1输入层输入层Wk=(w1k,wjk,wmk)T隐层到输出层隐层到输出层k之之间的权值向量间的权值向量Wk：隐层隐层输出层输出层x0y0 x1xixnW1WkWlV1VjVmoloko1ymyjy1输入层输入层W1=(w11,wj1,wm1)T隐层到输出层隐层到输出层1之之间的间的权值向量权值向量W1：隐层隐层输出层输出层x0y0 x1xixnW1WkWlV1VjVmoloko1ymyjy1输入层输入层Wl=(w1l,wjl,wml)T隐层到输出层隐层到输出层l之之间的间的权值向量权值向量Wl：隐层隐层输出层输出层x0 x1xixnW1WkWlV1VjVmoloko1ymyjy1y0输出输出神经元的神经元的阈值阈值可用可用y0=-1 来处理。来处理。Wj=(w0j,w1j,wij,wmj)TY=(y0,y1,y2,yi,ym)T输入层输入层隐层隐层输出层输出层x0y0 x1xixnW1WkWlV1VjVmoloko1ymyjy1输入层输入层隐层隐层输出层输出层输出层的输出层的输出向量输出向量：O=(o1,o2,ok,ol)Tx0y0 x1xixnW1WkWlV1VjVmoloko1ymyjy1输入层输入层隐层隐层输出层输出层期望的期望的输出向量输出向量：d=(d1,dk,dl)Tx0y0 x1xixnW1WkWlV1VjVmoloko1ymyjy1输入层输入层隐层隐层输出层输出层输入向量：输入向量：X=(x1,x2,xi,xn)T隐层神经元的阈值，可加入隐层神经元的阈值，可加入x0=-1；隐层输出向量：隐层输出向量：Y=(y1,y2,yj,ym)T输出层神经元的阈值，可加入输出层神经元的阈值，可加入y0=-1；输出层输出向量：输出层输出向量：O=(o1,o2,ok,ol)T期望输出向量：期望输出向量：d=(d1,d2,dk,dl)T输入层到隐层之间的权值矩阵：输入层到隐层之间的权值矩阵：V=(V1,V2,Vj,Vm)隐层到输出层之间的权值矩阵：隐层到输出层之间的权值矩阵：W=(W1,W2,Wk,Wl)各个变量之间如何各个变量之间如何建立联系，来描述整个建立联系，来描述整个网络？网络？3.2.1 BP网络模型网络模型对于输出层：对于输出层：k=1,2,l (3.6)k=1,2,l(3.7)对于隐层：对于隐层：j=1,2,m (3.8)j=1,2,m (3.9)3.2.1 BP网络模型网络模型单极性单极性Sigmoid函数：函数：(3.10)双极性双极性Sigmoid函数：函数：式式(3.6)式式(3.10)共同构成了三层前馈网的数学模型。共同构成了三层前馈网的数学模型。3.2.1 BP网络模型网络模型(3.11)转移函数：转移函数：(3.10)式式(3.6)式式(3.10)共同构成了三层前馈网的数学模型。共同构成了三层前馈网的数学模型。对于隐层：对于隐层：j=1,2,m (3.8)j=1,2,m (3.9)对于输出层：对于输出层：k=1,2,l (3.6)k=1,2,l(3.7)3.2.1 BP网络模型网络模型?3.2.2 BP学习算法学习算法以三层前馈网为例介绍以三层前馈网为例介绍BP学习算法，然后将所得结论学习算法，然后将所得结论推广到一般多层前馈网的情况。推广到一般多层前馈网的情况。3.2.2.1 网络误差定义与权值调整思路网络误差定义与权值调整思路当网络输出与期望输出不等时，存在当网络输出与期望输出不等时，存在输出误差输出误差。定义。定义如下如下(3.12)3.2.2.1 网络误差定义与权值调整思路网络误差定义与权值调整思路进一步展开至输入层有进一步展开至输入层有(3.14)由上式可以看出，网络由上式可以看出，网络（的（的输出）输出）误差误差是各层权值是各层权值wjk，vij 的函数，因此调整权值可改变误差的函数，因此调整权值可改变误差E。将以上将以上（输出）误差定义式（输出）误差定义式展开至隐层，有展开至隐层，有(3.13)调整权值的原则是使误差不断地减小，因此权值的调调整权值的原则是使误差不断地减小，因此权值的调整量与误差的负梯度成正比，即整量与误差的负梯度成正比，即3.2.2.1 网络误差定义与权值调整思路网络误差定义与权值调整思路j=0,1,m;k=1,l(3.15a)i=0,1,n;j=1,m(3.15b)式中负号表示梯度下降，常数式中负号表示梯度下降，常数 (0,1)表示比例系数，表示比例系数，在训练中反映了学习速率。这类算法常被称为误差的梯度下在训练中反映了学习速率。这类算法常被称为误差的梯度下降降(Gradient Descent)算法。算法。在推导过程中，对在推导过程中，对输出层输出层有有 j=0,1,m;k=1,l；对；对隐层隐层有有 i=0,1,n;j=1,m。vij有多少个？有多少个？wjk有多少个？有多少个？对于输出层，式对于输出层，式(3.15a)可写为可写为3.2.2.2 BP算法推导算法推导(3.16a)对隐层，式（对隐层，式