神经网络的应用论文.doc

神经网络的原理及应用
摘要：通过阅读相关文献，总结了神经网络方面的基本原理和应用。首先介绍了Hopfield神经网络中的离散型网络，并介绍其实现交通标志的步骤。随着神经网络的发展，其局限性日益凸显。为此，科学家们提出了与其它方法结合的神经网络。本文介绍了遗传算法优化BP神经网络的原理及在在坝基岩体渗透系数识别中的应用，还介绍了模糊神经网络的原理及在预测地基沉降量中的应用，最后介绍了小波神经网络的原理及在电力负荷预测中的应用。

关键字：神经网络、Hopfield、遗传算法、模糊神经网络、小波神经网络

绪论
Hopfield网络及学习算法最初是由美国物理学家J.J Hopfield于1982年首先提出的，曾经为人工神经网络的发展进程开辟了新的研究途径。它利用与阶层型神经网络不同的结构特征和学习方法，模拟生物神经网络的记忆机理，获得了令人满意的结果。Hopfield最早提出的网络是二值神经网络，神经元的输出只取1和0，所以，也称离散Hopfield神经网络（Discrete Hopfield Neural Network，DHNN）。在离散Hopfield网络中，所采用的神经元是二值神经元，因此，所输出的离散值1和0分别表示神经元处于激活和抑制状态。Hopfield神经网络是递归神经网络的一种，在函数优化和联想记忆等方面有大量的应用。其运行机理与反馈神经网络有本质的区别，运行规律更加复杂。
神经网络由于高度复杂的非线性结构导致其内部存在大量的局部极值点，而传统的梯度下降法训练神经网络有可能收敛于局部极值点，造成神经网络性能变差，甚至无法使用。随着现代非线性优化方法异军突起，特别是赫赫有名的遗传算法，具有极强的全局搜索能力，其收敛的有效性得到了理论和实践的充分检验。因此，遗传神经网络是解决高复杂性情况下全局收敛问题的有效途径。
系统的复杂性与所要求的精确性之间存在着尖锐矛盾，模糊逻辑、神经网络和专家控制等智能系统为缓解这种矛盾提供了有效途径，但是这些系统单个运用时常常存在多种问题，因此人们便根据它们的优缺点提出了融合使用的新思路，如本文的模糊神经网络。
传统神经网络的不足：1、激活函数不满足框架条件，且常为能量无限的类函数，而待处理信号常为能量有限的函数，难以找到它们间的反演变关系及保证解的唯一性；2、神经网络的结构参数难以确定，结构设计有很大的盲目性；3、神经网络的多层结构及误差曲面的高度非凸性使得神经网络的学习极其容易陷入局部极小。在这种情况下，小波神经网络最早由法国著名的信息科学研究机构IRISA的Qinhua Zhang等于1992年提出。
本文将按以上顺序逐一介绍。

一、离散型Hopfield神经网络在交通标志识别中的应用
Hopfield神经网络是一种互联型神经网络，其演变过程是一个非线性动力学系统，可以用一组非线性差分方程（离散型）或微分方程（连续型）来描述。系统的稳定性可用所谓的“能量函数”来分析。在满足条件的情况下，某种“能量函数”的能量在网络运行过程中不断减少，最后趋于稳定的平衡状态。对于一个非线性动力学系统，系统状态从某一初值出发经过演变后可能有如下几种结果：渐进稳定点（吸引子）、极限环、混沌、状态发散。
因为人工神经网络的变换函数是一个有界函数，故系统的状态不会发生发散现象。目前，人工神经网络经常利用渐进稳定点来解决某些问题。如果把系统的稳定点视为一个记忆，那么这个初态朝这个稳定点的演变过程就是一个寻找记忆的过程。如果把系统的稳定点视为能量的极小点，而把能量函数视为一个优化问题的目标函数，那么从初态朝这个稳定点的演变过程就是一个求解该优化问题的过程。因此，Hopfield神经网络的演变过程是一个计算联想或求解优化问题的过程。实际上，它的解决并不需要真的去计算，而是通过构成反馈神经网络，适当地设计其连接权和输入就可以达到这个目的。
1.1离散型Hopfield神经网络的工作方式
离散型Hopfield神经网络（DHNN）是一种单层的、输入/输出为二值的反馈网络。
DHNN主要用于联想记忆。网络的能量函数存在着一个或多个极小点或平衡点。当网络的初始姿态确定后，网络的状态按其工作规则向能量递减的方向变化，最后接近或达到平衡点，这个平衡点又称为吸引子。如果设法把网络所需记忆的模式设计成某个确定网络状态的一个平衡点，则当网络从与记忆模式较接近的某个初始状态出发后，按Hopfield运行规则进行状态更新，最后网络状态稳定在能量函数的极小点，即记忆模式所对应的状态。这样就完成了由部分信息或失真信息到全部或完整信息的联想记忆过程。DHNN的计算公式如下;

其矩阵向量形式为：

其中，,,为网络状态矢量，其分别为Hopfield网络第2层输出、第1层输入和总输入，中所有的元素取值仅取1或-1；由于神经网络的第0层没有外界输入，因此认为Hopfield神经网络没有输入；为网络的阈值矢量；为网络连接权矩阵，其元素表示第j个神经元到第i个神经元的连接权，它为对称矩阵。，则网络无自反馈，否则，称其为自反馈。
1.2Hopfield神经网络的设计方法
1.2.1权值的设计方法
Hopfield网络的权值是设计出来的。设计方法的主要思路是使记忆的模式样本对应于网络能量函数的极小值。
设有m个n维记忆模式，要设计网络连接权和阈值，使这m个模式正好是网络性能函数的m个极小值。比较常用的设计方法是“外积法”。设

其中，m表示的是模式类别数；n为每一类模式的维数。
要求网络记忆的m()个记忆模式矢量两两正交，即满足下式：

各神经元的阈值和网络的连接权矩阵按下式计算：

则所有矢量在时都是稳定点。

1.2.2Hopfield神经网络的容量
Hopfield神经网络能够存储的最大模式数与神经元个数有关。

1.2.3Hopfield神经网络的稳定性
离散Hopfield神经网络实质是一个多输入和含阈值的二值非线性动力系统。在运动系统中，平衡稳定状态可理解为系统某种形式的能量函数在系统运动过程中，其能量值不断减小，最后处于最小值。每个状态定义对应的能量E。

任何一个神经元节点的状态变化时，能量E将会向着减小的趋势变化，即对于任何,当神经网络从开始，有初始状态，经过有限时刻t，有，则称网络是稳定的。
1.3离散型Hopfield神经网络与交通标志识别
步骤如下：
（1）载入各种交通标志。
（2）为了统一神经网络输入维数，将交通标志转换为的二进制格式。
（3）创建Hopfield神经网络。
（4）检测样本是否为稳定点。Hopfield神经网络越复杂，它所包含的伪吸引子就越多，可能造成待检测点收敛于伪吸引子，甚至出现混沌现象。因此，所有递归类型的神经网络都有必要进行稳定性检验。一个简单的方法是将样本的期望输入神经网络，如果它能一步收敛于期望值，说明它在样本点上是平稳的。
（5）由于Hopfield神经网络存在识别能力上限，因此需要检查识别量是否超过最大模式数。
（6）生成带噪声的交通标志。
（7）交通标志识别，对比，结果显示。

二、遗传算法优化BP神经网络在坝基岩体渗透系数识别中的应用
2.1遗传算法概述
对于大数据量、高维数及多隐含层节点等条件，各类神经网络训练过程中很有可能会遇到大量的局部极值，不仅严重影响收敛速度，而且可能导致训练误差收敛于局部最优解而不是全局最优解，严重影响神经网络性能。而遗传算法是一种强有力的和应用广泛的随机搜索优化技术，可以解决这些问题。
遗传算法（Genetic Algorithms, GA）的基本思想基于Darwin进化论和Mendel遗传学说。Darwin进化论最重要的是适者生存原理，它认为每一物种在发展中越来越适应环境。物种每个个体的基本特征由后代继承，但后代又会产生一些异于父代的新变化。在环境变化时，只有那些适应环境的个体特征保留下来。Mendel遗传学说最重要的是基因遗传原理它认为遗传以密码的方式存在细胞中，并以基因形式包含在染色体内，每个基因有特殊的位置并控制某种特殊性质。所以，每个基因对环境具有某种适应性，基因突变和基因杂交可产生更适应于环境的后代。经过存优去劣的自然淘汰，适应性高的基因结构得以保存下来。遗传算法是一种新的全局优化搜索算法，具有简单通用、鲁棒性强、适于并行处理及应用范围广等显著特点，是21世纪关键智能计算之一。
遗传算法不同于枚举算法、启发式算法、搜索算法等传统的优化方法，其具有如下特点。
（1）自组织、自适应和智能性。遗传算法消除了算法设计中的一个最大障碍，即需要事先描述问题的全部特点，并说明针对问题的不同特点算法应采取的措施。因此，它可以用来解决复杂的非结构化问题，具有很强的鲁棒性。
（2）直接处理对象是参数编码集而不是问题参数本身。
（3）搜索过程中使用的是基于目标函数值的评价信息，既不受优化函数连续性的约束，也没有优化函数必须可导的要求。
（4）易于并行化，可降低由于使用超强计算机硬件带来的昂贵费用。
（5）基本思想简单，运行方式和实现步骤规范，便于具体实现。

（1）编码：在遗传算法求解问题时，首先遇到的是编码问题。将问题的解以适合于遗传算法求解的形式进行编码，称为遗传算法的表示，而交叉、变异等操作与编码的形式有关。因此，在进行编码时，要考虑到交叉和变异问题。最简单的编码方式是二进制编码。此外，编码的方式还有整数编码、实数编码和树编码等。
（2）初始化种群的生成：在求解之前产生初始化种群，在解的备选空间中选择若干个体组成初始化种群，通常采用随机法产生初始化种群。
（3）适应度评价：根据生物进化“适者生存”的原则，需要对每个个体适应环境的能力进行刻画，从而引入适应度。适应度是遗传算法在群体进化过程中用到的唯一信息，它为字符串如何复制给出了定量的描述。适应度函数通过计算个体的适应值来比较个体的适应度。适应度函数分为无约束条件的适应度函数和有约束条件的适应度函数。
（4）选择：种群中的个体在进行交叉之前，要进行选择。选择的目的是获得较优的个体作为父代，进行下一步交叉。选择的依据是个体的适应度，适应度值高个体被选中的可能性大，适应度低的个体被选中的可能性小。适应度高的个体可能被多次复制，而适应度低的个体可能一次也未被选中。选择算子有时也叫复制算子。常用的选择方法是适应度比例法，也叫轮盘赌法，它的基本原则是按照个体的适应度大小比例进行选择。
（5）交叉：交叉也称交配，即将两个父代个体的编码串的部分基因进行交换，产生新的个体。交叉算子是种群遗传算法的重要算子，是种群产生新个体的主要手段。对于二进制编码，具体实施交叉的方法有单点交叉、两点交叉、多点交叉和一致交叉等。对于实数编码，交叉的方法有离散重组、中间重组和线性重组等。

（6）变异：变异操作首先在种群中随机选择一个个体，对于选中的个体按照一定的概率随机改变串结构的某个值，即对种群中的每一个个体以某一概率改变某一个或某一些基因座上的值为其他的基因。同生物界一样，遗传算法发生变异的概率很低。变异操作为新的个体提供了机会。
（7）终止条件判断：终止条件判断是指在什么条件下认为算法找到了最优解，从而可以终止算法。通常使用遗传算法解决具体问题并不知道问题的最优解是什么，也不知道最优解的目标函数值，因而需要算法终止，并获得最优解。
2.2遗传神经网络的基本原理
遗传算法优化BP神经网络算法的流程如图。
基本原理为利用遗传算法具有全局搜索和收敛速度快的特点，将其与神经网络结合起来，不仅能发挥神经网络的泛化映射能力，而且具有使神经网络克服收敛速度慢和容易陷入局部误差极小点等缺点。
遗传神经网络的主要优化目标是神经网络的权值与阈值。因此，神经网络的拓扑结构必须提前确定，而且通用遗传算法存在收敛精度不高，容易过早收敛等问题。在实际应用中，可以从以下两方面入手。第一，将遗传算法与梯度下降法的等方法结合使用，以改善收敛效果。第二，将小生境方法等手段引入遗传算法，提高遗传算法的性能。
2.3坝基岩体渗透系数的识别
将渗透区域进行有限元剖分，随机取15组渗透系数，计算出各点的水头值，得到15组原始训练样本。具体实现：
（1）生成样本数据。
（2）初始化遗传算法与神经网络参数。
（3）计算适应度，然后根据适应度值进行选择、重组、变异及重插入等运算，直到达到最大迭代次数。

（4）利用梯度下降法对神经网络权值与阈值再进行一次优化，并输出优化结果。
（5）输出最优解、平均解随迭代次数变化的关系、神经网络输出与期望输出的比较、程序的运行时间等。
三、模糊神经网络在预测地基沉降量中的应用
模糊逻辑和神经网络的比较

神经网络
模糊逻辑
基本组成
神经元
模糊规则
知识获取
样本、算法实例
专家知识、逻辑推理
知识表达
分布式表达
隶属函数
推理机制
学习函数的自控制、并行计算、速度快
模糊规则的组合、启发式搜索、速度慢
推理操作
神经元的叠加
隶属函数的最大-最小
自然语言
实现不明确，灵活性低
实现明确，灵活性高
自适应性
通过调整权值学习，容错性高
归纳学习，容错性低
优点
自学习自组织能力，容错，泛化能力
可利用专家的经验
缺点
黑箱模型，难于表达知识
难于学习，推理过程模糊性增加
模糊神经网络(FNN)是在神经和模糊系统的基础上发展起来的，是一种将模糊逻辑推理的知识性结构和神经网络的自学习能力结合起来的一种局部逼近网络，融合弥补了神经网络在模糊数据处理方面的不足和模糊逻辑在学习方面的缺陷，是一种集语言计算、逻辑推理、分布式处理和非线性动力学过程为一身的系统。因此，它具有处理不确定信息的模糊推理能力和依据样本数据进行学习的能力。模糊神经网络主要利用神经网络结构来实现模糊推理，从而是神经网络的权值具有在模糊逻辑中推理参数的物理意义。
3.1模糊逻辑系统简介
设为一个离散或连续的集合，被称为论域，用表示论域的元素。模糊集合是用隶属函数来表示的。
定义：论域中的模糊子集，是以隶属函数为表征的集合，即由映射确定论域的子集。称为模糊子集的隶属函数，称为对的隶属度，它表示论域中的元素属于其模糊子集的程度，它在闭区间内可取连续取值，隶属度也可以简记为。
一般来说，模糊逻辑系统是指那些与模糊概念和模糊逻辑有直接关系的系统，它由模糊产生器、模糊规则库、模糊推理机和反模糊化器四部分组成。

模糊产生器将论域上的点一一映射为上的模糊集合，反模糊化器将论域上的模糊集合一一映射为上确定的点，模糊推理机根据模糊规则库中的模糊推理知识及由模糊产生器产生的模糊集合，推理出模糊结论，即论域上的模糊集，并将其输入到反模糊化器中。
一般模糊逻辑系统按照常见的形式分为纯模糊系统、Tkagi-Sugneo模糊逻辑系统和广义逻辑系统。其中，前两种模糊系统较多见。
在Tkagi-Sugneo模糊逻辑系统中，模糊规则有着下列特殊形式。

其中，表示第条规则()；表示模糊规则；表示输入值；为系统根据规则得到的输出值；表示模糊集合；为常系数。 “”部分是模糊的，“”部分是确定的，即输出为各输入变量的线性组合。 对于一个输入向量, Tkagi-Sugneo模糊逻辑系统的输出定义为

式中，加权系数包括了规则作用于输入所有可能取得的所有真值。

其中，表示规则下模糊集合的隶属函数。
此模糊逻辑系统的主要优点是它的输出能由规则库中的诸隶属函数及规则的输出部分精确确定。因此，能用系统辨别的方法来确定该系统的参数，用确定系统阶数的方法确定规则数M；缺点在于其规则的结论部分是非模糊的。
定义由中心平均反模糊化器、乘积推理规则、单值模糊产生器及高斯型隶属函数构成的模糊逻辑系统为高斯型模糊逻辑系统。
定理1：对于任何定义在致密集上的连续函数，任给，一定存在高斯型模糊逻辑系统，使得

定理2：对于任意的，任意给定，一定存在高斯型模糊逻辑系统，使得

定理1和2被称为模糊逻辑系统的万能逼近定理。说明了模糊逻辑系统是几乎所有的非线性系统建模的理论基础。
3.2TS型模糊神经网络简介
（1）输入层：该层有n个结点直接与输入向量连接，将输入值传递至下一层。
（2）模糊化层：若每个输入变量均定义有m个模糊集合，则此层共有个结点，分为n组，每组m个结点。第i组的m个结点输入都是，其输出分别是各输入量属于输出值模糊集合的隶属函数,代表的第i个模糊集合，隶属函数通常为高斯函数。如和为隶属函数的中心和宽度。

(3)规则层：其每个结点代表一个模糊规则，它的作用是用来匹配模糊规则的前件，计算出每条规则的使用度，即

若为高斯函数，则有

(4)去模糊层，该层的作用是实现归一化计算，即

(5)输出层：它实现的是清晰化计算，并采用加权平均的方法，即

其中，
3.3TS型模糊神经网络学习算法
设有输入/输出样本。其中，，网络误差函数设为：

其中，表示神经网络的实际输出；表示神经网络的期望输出；表示向量的2范数。
为了降低神经网络学习算法的复杂度，本节将隶属函数变为

将神经网络的输出函数变为

若令

其中，表示输入样本组成的维矩阵；表示输入样本的隶属度函数值所组成的维矩阵；表示线性系数组成的维矩阵；表示中心所组成的维矩阵；表示中心宽度所组成的维矩阵。
神经网络的输出表示为

其中，

神经网络误差对系数矩阵的偏导数为

其中，表示矩阵点乘，表示矩阵在列方向上求和。
3.4TS型模糊神经网络学习算法步骤
（1）将给定的输入/输出样本适当分成两部分。一部分用来训练；另一部分用来测试和评价求得的系统的性能。
（2）根据训练样本，利用聚类方法对输入样本进行聚类，聚类后的每个组对应于一条规则。假设聚类有m个组，则有m条模糊规则。聚类时，如何决定合适的组数，虽有多因素考虑，但通常有两个方法。一个方法是用根据K均值法中的距离平方和指标（Dis），看数组增加1个时，Dis减少的程度；另一个方法是判断分成组后每个组的体积大小。
（3）训练神经网络。首先计算隶属函数值组成的矩阵，在此基础上计算神经网络的输出及相应的E；然后计算误差E对系数矩阵的偏导数，根据梯度下降法更新；最后利用来更新,E等参数。如果未达到退出条件，则继续迭代，否则退出。

四、小波神经网络在电力负荷预测中的应用
4.1小波理论基础
定义1：设为一平方可积函数，即，若其傅里叶变换满足条件： 其中，。则称为一个基本小波或小波母函数，该式为小波函数的容许性条件。将小波母函数进行伸缩和平移，设其伸缩因子为，平移因子为，伸缩平移后的母函数为

称为依赖于参数的小波基函数。
定义2：当参数是连续变化的值时，称为连续小波基函数，它们是由同一母函数经过伸缩和平移后得到的一组函数系列。
对于函数，其连续小波变换（CWT）为：

其中，表示为的复共轭。
定义3：当取离散值，而仍然取连续值时，经此种离散化后的小波和相应的小波变换称为二进小波和二进小波变换。
定义4：当参数都取离散值时，固定伸缩步长，位移步长，取，从而把连续小波变成离散小波，即

对于函数，其离散小波变换（DWT）为：

定义5：对于任何，如果函数具有如下性质：

便称构成一个小波框架，上式为小波框架条件。其中为框架界。

其频率表示为：
若时，这个框架称为一个紧密架。
任何变换都必须存在逆变换才有实际意义。在CWT中，若满足课容许性条件式，则又可由连续小波逆变换（ICWT）重构：

又可由离散小波逆变换（IDWT）重构：

其中，称为的对偶，它满足
几种典型的小波函数
1）Haar小波

这是一种最简单的正交小波，即

2)Daubechies(dbN)小波系
该小波是Daubechies从两尺度方程系数出发设计出来的离散正交小波，一般简写dhN，N是小波的阶数。小波和尺度函数中的支撑区为，的消失阶为N。除N=1外（Harr小波），dhN不具有对称性（即非线性相位），dhN没有显示表达式（除N=1外）。但的传递函数模的平方具有显式表达式。假设，其中为二项式系数，则有：

3)Biorthogonal(biorNr.Nd)小波系
Biorthogonal函数系主要特性体现在具有线性相位，它主要应用在信号与图像的重构中，通常的用法是采用一个函数进行分解，用另一个小波函数进行重构。Biorthogonal函数系表示为biorNr.Nd的形式：
Nr=1，Nd=1,3,5; Nr=2，Nd=2,4,6,8; Nr=3，Nd=1,3,5;7,9
Nr=4，Nd=4; Nr=5，Nd=5; Nr=6，Nd=8;
其中，r表示重构，d表示分解。

4）Coiflet(coifN)小波系
Coiflet函数也是由Daubechies构造的一个小波函数，它具有coifN(N=1,2,3,4,5)这一系列，Coiflet具有比dbN更好的对称性。从支撑长度的角度看，coifN具有和db3N及sym3N相同的支撑长度；从消失矩的数目来看，具有和db2N及Sym2N相同的消失矩数目。
5）SymletSA(SymN)小波系
SymletSA函数系是由Daubechies提出的近似对称的小波函数，它是对db函数的一种改进。SymletSA函数系通常表示为SymN(N=2,3,.,8)的形式。
6）Morlet(morl)小波
Morlet函数定义为，它的尺度函数不存在，且不具有正交性。
7）Mexican Hat(mexh)小波

由于它的尺度函数不存在，所以不具有正交性。
8）Meyer函数
Meyer小波函数和尺度函数都是在频率域中定义的，是具有紧支撑的正交小波。

其中，为构造Meyer小波的辅助函数，且有

4.2小波神经网络简介
传统神经网络的不足：1、激活函数不满足框架条件，且常为能量无限的类函数，而待处理信号常为能量有限的函数，难以找到它们间的反演变关系及保证解的唯一性；2、神经网络的结构参数难以确定，结构设计有很大的盲目性；3、神经网络的多层结构及误差曲面的高度非凸性使得神经网络的学习极其容易陷入局部极小。
小波神经网络通常看作使用小波或尺度函数来代替前向神经网络Sigmoid函数作为网络的激活函数，生成的一个与径向基函数(RBF)神经网络在结构上相似的神经网络。由于小波神经网络独特的数学背景，使得这种网络存在多种形式和多种学习方法，而各种不同形式的小波神经网络从结构形式上看，可以分为两大类。第一类是小波变换与常规神经网络的结合；第二类是小波分解与前向神经网络的融合。前者称为“结合”，是指彼此虽紧密相联，但却相互独立，即为松散型小波神经网络，它以小波空间作为模式识别的特征空间，通过小波基与信号的内积进行加权和来实现信号的特征提取，然后把提取的特征向量送入常规神经网络进行处理，即“小波变换预处理+神经网络”。因此，原则上说，这种神经网络并不属于真正意义的小波神经网络，它仅仅是信号经小波变换后，再输入给常规神经网络以完成分类、函数逼近等功能；对于第二类，即为紧致型小波神经网络，它是将常规单隐层神经网络的隐节点Sigmoid函数用小波函数的尺度与平移参数来代替的。
小波神经网络的结构和表达式与BP网络的基本一致，即由三层（输入层、隐含层、输出层）构成。不同之处在于，BP网络隐含层神经元的激励函数取Sigmoid函数，小波神经网络则采用满足可允许条件的小波函数为激励函数，的具体取法可以视需要进行选择。输出层的激励函数常见的有Sigmoid函数和线性purline函数。
网络训练过程基于误差逆传播思想，按梯度下降方向调整权值,以及小波参数。由于隐含层采用不同的激励函数，因而在调整权值和小波参数时，所采用的算法有所变化。小波网络的具体实现过程如下。

其中，表示第个输入样本的第维取值；表示第个神经网络输出的第维取值；表示中间隐含层到输出层的权值；表示输入层到中间隐含层的权值；

表示中间层的伸缩和平移参数；表示第个实际输出样本的第维取值；表示神经网络的误差函数；表示神经网络的偏置。
输入层、隐含层、输出层以及样本个数的神经元个数分别为。
若令
则有：
在梯度下降的思想下，相应的参数调整过程如下。

其中，为学习系数。
4.3小波神经网络学习过程
1）载入输入/输出样本，并对其进行归一化，得到归一化输入与输出，令，并初始化迭代步长。
2），计算神经网络的输出，令

对进行初始化，则神经网络的隐含层输出的矩阵形式如下。

若令

对进行初始化，则神经网络的输出层输出如下。

3)利用BP算法修正权值和。令

则神经网络总的误差输出如下。

神经网络输出层系数矩阵的修正方法如下。

神经网络隐含层系数矩阵的修正方法如下。

其中，表示的列。
4）若满足退出条件，则退出；否则，返回2）。
对于小波网络中小波函数的选择，通常根据经验和实际的不同情况。在图像压缩应用中，要求小波函数具有紧支撑、对称性、正交性和消失矩，Daubechies已证明正交小波函数不能同时具有这些性质；在信号的近似和估计应用中，小波函数的选择与信号的特征相匹配，应考虑小波的波形、支撑大小和消失矩的数目；在信号检测的应用中，若检测边缘，则采用某光滑函数的一阶导数型的反对称小波；若脉冲检测，则采用某光滑函数二阶导数型的对称小波。

参考文献
[1] Jin Shan, Cui Wen, Jin Zhigang. AF-DHNN: Fuzzy Clustering and Inference-Based Node Fault Diagnosis Method for Fire Detection [J]. SENSORS, 2016, 15(7): 17366-17396.
[2] Zhang Dongzhi , Xia Bokai. Soft Measurement of Water Content in Oil-Water Two-Phase Flow Based on RS-SVM Classifier and GA-NN Predictor [J]. MEASUREMENT SCIENCE REVIEW, 2016,14(4): 219-226.
[3] Karimi Hajir, Yousefi Fakheri, Rahimi Mahmood Reza.Correlation of viscosity in nanofluids using genetic algorithm-neural network (GA-NN) [J]. HEAT AND MASS TRANSFER, 2011, 47(11): 1417-1425.
[4] Aslantas Gozde, Gurgen Fikret, Salah Albert Ali. GA-NN APPROACH FOR ECG FEATURE SELECTION IN RULE BASED ARRHYTHMIA CLASSIFICATION
NEURAL NETWORK WORLD[J]. 2014,24( 3): 267-283.
[5] Zhao Haiquan, Zeng Xiangping, Zhang Xiaoqiang.An adaptive decision feedback equalizer based on the combination of the FIR and FLNN[J].DIGITAL SIGNAL PROCESSING,2011,21( 6): 679-689.
[6] Zhao Haiquan, Zeng Xiangping, Zhang Jiashu. Adaptive reduced feedback FLNN filter for active control of nonlinear noise processes[J]. SIGNAL PROCESSING, 2010 ,90(3): 834-847.
[7] 杨守建，陈恳. 基于Hopfield神经网络的交通标志识别[J]. 计算机工程与科学, 2011, 33(8):132-137.
[8] 仲云飞，梅一韬，吴邦彬，陈端. 遗传算法优化BP神经网络在大坝扬压力预测中的应用[J]. 水电能源科学, 2012(6):98-101.
[9] 刘晓强，杨燕华，赵跃. 基于人工神经网络的软土地基沉降预测技术研究[J]. 水道港口, 2015, 36(6):574-577
[10] 王玉龙，崔玉，李鹏，李锐. 基于小波分析改进的神经网络模型电力系统负荷预测[J]. 电网与清洁能源, 2015, 31(2):16-20

（注：专业文档是经验性极强的领域，无法思考和涵盖全面，素材和资料部分来自网络，供参考。可复制、编制，期待你的好评与关注）