滤波辨识(4)_方程误差自...系统的滤波广义迭代参数估计_丁锋.pdf

书书书第 卷 第期 年月青 岛 科 技 大 学 学 报（自然科学版）（）文章编号：（）；：滤波辨识（）：方程误差自回归系统的滤波广义迭代参数估计丁锋，栾小丽，刘喜梅（江南大学 物联网工程学院，江苏 无锡 ；青岛科技大学 自动化与电子工程学院，山东 青岛 ）摘要：受控自回归自回归模型也称为方程误差自回归模型。利用采集的批量数据和迭代搜索，论文基于滤波辨识理念，研究和提出了方程误差自回归系统的滤波广义梯度迭代辨识方法、滤波多新息广义梯度迭代辨识方法、滤波广义最小二乘迭代辨识方法、滤波多新息广义最小二乘迭代辨识方法。这些滤波广义迭代辨识方法可以推广到其它有色噪声干扰下的线性和非线性多变量随机系统中。关键词：参数估计；迭代辨识；多新息辨识；递阶辨识；最小二乘；梯度搜索；随机系统中图分类号：文献标志码：引用格式：丁锋，栾小丽，刘喜梅 滤波辨识（）：方程误差自回归系统的滤波广义迭代参数估计青岛科技大学学报（自然科学版），（）：，：（），（）：收稿日期：基金项目：国家自然科学基金项目（）作者简介：丁锋（），男，博士，“泰山学者”特聘教授，博士生导师 ：，（，；，）：，青 岛 科 技 大 学 学 报（自然科学版）第 卷 ：；数学模型和模型参数估计是科学研究的基础。认识事物的本质特征从数学模型开始。学科的形成和发展基于一些理论、原理、思想，但科学研究归根结底是建立描述其运动规律数学模型的过程。在工程应用中，简单易于实现的方法才有价值，复杂难以实现的方法很少使用。梯度方法、最小二乘方法、牛顿方法是求解二次优化和非线性优化的基本工具。它们能与辅助模型辨识思想、多新息辨识理论、递阶辨识原理、耦合辨识概念等相结合，产生出辅助模型梯度辨识方法、多新息随机梯度辨识方法、递阶最小二乘辨识方法、递阶牛顿辨识方法等等。它们与滤波辨识理念相结合，产生出滤波梯度辨识方法、滤波最小二乘辨识方法、滤波牛顿辨识方法等。青岛科技大学学报（自然科学版）的连载论文研究了递阶递推辨 识 方法 和 递 阶 迭 代 辨 识 方法。最近的连载论文研究了有限脉冲响应滑动平均系统的滤波递推增广参数辨识方法 和滤波增广迭代参数辨识方法，以及方程误差自回归系统的滤波递推广义参数辨识方法。本研究利用滤波辨识理念，研究方程误差自回归系统的滤波广义迭代参数辨识方法。系统描述与滤波辨识模型方程误差自回归模型（模型）又称为受控自回归自回归模型。考虑下列受控自回归自回归模型（，模型）描述的动态随机系统：（）（）（）（）（）（），（）其中（）和（）分别是系统的输入和输出序列，（）是零均值、方差为的随机白噪声序列，（），（）和（）是单位后移算子的多项式：（），（），（）。设阶次，和已知。记。且设时，所有变量的初值均为，如（），（），（）。置有关参数向量和信息向量如下：，（）（），（），（）（），（），（）（）（），（），（）（），（）。（）参见文献 ，定义中间变量：（）（）（）。（）取滤波器（）（）。定义滤波输入（），滤波输出（）分别为（）（）（）（）（），（）（）（）（）（）。（）和（）也可按照下列递推式计算，（）（）（），（）（）（）（）。（）定义滤波输出信息向量（）和滤波输入信息向量（）如下：（）（）（）（），（），（）（）（）（）（），（）。（）式（）两边乘以（）得到（）（）（）（）（）。（）这个滤波后的模型是一个方程误差模型（即 模型）。将它写为向量形式为（）（）（）（）（）（）（）（）（）。（）将式（）代入上式得到（）（）（）（）（）（）（），（）其中（）（），（），（）。（）在辨识模型（）中，参数向量包含了系统的所有参数，和。目标就是利用系统的输入输出数第期丁锋等：滤波辨识（）：方程误差自回归系统的滤波广义迭代参数估计据（）和（），研究和提出估计参数向量的辨识方法。对于辨识模型（），由于多项式（）是未知的（即（）是未知的），故（），（），以及（）和（）都是未知的，且由它们构成的信息向量（）也是未知的，故需要采用估计值代替未知变量来推导基于数据滤波的广义迭代辨识方法。滤波广义梯度迭代辨识方法设为数据长度。根据式（），定义堆积输出向量（）和堆积信息矩阵（），堆积滤波输出信息矩阵（），堆积滤波输入信息矩阵（）和堆积信息矩阵（）如下：（）（）（）（），（）（）（）（）（），（）（）（）（），（）（）（）（），（）（）（）（）。（）滤波广义梯度迭代辨识算法根据辨识模型（），定义关于参数向量的二次准则函数：（）（）（）。设 为实对称阵的最大特征值。令，是迭代变量，设，是参数向量的第次迭代估计，是迭代步长（收敛因子），使用负梯度搜索，极小化（），得到梯度迭代关系：（）（）（）（）（）（）（）（）。（）上式可以看作状态为的动态离散时间系统，为了保证估计向量收敛，要求矩阵（）（）的特征值均在单位圆内，即步长必须满足（）（），故收敛因子的保守选择是 （）（）（）（）。（）由于特征值计算很复杂，故收敛因子也可简单更保守地取为（）（）。（）梯度迭代算法（）（）不可实现，因为右边堆积信息矩阵（）是未知的，故需要先构造（）的估计（）。用噪声模型参数估计?，?，?，构造多项式（）的估计：?（）?，?，?，。用估计的滤波器?（）?（）对（）和（）进行滤波，分别得到（）和（）的估计：?，（）?（）（）（）（），（）?，（）?（）（）（）（）。（）根据定义式（）（）的结构，用（）和（）的估计?，（）和?，（）构造滤波输出信息向量（）和滤波输入信息向量（）的估计：，（）?，（），?，（），（），（）?，（），?，（）。（）根据定 义 式（）的 结 构，用 滤 波 输 出 信 息 向 量（）和滤波输入信息向量（）的估计，（）和，（），以及（）构造（）的估计：（），（），（）（）。（）根据（），（）和（）的定义式，分别用青 岛 科 技 大 学 学 报（自然科学版）第 卷（），（）和（）的估计（），（）和，（）来构造它们的估计：（）（）（）（），（），（），（），（），（），（），（），（），（），（）。（）将式（）（）中右边未知信息矩阵（）用其估计（）代替，得到式（）（），联立式（），（），（）（）和（）（），可以得到估计 系统参数向量的基于滤波的广义梯度迭代辨识算法（），简称为滤波广义梯度迭代算法（，算法）：（）（）（），（）（）（）（）或（），（）（）（），（），（），（）（），（），（），（），（）（）（），（），（），（），（），（），（），（），（），（），（），（），（），（）（）（），（），（），（）（），（），（），（），（），（）?，（），?，（），（），（）?，（），?，（），（）（）（），（），（）（）（），（），（）?，（）（）（），（）?，（）（）（），（），（）?，?，?，（）?，?，?，（）?，?，?，。（）算法（）（）计算参数估计的计算量如表所示（），计算参数估计的步骤如下。表滤波广义梯度迭代（）算法的计算量 表达式乘法次数加法次数（）（）（）（）?，（）（）（）?，（）（）（）总数（）（）总 数（）初始化：令迭代次数，给定数据长度和参数估计精度，置初值，?，（），?，（），。）采集观测数据（）和（），用式（）（）构造信息向量（）和（），。用式（）构造堆积输出向量（）。）用式（）构造滤波输出向量，（），用式（）构造滤波输入向量，（），用式（）构造滤波第期丁锋等：滤波辨识（）：方程误差自回归系统的滤波广义迭代参数估计向量（），。）用式（）构造堆积信息矩阵（），或用式（）（）构造堆积信息矩阵，（），（）和（），用式（）构造堆积信息矩阵（）。）根据式（）或（）确定步长，用式（）刷新参数估计向量。从式（）的中读出参数向量，和。）用式（）计算滤波输入?，（），用式（）计算滤波输出?，（），。）如果，就增加，转到步骤）；否则获得参数估计向量，终止迭代计算过程。引理在 迭代辨识算法（）（）中，定义迭代辨识新息向量（）（）（）（）和迭代辨识残差向量（）（）（）。（）那么信息向量（）与残差向量（）有下列关系：（）（）（）（），（）（）（）（）（）。（）滤波加权广义梯度迭代算法设（）为非负定加权矩阵。将准则函数（）修改为加权准则函数：（）（）（）（）（）（）。使用梯度搜索，极小化准则函数（）可以得到（）（）（）（）（），（）（）（）（）（），（）或（）（）（）（）。（）那么式（）（）和（）（）构成了加权滤波广义梯度迭代算法（算法），或称为滤波加权广义梯度迭代算法（算法）。进一步，设为遗忘因子，取加权矩阵（），（），就得到遗忘因子滤波广义梯度迭代算法（算法），或称为滤波遗忘因子广义梯度迭代算法（算法）。滤波广义最小二乘迭代辨识方法滤波广义最小二乘迭代辨识算法令准则函数（）对参数向量的偏导数为零：（）（）（）（）。假设（）是持续激励的，即（）（）是可逆矩阵，那么从上式可以求得参数向量的最小二乘估计：（）（）（）（）。（）因为堆积信息矩阵（）是未知的，所以上式无法求解出参数估计。解决的办法是用式（）中（）的代替式（）中未知的（），得到式（）的最小二乘迭代估计，联立式（）（），就得到估计 系统参数向量的基于滤波的广义最小二乘迭代辨识算法（），简称为滤波广义最小二乘迭 代算法（，算法）：（）（）（）（），（）（）（），（），（），（）（），（），（），（），（）（）（），（），（），（），（），（），（），（），（），（），（），（），（），（）（）（），（），（），（）（），（），（），（），（），（）?，（），?，（），（），（）?，（），?，（），（）（）（），（），（）（）（），（），（）?，（）（）（），（）?，（）（）（），（）青 岛 科 技 大 学 学 报（自然科学版）第 卷，。（）算法（）（）每迭代计算一次参数估计的计算量如表所示（），计算参数估计的步骤如下。表滤波广义最小二乘迭代（）算法的计算量 表达式乘法次数加法次数（）（）（）（）（）（）（）?，（）（）（）?，（）（）（）总数（）（）总 数（）初始化：令迭代次数，给定数据长度和参数估计精度，置初值?，（）随机数，?，（）随机数，。）采集观测数据（）和（），用式（）（）构造信息向量（）和（），。用式（）构造堆积输出向量（），用式（）构造堆积信息矩阵（）。）用式（）构造滤波输出向量，（），用式（）构造滤波输入向量，（），用式（）构造滤波向量（），。）用式（）构造堆积信息矩阵（），或用式（）（）构 造 堆 积 信 息 矩 阵，（）以 及，（），用式（）构造堆积信息矩阵（）。）用式（）刷新参数估计向量。从式（）的中读出参数向量，和。）用式（）计算滤波输入?，（），用式（）计算滤波输出?，（），。）如果，就增加，转到步骤）；否则获得参数估计向量，终止迭代计算过程。滤波加权广义最小二乘迭代算法极小化准则函数（），令其对的梯度为零，可以得到（）（）（）（）（）（），（）那么式（）（）构成了加权滤波广义最小二乘迭代辨识算法（算法），或称为滤波加权广义最小二乘迭代算法（算法）。进一步，设为遗忘因子，取加权矩阵为（），（），就得到遗忘因子滤波广义最小二乘迭代算法（算法），或称为滤波遗忘因子广义最小二乘迭代算法（算法）。滤波多新息广义梯度迭代辨识方法滤波多新息广义梯度迭代辨识算法设为数据窗长度（）。根据式（），定义堆积输出向量（，）和堆积信息矩阵（，）如下：（，）（）（）（），（）（，）（）（）（）。根据辨识模型（），定义关于参数向量的二次准则函数：（）（）（）（，）（，）。令（）是迭代步长（收敛因子），（）（），（），（）是参数向量在当前时刻的第次迭代估计。设 为实对称阵第期丁锋等：滤波辨识（）：方程误差自回归系统的滤波广义迭代参数估计的最大特征值。使用负梯度搜索，极小化准则函数（），得到梯度迭代关系：（）（）（）（）（）（）（，）（，）（，）（）（）（，）（，）（）（）（，）（，）。（）上式可以看作状态为（）的动态离散时间系统（看做常数），为了保证估计向量（）收敛，要求矩阵（）（，）（，）的特征值均在单位圆内，且单位圆上没有重特征值，即步长（）必须满足（）（，）（，）。故收敛因子（）的保守选择是（）（，）（，）（，）（，）。（）由于特征值计算很复杂，故收敛因子也可简单取为（）（，）（，）。（）梯度迭代算法（）（）不可实现，因为堆积信息矩阵（，）是未知的，故需要先构造（，）的估计（，）。用噪声模型参数估计（）?，（），?，（），?，（）构造多项式（）的估计：?（，）?，（）?，（）?，（）。用估计的滤波器?（，）?（，）对（）和（）进行滤波，分别得到（）和（）的估计：?，（）?（，）（）?，（）?，（）?，（）（）（）（）（），（）?，（）?（，）（）?，（）?，（）?，（）（）（）（）（）。（）根据定义式（）（）的结构，用（）和（）的估计?，（）和?，（）构造滤波输出信息向量（）和滤波输入信息向量（）的估计：，（）?，（），?，（），（），（）?，（），?，（）。（）根据定 义 式（）的 结 构，用 滤 波 输 出 信 息 向 量（）和滤波输入信息向量（）的估计，（）和，（），以及（）构造（）的估计：（），（），（）（）。（）根据（，），（，）和（，）的定义式，分别用（），（）和（）的估计（），（）和，（）来构造它们的估计：（，）（），（），（），（），（，），（），（），（），（），（，），（），（），（），（）（，）（），（），（）。（）将式（）（）中右边未知信息矩阵（，）用其估计（，）代替，得到式（）（），联立式（），（）（）和（）（），可以得到估计 系统参数向量的基于滤波的多新息广义梯度迭代辨识算法（），简称为滤波多新息广义梯度迭代算法（，算法）：（）（）（）（，）（，）（，）（），（）（）（，）（，）（）或（）（，），（）（，）（），（），（），（）（，），（，），（，），（，），（）（，）（），（），（），（），（，），（），（），（），（）青 岛 科 技 大 学 学 报（自然科学版）第 卷，（，），（），（），（），（）（，）（），（），（），（）（），（），（），（），（），（）?，（），?，（），（），（）?，（），?，（），（）（）（），（），（）（）（），（），（）?，（）（）（）（），（）?，（）（）（）（），（）（）（），（），（）。（）滤波多新息广义梯度迭代算法又称滤波移动数据窗广义梯度迭代算法（，算法）。算 法（）（）计 算 参 数 估 计（）的步骤如下。）初始化：令，给定移动数据窗长度（通常取），参数估计精度，最大迭代次数 。置参数估计初值（），。）令。置?，（），?，（），。）采集观测数据（）和（），用式（）（）构造信息向量（）和（）。用式（）构造堆积输出向量（，），用式（）构造堆积信息矩阵（，）。）用式（）构造滤波输出向量，（），用式（）构造滤波输入向量，（），用式（）构造滤波向量（）。）用式（）构造堆积信息矩阵（，），或用式（）（）构造堆积 信息 矩 阵，（，）和，（，），用式（）构造堆积信息矩阵（，）。）根据式（）或（）确定步长，用式（）刷新参数估计向量（）。从式（）的（）中读出参数向量（），（）和（）。）用式（）计算滤波输入?，（），用式（）计算滤波输出?，（）。）如果 ，就增加，转到步骤）；否则执行下一步。）如果（）（），就令（）（），就增加，转到步骤）；否则获得参数估计向量（），终止计算过程。引理在 迭代辨识算法（）（）中，定义多新息向量（，）（，）（，）（）（）和残差向量（，）（，）（，）（）。（）那么新息向量（，）与残差向量（，）有下列关系：（，）（）（，）（，）（，），（）（，）（）（，）（，）（，）。（）滤波加权多新息广义梯度迭代算法设（）为非负定加权矩阵。将准则函数（）修改为加权准则函数：（）（，）（，）（）（，）（，）。使用梯度搜索，极小化准则函数（）可以得到（）（）（）（，）（）（，）（，）（），（）（）（，）（）（，），（）或（）（，）（）（，）。（）那么式（）（）构成了加权滤波多新息广义梯度迭代算法（，算法），或称为滤波加权多新息广义梯度迭代算法（算法）。滤波多新息广义最小二乘迭代辨识方法滤波多新息广义最小二乘迭代辨识算法由于最小二乘迭代算法涉及矩阵逆，所以至少要求，以及信息向量是持续激励的。令准则函数（）对参数向量的偏导数为零：（）（，）（，）（，）。第期丁锋等：滤波辨识（）：方程误差自回归系统的滤波广义迭代参数估计假设（）是持续激励的，即（，）（，）是可逆矩阵，那么从上式可以求得参数向量的最小二乘估计：（）（，）（，）（，）（，）。（）因为堆积信息矩阵（，）是未知的，所以解决的方法是用式（）中（，）的分别代替式（）中未知的（，），得到式（）的最小二乘迭代估计（），联立式（）（），就得到估计 系统参数向量的基于滤波的多新息广义最小二乘迭代辨识算法，简称滤波多新息广义最小二乘迭代算法（，算法）：（）（，）（，）（，）（，），（）（，）（），（），（），（）（，），（，），（，），（，），（）（，）（），（），（），（），（，），（），（），（），（），（，），（），（），（），（）（，）（），（），（），（）（），（），（），（），（），（）?，（），?，（），（），（）?，（），?，（），（）（）（），（），（）（）（），（），（）?，（）（）（）（），（）?，（）（）（）（），（）（）（），（），（）。（）滤波多新息广义最小二乘迭代算法又称滤波移动数据窗广义最小二乘迭代算法（，算法）。算法（）（）计算参数估计（）的步骤如下。）初始化：令，给定移动数据窗长度（通常取），参数估计精度，最大迭代次数 ，（），。采集观测数据（）和（），这里为一个正整数（请读者思考的意义）。）令。置?，（）随机数，?，（）随机数，。随机数初值是为保证式（）中的矩阵可逆。）采集观测数据（）和（），用式（）（）构造信息向量（）和（）。用式（）构造堆积输出向量（，），用式（）构造堆积信息矩阵（，）。）用式（）构造滤波输出向量，（），用式（）构造滤波输入向量，（），用式（）构造滤波向量（）。）用式（）构造堆积信息矩阵（，），或用式（）（）构造堆积信息矩阵，（，）和，（，），用式（）构造堆积信息矩阵（，）。）用式（）刷新参数估计向量（）。从式（）的（）中读出参数向量（），（）和（）。）用 式（）计 算 滤 波 输 入?，（），用 式（）计算滤波输出?，（）。）如果 ，就增加，转到步骤）；否则执行下一步。）如果（）（），就令（）（），就增加，转到步骤）；否则获得参数估计向量（），终止计算过程。滤波加权多新息广义最小二乘迭代算法极小化准则函数（），令其对的梯度为零，可以推导出（）（，）（）（，）（，）（）（，），（）那么式（）（）构成了加权滤波多新息广义最小二乘迭代算法（，算法），或称为滤波加权多新息广义最小二乘迭代算法（算法）。结语针对方程误差自回归（）系统，研究和提青 岛 科 技 大 学 学 报（自然科学版）第 卷出了滤波（多新息）广义梯度迭代辨识方法、滤波（多新息）广义最小二乘迭代辨识方法。尽管这些滤波广义迭代辨识方法是针对自回归噪声干扰下的方程误差自回归随机系统提出的，但是其思想可以推广到有色噪声干扰下的线性和非线性多变量随机系统中 。参考文献丁锋现代控制理论北京：清华大学出版社，：，丁锋 系统辨识新论 北京：科学出版社，：，丁锋 系统辨识：辨识方法性能分析 北京：科学出版社，：，丁锋系统辨识：辅助模型辨识思想与方法北京：科学出版社，：，丁锋系统辨识：迭代搜索原理与辨识方法北京：科学出版社，：，丁锋系统辨识：多新息辨识理论与方法北京：科学出版社，：，丁锋系统辨识：递阶辨识原理与方法北京：科学出版社，：，丁锋，刘喜梅传递函数辨识（）：输出误差模型的辅助模型递阶迭代参数估计青岛科技大学学报（自然科学版），（）：，：（），（）：丁锋，刘喜梅 传递函数辨识（）：有限脉冲响应滑动平均系统的递阶递推参数估计 青岛科技大学学报（自然科学版），（）：，：（），（）：丁锋，刘喜梅传递函数辨识（）：有限脉冲响应滑动平均系统的递阶增广迭代参数估计青岛科技大学学报（自然科学版），（）：，：（），（）：丁锋，刘喜梅 传递函数辨识（）：线性回归系统的递阶递推参数估计 青岛科技大学学报（自然科学版），（）：，：（），（）：丁锋，刘喜梅传递函数辨识（）：线性回归系统的递阶迭代参数估计 青岛科技大学学报（自然科学版），（）：，：（），（）：丁锋，刘喜梅 传递函数辨识（）：线性回归系统的变间隔递阶递推参数估计青岛科技大学学报（自然科学版），（）：，：（），（）：丁锋，徐玲，籍艳，等传递函数辨识（）：线性回归系统的变间隔递阶迭代参数估计青岛科技大学学报（自然科学版），（）：，：（），（）：丁锋，徐玲，籍艳，等传递函数辨识（）：自回归输出误差自回归滑动平均系统的辅助模型递阶广义增广递推参数估计青岛科技大学学报（自然科学版），（）：，：（），（）：丁锋，徐玲，籍艳，等传递函数辨识（）：方程误差自回归滑动平均系统的递阶广义增广迭代参数估计青岛科技大学学报（自然科学版），（）：第期丁锋等：滤波辨识（）：方程误差自回归系统的滤波广义迭代参数估计 ，：（），（）：丁锋，刘喜梅 滤波辨识（）：有限脉冲响应滑动平均系统的滤波增广参数估计青岛科技大学学报（自然科学版），（）：，：（），（）：丁锋，刘喜梅滤波辨识（）：有限脉冲响应滑动平均系统的滤波增广迭代参数估计青岛科技大学学报（自然科学版），（）：，：（），（）：丁锋，刘海波，刘喜梅 滤波辨识（）：方程误差自回归系统的滤波递推广义参数估计 青岛科技大学学报（自然科学版），（）：，：（），（）：徐玲基于移动数据窗的传递函数多新息随机梯度辨识方法控制与决策，（）：，（）：，：，（）：，（）：，（）：，（）：，（）：，（）：，（）：，（）：，（）：，（）：，（）：（责任编辑姜丰辉）