线性方程组的迭代法讲义省公共课一等奖全国赛课获奖课件.pptx

我们知道，凡是迭代法都有一个收敛问题，有时某种方法对一类方程组迭代收敛，而对另一类方程组进行迭代时就会发散。一个收敛迭代法不但含有程序设计简单，适于自动计算，而且较直接法更少计算量就可取得满意解。所以，迭代法亦是求解线性方程组，尤其是求解含有大型稀疏矩阵线性方程组主要方法之一。第六章 解线性方程组迭代法第1页6.1 迭代法基本思想 迭代法基本思想是将线性方程组转化为便于迭代等价方程组，对任选一组初始值 ，按某种计算规则，不停地对所得到值进行修正，最终取得满足精度要求方程组近似解。第2页设 非奇异，则线性方程组 有惟一解 ，经过变换结构出一个等价同解方程组将上式改写成迭代式选定初始向量 ,重复不停地使用迭代式逐步迫近方程组准确解,直到满足精度要求为止。这种方法称为迭代法第3页 假如 存在极限则称迭代法是收敛，不然就是发散。收敛时，在迭代公式中当 时，,则,故 是方程组 解。对于给定方程组能够结构各种迭代公式。并非全部收敛 第4页例1 用迭代法求解线性方程组 解 结构方程组等价方程组据此建立迭代公式 取 计算得 迭代解离准确解 越来越远 迭代不收敛 第5页6.2 雅可比（Jacobi）迭代法6.2.16.2.1雅可比迭代法算法结构 例2 用雅可比迭代法求解方程组 解：从方程组三个方程中分离出 和 建立迭代公式 第6页取初始向量进行迭代,能够逐步得出一个近似解序列：（k=1,2,）直到求得近似解能到达预先要求精度，则迭代过程终止，以最终得到近似解作为线性方程组解。当迭代到第10次有计算结果表明，此迭代过程收敛于方程组精确解x*=(3,2,1)T。第7页考查普通方程组，将n元线性方程组 写成 若 ,分离出变量 据此建立迭代公式 上式称为解方程组Jacobi迭代公式。第8页6.2.2 雅可比迭代法矩阵表示 设方程组 系数矩阵A非奇异，且主对角元素 ，则可将A分裂成 记作 A=D-L-U 第9页则 等价于即因为 ，则这么便得到一个迭代公式令则有（k=0,1,2）称为雅可比迭代公式,B称为雅可比迭代矩阵第10页雅可比迭代矩阵表示法，主要是用来讨论其收敛性，实际计算中，要用雅可比迭代法公式分量形式。即(k=0,1,2,)第11页6.2.1 雅可比迭代法算法实现 第12页 6.3 高斯-塞德尔（Gauss-Seidel）迭代法 6.3.1 高斯-塞德尔迭代法基本思想 在Jacobi迭代法中，每次迭代只用到前一次迭代值，若每次迭代充分利用当前最新迭代值，即在求 时用新分量 代替旧分量 ,就得到高斯-赛德尔迭代法。其迭代法格式为：(i=1,2,n k=0,1,2,)第13页例例3 用用GaussSeidel 迭代格式解方程组迭代格式解方程组 准确要求为准确要求为=0.005=0.005 解解 Gauss GaussSeidel Seidel 迭代格式为迭代格式为取初始迭代向量取初始迭代向量 ,迭代结果为：迭代结果为：x*第14页 6.3.2 GaussSeidel 迭代法矩阵表示 将A分裂成A=D-L-U，则 等价于 (D-L-U)x=b 于是,则高斯塞德尔迭代过程 因为 ,所以 则高斯-塞德尔迭代形式为：故 令 第15页 6.3.3 高斯塞德尔迭代算法实现 高斯-塞德尔迭代算法计算步骤与流程图与雅可比迭代法大致相同，只是一旦求出变元某个新值 后,就改用新值 替换老值 进行这一步剩下计算。第16页 6.4 超松弛迭代法（SOR方法）使用迭代法困难在于难以预计其计算量。有时迭代过程即使收敛，但因为收敛速度迟缓，使计算量变得很大而失去使用价值。所以，迭代过程加速含有主要意义。逐次超松弛迭代（Successive Over relaxatic Method，简称SOR方法）法，能够看作是带参数高斯塞德尔迭代法，实质上是高斯-塞德尔迭代一个加速方法。第17页 6.4.1超松弛迭代法基本思想 超松弛迭代法目标是为了提升迭代法收敛速度，在高斯塞德尔迭代公式基础上作一些修改。这种方法是将前一步结果 与高斯-塞德尔迭代方法迭代值 适当加权平均，期望取得更加好近似值 。是解大型稀疏矩阵方程组有效方法之一，有着广泛应用。其详细计算公式以下：用高斯塞德尔迭代法定义辅助量。第18页把 取为 与 加权平均，即 合并表示为：式中系数称为松弛因子，当=1时，便为高斯-塞德尔迭代法。为了确保迭代过程收敛，要求0 2。当0 1时，低松弛法；当1 2时称为超松弛法。但通常统称为超松弛法(SOR)。第19页 6.4.2超松弛迭代法矩阵表示设线性方程组 Ax=b 系数矩阵A非奇异,且主对角元素 ,则将A分裂成A=d-L-U,则超松弛迭代公式用矩阵表示为或 故 显然对任何一个值,(D+L)非奇异,(因为假设 )于是超松弛迭代公式为 第20页令则超松弛迭代公式可写成 第21页例例4 用用SOR法求解线性方程组法求解线性方程组 取取=1.46，要求，要求 解：SOR迭代公式 k=0,1,2,，初值 该方程组准确解只需迭代20次便可到达精度要求 假如取=1(即高斯塞德尔迭代法)和同一初值 ,要到达一样精度,需要迭代110次第22页 6.5 迭代法收敛性迭代法收敛性 我们知道我们知道,对于给定方程组能够结构成简对于给定方程组能够结构成简单迭代公式、雅可比迭代公式、高斯单迭代公式、雅可比迭代公式、高斯-塞德尔塞德尔迭代公式和超松弛迭代公式，但并非一定收迭代公式和超松弛迭代公式，但并非一定收敛。现在分析它们收敛性。敛。现在分析它们收敛性。对于方程组对于方程组 经过等价变换结构出等价方程组经过等价变换结构出等价方程组 在什么条件下迭代序列在什么条件下迭代序列 收敛？先引入收敛？先引入以下定理以下定理 第23页定理定理 对给定方阵对给定方阵G,若若 ,则则 为非奇异矩阵为非奇异矩阵,且且 证证:用反证法用反证法,若若 为奇异矩阵为奇异矩阵,则存在非零向则存在非零向 量量x,使使 ,即有即有 由相容性条件得由相容性条件得 因为因为 ,两端消去两端消去 ,有有 ,与已知条件与已知条件矛盾矛盾,假设不成立假设不成立,命题得证。命题得证。又因为又因为 有有 即即 将将G分别取成分别取成G和和-G，再取范数，再取范数 又已知又已知 ，有有 第24页第25页基本定理基本定理5 5 迭代公式迭代公式 收敛收敛充分必要条件充分必要条件是迭代矩阵是迭代矩阵G谱半径谱半径证:必要性 设迭代公式收敛,当k时,则在迭代公式两端同时取极限得记 ,则 收敛于0(零向量),且有 于是 因为 能够是任意向量,故 收敛于0当且仅当 收敛于零矩阵，即当 时 于是 所以必有 第26页充分性充分性:设设 ,则必存在正数则必存在正数,使使则存在某种范数则存在某种范数 ,使使 ,则则 ,所以所以 ,即即 .故故 收敛于收敛于0,收敛于收敛于 .由此定理可知，不论是雅可比迭代法、高斯由此定理可知，不论是雅可比迭代法、高斯塞德尔迭代法还是超松弛迭代法，它们收敛塞德尔迭代法还是超松弛迭代法，它们收敛充要条件是其迭代矩阵谱半径充要条件是其迭代矩阵谱半径 。实际上实际上,在例在例1中中,迭代矩阵迭代矩阵G=，其特征多项式为其特征多项式为 ,特征值为特征值为-2，-3，,所以迭代发散所以迭代发散 第27页定理定理6(6(迭代法收敛充分条件迭代法收敛充分条件)若迭代矩阵若迭代矩阵G G一个范数一个范数 ,则迭代公式则迭代公式收敛收敛,且有误差预计式且有误差预计式,且有误差预计式且有误差预计式 及及 证证:矩阵谱半径不超出矩阵任一个范数矩阵谱半径不超出矩阵任一个范数,已知已知 ,所以所以 ,依据定理依据定理4.94.9可知迭代公式收可知迭代公式收敛敛第28页又因为又因为 ,则则det(I-G)0,I-G为非奇异矩阵为非奇异矩阵,故故xGxd有惟一解有惟一解 ,即即 与迭代过程与迭代过程 相比较相比较,有有两边取范数两边取范数 第29页由迭代格式，有由迭代格式，有 两边取范数，代入上式，得两边取范数，代入上式，得 证毕证毕 由定理知，当由定理知，当 时，其值越小，迭代时，其值越小，迭代收敛越快，在程序设计中通惯用相邻两次迭代收敛越快，在程序设计中通惯用相邻两次迭代 （为给定精度要求）作为为给定精度要求）作为控制迭代结束条件控制迭代结束条件 第30页例例5 5 已知线性方程组已知线性方程组 考查用考查用JacobiJacobi迭代和迭代和G-SG-S迭代求解时收敛性迭代求解时收敛性解解:雅可比迭代矩阵雅可比迭代矩阵 故故JacobiJacobi迭代收敛迭代收敛 第31页 将系数矩阵分解将系数矩阵分解 则高斯则高斯-塞德尔迭代矩阵塞德尔迭代矩阵 故高斯故高斯塞德尔迭代收敛。塞德尔迭代收敛。第32页定理定理8 设设n阶方阵阶方阵 为严格对角占优阵为严格对角占优阵,则则 非奇异非奇异证证:因因A为对角占优阵为对角占优阵,其主对角元素绝对值大其主对角元素绝对值大 于同行其它元素绝对值之和于同行其它元素绝对值之和,且主对角元素且主对角元素 全不为全不为0,故对角阵故对角阵 为非奇异。为非奇异。作矩阵作矩阵 第33页利用对角占优知利用对角占优知 由定理知由定理知 非奇异非奇异,从而从而A非奇异非奇异,证毕证毕 系数矩阵为严格对角占优阵线性方程组称作对角系数矩阵为严格对角占优阵线性方程组称作对角占优方程组占优方程组。第34页结论结论:严格严格对角占优线性方程组对角占优线性方程组 雅可比雅可比 迭代公式和高斯迭代公式和高斯-赛德尔迭代公式均收敛。赛德尔迭代公式均收敛。第35页定理定理9 9 若矩阵A A按行(或列)严格对角占优,或按行(或列)弱对角占优不可约；则Jacobi迭代、Gauss-Seidel迭代都收敛。第36页证实证实 若矩阵A按行严格对角占优，或按行(或列)弱对角占优不可约，则则GSGS迭代收敛迭代收敛。假若不然，(BG)1，即迭代矩阵BG某一特征值使得|1，而且第37页类似地，若矩阵A按行严格对角占优，或按行(或列)弱对角占优不可约，则则JacobiJacobi迭代收敛迭代收敛。假若不然，(BJ)1，即迭代矩阵BJ某一特征值使得|1，而且第38页第39页定理定理1212 对于线性方程组AxAx=b b，若A A为对称正定矩阵，则当02时，SOR迭代收敛.证实证实 只需证实1（其中为L任一特征值）.第40页定理定理1313 对于线性代数方程组Ax=b，若A按行(或列)严格对角占优，或按行(或列)弱对角占优不可约；则当0w1时，SOR迭代收敛。第41页第42页例例6 设设 ,证实证实,求解方程组求解方程组 JacobiJacobi迭代与迭代与G-SG-S迭代同时收敛或发散迭代同时收敛或发散 证证:雅可比迭代矩阵雅可比迭代矩阵 其谱半径其谱半径 第43页例例6设设 ,证实证实,求解方程组求解方程组 JacobiJacobi迭代与迭代与G-SG-S迭代同时收敛或发散迭代同时收敛或发散 证证:G-S:G-S迭代矩阵迭代矩阵 其谱半径其谱半径 显然显然,和和 同时小于、等于或大于同时小于、等于或大于1,1,因而因而JacobiJacobi迭代法与迭代法与G-SG-S迭代法含有相同收敛性迭代法含有相同收敛性 第44页例例7 设求解线性方程组设求解线性方程组雅可比迭代雅可比迭代 x(k+1)=B x(k)+f k=0,1,求证当求证当BB 1时时,对应对应G-S迭代收敛迭代收敛证证 这里以这里以BB 为例为例,BB1 1类似类似 因为因为B是是雅可比迭代雅可比迭代迭代矩阵，故有迭代矩阵，故有 Ax=b 系数矩阵按行严格对角占优系数矩阵按行严格对角占优,故故高斯高斯-塞德尔迭代收敛塞德尔迭代收敛第45页例例 8 考查用考查用雅可比迭代法和雅可比迭代法和高斯高斯-塞德尔迭代塞德尔迭代 法解线性方程组法解线性方程组Ax=bAx=b收敛性，其中收敛性，其中解：解：先计算迭代矩阵先计算迭代矩阵第46页求特征值求特征值雅可比矩阵雅可比矩阵 (B)=0 1)=21 用高斯用高斯-塞德尔迭代塞德尔迭代法求解时，迭代过程发散法求解时，迭代过程发散高斯高斯-塞德尔迭代矩阵塞德尔迭代矩阵求特征值求特征值第48页 Ax=b系数矩阵按行严格对角占优系数矩阵按行严格对角占优,故故高斯高斯-塞德尔迭代收敛塞德尔迭代收敛例例9 设有迭代格式设有迭代格式 X(k+1)=B X(k)+g (k=0,1,2）其中其中B=I-A,假如假如A和和B特征值全为正数，特征值全为正数，试证：该迭代格式收敛。试证：该迭代格式收敛。分析:依据A，B和单位矩阵I之间特征值关系导出()1,从而说明迭代格式收敛。证:因为B=I-A,故(B)=(I)-(A)=1-(A)(A)+(B)=1 因为已知(A)和(B)全为正数，故 0(B)1,从而(B)1 所以该迭代格式收敛。第49页当初当初a a11时时,Jacobi矩阵矩阵 G GJ J 1,1,对初值对初值x x(0)(0)均收敛均收敛例例10 设设 方程组方程组 写出解方程组写出解方程组Jacobi迭代公式和迭代矩阵迭代公式和迭代矩阵 并讨论迭代收敛条件。并讨论迭代收敛条件。写出解方程组写出解方程组Gauss-Seidel迭代矩阵迭代矩阵,并讨并讨 论迭代收敛条件。论迭代收敛条件。解解 Jacobi迭代公式和迭代公式和Jacobi矩阵分别为矩阵分别为 第50页例例 10设设 方程组方程组 写出解方程组写出解方程组Gauss-Seidel迭代矩阵，并讨论迭代矩阵，并讨论 迭代收敛条件。迭代收敛条件。解解 Gauss-Seidel矩阵为矩阵为 当初当初a a11时时,Gauss-Seidel,Gauss-Seidel矩阵矩阵 G Gs s 1,1,所以对任意初值所以对任意初值x x(0)(0)均收敛。均收敛。也可用矩阵谱半径也可用矩阵谱半径p(GS)1来讨论来讨论第51页解：解：先计算迭代矩阵先计算迭代矩阵例例11 讨论用讨论用雅可比迭代法和雅可比迭代法和高斯高斯-塞德尔迭代塞德尔迭代 法解线性方程组法解线性方程组Ax=bAx=b收敛性。收敛性。第52页求特征值求特征值雅可比矩阵雅可比矩阵 (B)=1 用用雅可比迭代法求解时，迭代过程不收敛雅可比迭代法求解时，迭代过程不收敛 1=-1，2,3=1/2第53页求特征值求特征值高斯高斯-塞德尔迭代矩阵塞德尔迭代矩阵 (G1)=0.3536 1 用用高斯高斯-塞德尔迭代塞德尔迭代法求解时，迭代过程收敛法求解时，迭代过程收敛 1=0,第54页求解求解AX=b,AX=b,当当 取何取何值时迭代收敛？值时迭代收敛？解解:所给迭代公式迭代矩阵为所给迭代公式迭代矩阵为 例例12 12 给定线性方程组给定线性方程组 AX=b AX=b 用迭代公式用迭代公式 X X(K+1)(K+1)=X=X(K)(K)+(b-A(b-AX X(K)(K)(k=0,1,)(k=0,1,）第55页即即 2-(2-5 )+1-5 +4+4 2 2=0=0 2-(2-5 )+(1-)(1-4)=0)=0 -(1-)-(1-4)=0=0 1=1-2=1-4 (B)=max|1-|,|1-4|1取取0 1/21/2迭代收敛迭代收敛第56页例例13 设求解线性方程组设求解线性方程组Ax=b简单迭代法简单迭代法 x(k+1)=Bx(k)+g (k=0,1,2,)收敛收敛,求证求证:对对0 1,迭代法迭代法 x(k+1)=(1-)I+Bx(k)+g (k=0,1,2,)收敛。收敛。证证:设设C=(1-)I+B,(C)和和(B)分别为分别为C和和B 特征值，则显然特征值，则显然 (C)=(1-)+(B)因为因为0 1,(C)是是1和和(B)加权平均加权平均,且由迭代法且由迭代法 x(k+1)=Bx(k)+g (k=0,1,2,)收敛知收敛知|(B)|1,故故|(C)|1,从而从而(C)1,即即x(k+1)=(1-)I+Bx(k)+g (k=0,1,2,)收敛收敛k=0,1,第57页 本章小结本章小结本章介绍了解线性方程组本章介绍了解线性方程组 迭代法迭代法一些基本理论和详细方法。迭代法是一个逐次逼一些基本理论和详细方法。迭代法是一个逐次逼近方法，即对任意给定初始近似解向量，按近方法，即对任意给定初始近似解向量，按照某种方法逐步生成近似解序列，使解序列极照某种方法逐步生成近似解序列，使解序列极限为方程组解。注意到在使用迭代法限为方程组解。注意到在使用迭代法解方程组时，其迭代矩阵解方程组时，其迭代矩阵B B和迭代向量和迭代向量f f在计算过在计算过程中一直不变程中一直不变,迭代法含有循环计算公式迭代法含有循环计算公式,方法方法简单，程序实现方便，它优点是能充分利用系简单，程序实现方便，它优点是能充分利用系数稀疏性数稀疏性,适宜解大型稀疏系数矩阵方程组。适宜解大型稀疏系数矩阵方程组。第58页 迭代法不存在误差累积问题。使用迭代法迭代法不存在误差累积问题。使用迭代法关键问题是其收敛性与收敛速度，收敛性与迭代关键问题是其收敛性与收敛速度，收敛性与迭代初值选取无关，这是比普通非线性方程求根初值选取无关，这是比普通非线性方程求根优越之处。在实际计算中，判断一个迭代格式收优越之处。在实际计算中，判断一个迭代格式收敛性较麻烦，因为求迭代谱半径时需要求特征敛性较麻烦，因为求迭代谱半径时需要求特征值，当矩阵阶数较大时，特征值不易求出，通值，当矩阵阶数较大时，特征值不易求出，通常采取矩阵任一个范数都小于常采取矩阵任一个范数都小于1 1或对角占优来判或对角占优来判断收敛性。有时也可边计算边观察其收敛性。如断收敛性。有时也可边计算边观察其收敛性。如何加紧迭代过程收敛速度是一个很主要问题何加紧迭代过程收敛速度是一个很主要问题，实用中更多采取，实用中更多采取SORSOR法，选择适当松驰因子法，选择适当松驰因子有赖于实际经验。我们应针对不一样实际问题有赖于实际经验。我们应针对不一样实际问题，采取适当数值算法。，采取适当数值算法。第59页第第6 6章章 解线性方程组迭代法解线性方程组迭代法 基本内容及基本要求基本内容及基本要求 1.了解迭代法及其收敛性概念。2.掌握雅可比(Jacobi)迭代法、高斯-赛德尔(Gauss-Seidel)迭代法和超松弛(SOR)迭代法。3.了解一阶定常迭代法基本定理，掌握特殊方程组迭代法收敛条件。第60页雅可比迭代法雅可比迭代法计算公式：对k=0,1,第61页高斯高斯塞德尔迭代法塞德尔迭代法计算公式：对k=0,1,第62页SORSOR迭代法计算公式:对k=0,1,第63页Thank you very much!Thank you very much!第64页作业作业P209 1,7,9第65页