第六章-广义逆矩阵(课堂PPT).ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第六章,广义逆矩阵,1,知识要点,投影矩阵,广义逆矩阵,相容方程组的最小范数解,矛盾方程组的最小二乘解,矛盾方程组的最小范数最小二乘解,总体最小二乘技术,2,6.1,投影矩阵,一、投影算子与投影矩阵,设,L,和,M,都是,C,n,的子空间，且,L,M,=,C,n,于是任意,x,C,n,都可唯一分解为,x,=,y,+,z,，,y,L,，,z,M,，称,y,是,x,沿着,M,到,L,的投影,1.,定义,将任意,x,C,n,变为沿着,M,到,L,的投影的变换称为沿着,M,到,L,的投影算子，记为,P,L,M,，即,P,L,M,x,=,y,。,显然，,R,(,P,L,M,)=,L,，,N,(,P,L,M,)=,M,投影算子,P,L,M,是一个线性算子。,3,2.,定义,投影算子,P,L,M,在,C,n,的基,e,1,e,n,下的矩阵称为,投影矩阵,记为,P,L,M,。,3.,幂等矩阵,：,A,2,=A,引理,设,A,C,n,n,是幂等矩阵，则,N,(,A,)=,R,(,I,-,A,),。,证,：,A,2,=,A,A,(,I,-,A,)=,O,对任意,x,R,(,I,-,A,),即,x,=(,I,-,A,),y,，,y,C,n,，必有,Ax,=,0,。故,R,(,I,-,A,),N,(,A,)dim,R,(,I,-,A,)dim,N,(,A,)=,n,-dim,R,(,A,),即,rank(,I,-,A,),n,-rank,A,。考虑到,I,=,A,+(,I,-,A,),n,rank,A,+rank(,I,-,A,),有,rank(,I,-,A,)=,n,-rank,A,，,使得,dim,R,(,I,-,A,)=,n,-dim,R,(,A,)=dim,N,(,A,),，即得,N,(,A,)=,R,(,I,-,A,),。,4,4.,定理：,P,为,投影矩阵的充要条件是,P,为,幂等矩阵,证：设,P,=,P,L,M,为投影矩阵，则对任意,x,C,n,有,P,2,L,M,x,=,P,L,M,(,P,L,M,x,)=,P,L,M,y,=,y,=,P,L,M,x,故,P,为幂等矩阵。反之，设,P,为幂等矩阵，则：对任意,x,C,n,有,x,=,x,-,Px,+,Px,=(,I,-,P,),x,+,Px,，其中,(,I,-,P,),x,N,(,P,),，,Px,R,(,P,),，使得,C,n,=,N,(,P,)+,R,(,P,),。设,z,N,(,P,),R,(,P,),，由于,N,(,P,)=,R,(,I,-,P,),故存在,u,，,v,C,n,使得,z,=,Pu,=,P,2,u,=,P,(,I,-,P,),v,z,=,Pu,=(,I,-,P,),v,=,0,故,N,(,P,),R,(,P,)=,0,。这样,C,n,=,N,(,P,),R,(,P,),，这意味着对任意,x,C,n,，,Px,是,x,沿着,N,(,P,),到,R,(,P,),的投影，故而,P,=,P,R,(,P,),N,(,P,),5,5.,投影矩阵,P,L,M,的构造方法,设,dim,L,=,r,，则,dim,M,=,n,-,r,，在子空间,L,和,M,中分别取基底,X,=(,x,1,x,r,),和,Y,=(,y,1,y,n-r,),，于是有,P,L,M,X,Y,=,X,O,。由于,(,X,Y,),为,C,n,的一个基底，故,X,Y,可逆，于是得,P,L,M,=,X,O,X,Y,-1,例,：设,L,是由向量,1,0,T,张成的子空间，,M,是由向量,1,1,T,张成的子空间，则可求得平面上沿着,M,到,L,的投影矩阵为,P,L,M,=,6,二、正交投影算子与正交投影矩阵,1.,定义：,设,L,是,C,n,的子空间，,则称沿着,L,到,L,的投影算子,P,L,L,为正交投影算子，简记为,P,L,；正交投影算子在,C,n,的基,e,1,e,n,下,的矩阵称为正交投影矩阵，记为,P,L,2.,定理,矩阵,P,为正交投影矩阵的充要条件是,P,为幂等,Hermite,矩阵,证：,若,P,=,P,L,是正交投影矩陈,由前述定理知，它是幂等矩阵。,把任意,x,C,n,分解为,x,=,y,+,z,，,y,L,，,z,L,，则,P,L,x,=,y,L,，,(,I,-,P,L,),x,=,z,L,使得,P,L,x,正交于,(,I,-,P,L,),x,，,即,x,H,P,L,H,(,I,-,P,L,),x,=,0,，,x,的任意性使得,P,L,H,(,I,-,P,L,)=,O,，即,7,P,L,H,=,P,L,H,P,L,P,L,H,=,P,L,H,P,L,=(,P,L,H,P,L,),H,=(,P,L,H,),H,=,P,L,即,P,H,=,P,，,P,为幂等,Hermite,矩阵。,反之，设,P,为幂等,Hermite,矩阵，由幂等性知,P,=,P,R,(,P,),N,(,P,),，,N,(,P,)=,R,(,I,-,P,),对任意,Px,与,(,I-P,),y,，有,=,x,H,P,H,(,I-P,),y,=,x,H,P,(,I-P,),y,=,x,H,(,P-P,2,),y,=0,即得：,R(P),N(P),。因此,P,为正交投影矩阵。,8,3.,正交投影矩阵,P,L,的构造方法,设,dim,L,=,r,，则,dim,L,=,n,-,r,。在子空间,L,和,L,中分别取基底,X,=(,x,1,x,r,),和,Y,=(,y,1,y,n-r,),满足,X,H,Y,=,O,r,(,n-r,),，于是,说明：令 ，则有,两边左乘,X,H,得,即,A,=(,X,H,X,),-1,X,H,，同理可得,B,=(,Y,H,Y,),-1,Y,H,9,例,：设,L,是由向量,1,2,0,T,和,0,1,1,T,张成的子空间，则可求得正交投影矩阵为,10,三、正交投影原理及其应用,1.,正交投影原理,令,M,是向量空间,H,的子空间，如果对于,H,中的向量,x,，在,M,中有一向量,x,，使得,x,-,x,正交于,M,中的所有向量,y,，即,(,x,-,x,y,)=0,，则,|,x,-,x,|,|,x,-,y,|,对于所有向量,y,M,都成立，并且等号仅当,y,=,x,时成立。,证：,|,x,-,y,|,2,=|,x,-,x,+,x,-,y,|,2,=|,x,-,x,|,2,+2(,x,-,x,x,-,y,)+|,x,-,y,|,2,，故,(,x,-,x,x,-,y,)=0,使得,|,x,-,x,|,2,|,x,-,x,|,2,+|,x,-,y,|,2,=|,x,-,y,|,2,并且等号仅当,y,=,x,时成立。,2.,x,=,P,M,x,为,x,在,M,的投影，,x,-,P,M,x,为,x,在,M,的投影,。,3.W-H,方程：使用线性滤波,d,=(,h,x,),从观测随机向量,x,估计希望信号,d,，则由,(,d,-(,h,x,),x,)=0,有,W-H,方程,r,dx,=,R,xx,h,，其中互相关向量,r,dx,=,(,d,x,)=,E,(,d,x,),，自相关矩阵,R,xx,=E,(,xx,T,),。,11,四,.,子空间分析,1.,观测空间：观测,x,=,信号,s,+,噪声,n,，其中,s,与,n,不相关,，观测矩阵,X,=,信号矩阵,S,+,噪声矩阵,N,=(,x,1,x,n,),，观测空间,Span(,X,)=Span,x,1,x,n,2.,信号子空间和噪声子空间,解：,R,X,=,E,(,X,T,X,)=,R,S,+,R,N,，其中假设噪声独立同 分布使得,R,N,=,E,(,N,T,N,)=,n,2,I,和,R,S,=,E,(,S,T,S,),秩,r,使得,R,S,=,U,S,S,U,S,T,R,X,=,U,S,S,U,S,T,+,n,2,I,=,U,S,(,S,+,n,2,I,),U,S,T,=,U,X,X,U,X,T,U,X,=,U,S,和,X,=,S,+,n,2,I,令,U,X,=,u,1,u,n,，,B,S,=,u,1,u,r,，,B,N,=,u,r,+1,u,n,，则称,Span(,B,S,),和,Span(,B,N,),分别为,信号子空间和噪声子空间,。,3.,s,1,+,n,2,sr,+,n,2,为主特征值，,n,2,为次特征值,12,4.,信号子空间投影矩阵,P,S,=,B,S,B,S,T,，噪声子空间投影矩阵,P,N,=,B,N,B,N,T,=,I,-,P,S,=,P,S,为信号子空间正交投影矩阵。,5,.,子空间分析法应用例,：现代谱估计的,MUSIC,算法。设信号向量是,r,个不相干的复正弦的叠加，即,其中,A,=,a,(,1,),a,(,r,),，,a,(,k,)=,1,exp,(j(,n,-1),T,为频率分量向量，,s,(,t,)=,s,1,(,t,),s,r,(,t,),T,为,随机信号向量，具有,零均值其协方差阵为,R,S,=,E,(,s,(,t,),s,(,t,),H,),，,n,(,t,)=,n,1,(,t,),n,n,(,t,),T,为零均值方差为,n,2,的独立同分布高斯白噪声。,R,X,=,B,S,(,S,+,n,2,I,),B,S,H,+,n,2,B,N,B,N,H,=,AR,S,A,H,+,n,2,I,R,X,B,N,=,n,2,B,N,=,AR,S,A,H,B,N,+,n,2,B,N,AR,S,A,H,B,N,=,O,A,H,B,N,=,O,即,B,N,H,A,=,O,，也即,B,N,H,a,(,)=,0,，,=,k,k,=1,r,13,于是有基于噪声子空间的功率谱估计,P,(,)=1/|,B,N,H,a,(,)|,2,，所有的,。,其,r,个峰值给出了,r,个复正弦频率,。,由于,B,N,B,N,T,=,I,-,B,S,B,S,H,，其中,R,X,-,n,2,I,=,B,S,S,B,S,H,，于是有基于信号子空间的功率谱估计,P,(,)=1/(,a,(,),H,(,I,-,B,S,B,S,H,),a,(,),。,用哪个取决于哪个子空间有较小的维数。,14,6.2,广义逆矩阵定义及其性质,定义：设矩阵,A,C,m,n,，若矩阵,XC,n,m,满足如下四个方程,AXA=A,XAX=X,(AX),H,=AX,(XA),H,=XA,中的一个或几个，则称为矩阵,A,的广义逆；若四个方程全部满足，则称为矩阵,A,的,Moore-Penrose,逆，记为,A,+,。,定理一：矩阵,AC,m,n,的广义逆,A,+,存在且唯一。,证明：先证存在性。设矩阵,A,的满秩分解为,A=BC,，定义,15,A,+,=C,H,(CC,H,),-1,(B,H,B),-1,B,H,则,A,+,满足定义中的四个方程。下面证唯一性。,设矩阵,X,与,Y,都满足四个方程，则,X=XAX=X(AX),H,=XX,H,A,H,=XX,H,A,H,Y,H,A,H,=X(AX),H,(AY),H,=X(AXA)Y=XAY,Y=YAY=(YA),H,Y=A,H,Y,H,Y=A,H,X,H,A,H,Y,H,Y=(XA),H,(YA),H,Y,=XAYAY=XAY,所以,X=Y,。,(,证完,),若矩阵,A,是满秩方阵，则,A,+,=A,-1,.,一般研究满足定义中四个方程中部分或全部构成的广义逆，如满足,1,，,1,2,，,1,3,，,1,4,，,1,2,3,4,，分别记为,A,1,，,A,1,2,，,A,1,3,，,A,1,4,，,A,1,2,3,4,，自然,A,+,=A,1,2,3,4,。,A,+,是最常用的广义逆。一般记：,A,-,=A,1,。,16,定理二：设矩阵,A,给定，则,A,+,满足如下性质,rank A,+,=rank A,(A,+,),+,=A,(A,H,),+,=(A,+,),H,(A,T,),+,=(A,+,),T,(A,H,A),+,=A,+,(A,H,),+,(AA,H,),+,=(A,H,),+,A,+,A,+,=(A,H,A),+,A,H,=A,H,(AA,H,),+,R(A,+,)=R(A,H,),N(A,+,)=N(A,H,),推论：若,A,C,n,m,n,，则,A,+,=(A,H,A),-1,A,H,若,A,C,m,m,n,，则,A,+,=A,H,(AA,H,),-1,矩阵,A,广义逆,A,+,的等价定义,:,AA,+,=P,R(A),A,+,A=P,R(A,+,),。,即,AA,+,=P,R(A),A,+,A,分别为,R(A),和,R(A,+,),上的正交矩阵。更有：,AA,1,、,A,1,A,、,AA,2,、,A,2,A,均为幂等矩阵,17,6.3,广义逆矩阵,A,+,的计算方法,满秩分解：设,A,C,r,m,n,，,A=BC,为满秩分解，即,BC,r,m,r,，,CC,r,r,n,，则,A,+,=C,H,(CC,H,),-1,(B,H,B),-1,B,H,奇异值分解：设,A,C,r,m,n,，其奇异值分解,A,=,V,r,U,r,H,，,=diag(,1,2,r,),，则,A,+,=,U,r,-1,V,r,H,特别，若,A,为实对称矩阵，则有分解式,A,=,U,r,U,r,T,，,=diag(,1,2,r,),，,i,为矩阵,A,的非零特征值，且,A,+,=,U,r,-1,U,r,T,18,例,1,：设,求,A,+,。,解：,（方法一）利用满秩分解公式可得,从而,A,的伪逆矩阵是,19,（方法二）先求,A,的奇异值分解：,令：,20,21,例,2,：,设,求,A,+,。,解,：（方法一）,由满秩分解公式可得,于是其伪逆矩阵为,22,（方法二）先求,A,的奇异值分解：,令：,23,计算,A,+,的迭代法（,Greville,法）,定理一：设,A,C,r,m,n,，记,a,k,(k=1,2,n),为,A,的第,k,列，,A,k,为,A,的前,k,列构成的子矩阵，又记,则,其中,24,线性模型参数的最小二乘估计,假设线性模型为,其中,已知观测数据,计算,a,可以看做求解,25,计算,a,可以看做求解,其最小二乘估计的范数最小解为,现考虑实时在线估计，记,线性模型参数的最小二乘估计,26,线性模型参数的最小二乘估计,27,算法,线性模型参数的最小二乘估计,28,定理二,：,设,A,C,r,m,n,，则存在奇异值分解,于是,证明：由于,A,的秩为,r,，因此存在形如,(1),式的分解。设,G,A,1,，则有,AGA=A,广义逆,A,-,的计算,(1),(2),29,即,把矩阵,U,H,GV,分块，设,代入得,即,最后得,30,由此得出,即,于是有,这证明了,(2),式。,31,定理三,：,设,A,C,r,m,n,，其奇异值分解为,则,因此,rank(A)=rank(A,1,2,),。,证明：设,G,A,1,2,，有定理二知,再由条件：,GAG=G,得,广义逆,A,1,2,的计算,(1),(3),32,即,于是有,得,再由,即,知,rank(A)=rank(G),33,定理四,：,设,A,C,r,m,n,，其奇异值分解为,则,证明：设,G,A,1,3,，有定理二知,再由条件：,(AG),H,=AG,得,广义逆,A,1,3,的计算,(1),(3),34,即,于是有,得,35,定理五,：,设,A,C,r,m,n,，其奇异值分解为,则,证明：设,G,A,1,4,，有定理二知,再由条件：,(GA),H,=GA,得,广义逆,A,1,4,的计算,(1),(3),36,即,于是有,得,37,设,A,C,r,m,n,，其奇异值分解为,则,广义逆的计算,38,6.4,广义逆矩阵与方程组的求解,一致方程的公式解,一致方程解的结构,一致方程的最小范数解,非一致方程的最小二乘解,非一致方程的最小二乘解的结构,非一致方程最小二乘解的范数极小解,39,一致方程的公式解,一致方程：若,Ax=b,有解，则称,Ax=b,为一致方程。,Ax=b,为一致方程当且仅当,rank(A)=rank(A,b),。,定理一,：非齐次方程,Ax=b,有解的充分必要条件为,AA,-,b=b,证明：,必要性。设,AX=b,有解,，则,A,=b,。因为,AA,-,A=A,，所以,b=A,=,AA,-,A,=,AA,-,b,充分性。设,AA,-,b=b,，取,=,A,-,b,，则,是,AX=b,的解。,40,定理二：,设非齐次线性方程组,Ax=b,是一致方程，则它的一般解（通解）为,x=A,-,b,证明：由于,Ax=b,为一致方程，因此由定理一有,AA,-,b=b,可知,x=A,-,b,是方程,Ax=b,的解。下面证明,Ax=b,的解都可以表示成这种形式。设,A,的奇异值分解为,则有,令,U,=,U,1,U,2,，,V,=,V,1,V,2,及,41,则有,即,通解,于是有,42,定理三：,齐次线性方程组,Ax=0,的通解为,其中,z,是任意,n,维列向量。,证明：首先容易证明,即,(,I,n,-A,-,A,),z,是,Ax,=0,的解。其次证明,Ax=0,的解具有以上的形式。设,是其任意解，则有,定理四：,一致方程,Ax=b,的通解为,x,=,A,-,b,+(,I,-,A,-,A,),z,43,一致方程的最小范数解,定理五：,一致方程,Ax,=,b,的最小范数解为,x,=A,1,4,b=A,+,b,证：由定理二的证明知,Ax=b,的通解为,所以最小范数解必然满足,C=0,，即最小范数解,44,非一致方程的最小二乘解,定义：,非一致方程,Ax=b,的最小二乘解为如下目标函数的极小解,定理六：,非一致方程,Ax=b,的最小二乘解为,x,=,A,1,3,b,证明：设,A,的奇异值分解为,45,令,U,=,U,1,U,2,，,V,=,V,1,V,2,及,则有,于是最小二乘解为,46,定理六：,非一致方程,Ax=b,的最小二乘解的最小范数解为,x,=,A,+,b,证明：由,知最小范数解满足,C=0,，,D=0,，得证。,47,例,1,：求不相容方程组,的最小二乘解的最小范数解。,48,例,2,：求不相容方程组,的最佳最小二乘解。,49,作业,实对称正定矩阵的,LDL,T,分解,(Cholesky),解方程组,Ax=b,。,矩阵的,QR,分解求解方程,Ax=b,。,矩阵的奇异值分解。,广义逆,A,+,的计算。,每个同学的学号后两位除以,4,，余数加,1,为题目号。,50,