21信源的数学模型和分类.pptx

HUST FurongWang-Information and Coding Theory1第第2 2章章 信源熵信源熵o2.0 信源的数学模型及其分类信源的数学模型及其分类o2.1 单符号离散信源单符号离散信源o2.2 多符号离散平稳信源多符号离散平稳信源o2.3 连续信源连续信源o2.4 离散无失真信源编码定理离散无失真信源编码定理HUST FurongWang-Information and Coding Theory2信源的数学模型及其分类信源的数学模型及其分类o通信的根本问题是将信源的输出在接收端尽可能精确地复现出来，所以需要讨论如何描述信源的输出如何描述信源的输出如何描述信源的输出如何描述信源的输出，即如何计算信源产生的信息量如何计算信源产生的信息量如何计算信源产生的信息量如何计算信源产生的信息量。o信源的数学模型n信源概念、数学模型n离散信源和连续信源o信源的分类n记忆性：有记忆和无记忆信源n有记忆信源：马尔可夫信源HUST FurongWang-Information and Coding Theory3信源的概念信源的概念o信源信息的发源地，如人、生物、机器等等。o由于信息是十分抽象的东西，所以要通过信息载荷者，即消息来研究信源，这样信源的具体输出称作消息。o消息的形式可以是离散消息（如汉字、符号、字母）或连续消息（如图像、语音）o信源消息中的信息是一个时变的不可预知的函数，因此，描述信源消息或对信源建模，随机过程是一个有效的工具，随机过程的特性依赖于信源的特性。HUST FurongWang-Information and Coding Theory4信源输出的描述信源输出的描述o信源发出消息，消息载荷信息，具有不确定性，所以可用随机变量随机变量随机变量随机变量或随机序列（矢量）随机序列（矢量）随机序列（矢量）随机序列（矢量）来描述信源输出的消息，或者说用概率空间来描述信源。o离散信源：信源输出的消息常常是以一个个符号的形式出现，例如文字、字母等，这些符号的取值是有限的或可数的。n离散信源只涉及一个随机事件，称为单符号离散信源，可用离散随机变量来描述；n若离散信源涉及多个随机事件，称为多符号离散信源，可用离散随机矢量来描述。o连续信源：输出连续消息的信源。HUST FurongWang-Information and Coding Theory5离散信源和连续信源离散信源和连续信源 信源的输出被抽象为一个随机变量序列（随机过程）。o连续信源：连续信源：如果信源输出的随机变量取值于某一连续区间，为连续信号，消息的个数是无穷值，就叫做连续信源。n比如人发出的语音信号X(t)、模拟的电信号等等o离散信源离散信源：如果信源输出的随机变量取值于某一离散符号集合，消息在时间和幅值上均是离散的，就叫做离散信源。n比如平面图像 X(x，y)和电报、书信、文稿等等信源 X1,X2,X3,A为为 a1,a2,a3,am或或(a,b)HUST FurongWang-Information and Coding Theory6信源的数学模型信源的数学模型o可以用随机变量或随机矢量来描述信源的输出消息，用概率空间来描述信源，即信源就是一个概率场，其数学模型可表示为：HUST FurongWang-Information and Coding Theory7信源的数学模型信源的数学模型HUST FurongWang-Information and Coding Theory8单单/多符号信源多符号信源o单符号信源：信源输出的是单个消息符号，用一维离散或连续随机变量X及其概率分布P来描述。o多符号信源：信源输出的是多个消息符号，用N维随机矢量，N重离散概率空间的数学模型来描述。n如自然语言信源就是把人类的语言作为信源，以汉字为例，就是随机地发出一串汉字序列。n我们可以把这样信源输出的消息视为时间上或空间上离散的随机变量序列，即随机矢量。n于是，信源的输出可用N维随机矢量(Xk,k=1,2,.,N)来描述，N一般为有限正整数。HUST FurongWang-Information and Coding Theory9多符号信源的数学模型多符号信源的数学模型N重离散概率空间重离散概率空间HUST FurongWang-Information and Coding Theory10信源的分类信源的分类对信源的分类主要基于两方面的考虑：o一是信源消息取值的集合以及消息取值时刻的集合n由此可分为离散信源、连续信源 或n数字信源、模拟信源（波形信源）o二是信源消息的统计特性n由此可分为无记忆信源、有记忆信源、n平稳信源、非平稳信源、n高斯信源、马尔可夫信源等。o实际中经常是它们的组合n如离散无记忆信源等。HUST FurongWang-Information and Coding Theory11信源的分类信源的分类离散平稳信源o如果随机序列中各个变量具有相同的概率分布，则称为离散离散离散离散平稳信源平稳信源平稳信源平稳信源。o如果离散平稳信源的输出序列中各个变量是相互独立的，即前一个符号的出现不影响以后任何一个符号出现的概率，则称为离散无记忆平稳信源离散无记忆平稳信源离散无记忆平稳信源离散无记忆平稳信源，否则称为离散有记忆平稳信源离散有记忆平稳信源离散有记忆平稳信源离散有记忆平稳信源信源 X1,X2,X3,A为为 a1,a2,a3,am或或(a,b)HUST FurongWang-Information and Coding Theory12信源的分类信源的分类无记忆信源o如果信源发出的消息符号间彼此是统计独立的，并且它们具有相同的概率分布，且N维随机矢量的联合概率分布为：o我们称之为离散无记忆信源离散无记忆信源离散无记忆信源离散无记忆信源。o同样，若N维随机矢量中X每个变量Xk是连续随机变量，且相互独立，则X的联合概率密度函数o为 ，这种信源叫连续型无记忆信源连续型无记忆信源连续型无记忆信源连续型无记忆信源HUST FurongWang-Information and Coding Theory13信源的分类有记忆信源o通常情况下，信源发出的符号间是彼此相互依存和关联的（如小说文字），是有记忆信源。通常用联合概率或条件概率来描述这种关联性。o按记忆长度划分有：n有限记忆信源（马尔可夫信源）o有限状态马尔可夫链n无限记忆信源 HUST FurongWang-Information and Coding Theory14混合信源混合信源o按信源输出时间和取值划分：o时间连续，取值连续或随机的，称之为随机波形信源，表示为X(t)。o输出既有连续分量又有离散分量，称之为混合信源。重点研究离散信源产生消息的不确定性，不研究信源的内部结构和消息的如何产生HUST FurongWang-Information and Coding Theory15信源的分类信源的分类随机过程随机过程x(t)：随机波形信源：随机波形信源信源输出的消息是时间（或空间）上和取值上都是连续的函数离散无记忆信源的离散无记忆信源的N次扩展信源次扩展信源：输出的平稳随机序列X中各随机变量统计独立。每个随机变量xi取值于同一概率空间。每N个符号构成一组，等效为一个新的信源随机随机变量变量离散信源离散信源：可能输出的消息数有限连续信源连续信源：可能输出的消息数是无限的或不可数的非平稳非平稳信源信源平稳平稳信源信源连续连续连续连续平稳信源平稳信源离散离散离散离散平稳信源平稳信源：输出的随机序列X中每个随机变量取值是离散离散离散离散的，并且随机矢量X的各维概率分布不随时间平移而改变有限记忆信源有限记忆信源：输出的平稳随机序列X中各随机变量之间有依赖关系，但记忆长度有限马尔可夫信源马尔可夫信源：输出的随机序列X中各随机变量之间有依赖关系，但记忆长度有限，并满足马尔可夫链的条件式随机随机序列序列HUST FurongWang-Information and Coding Theory16第第2 2章章 信源熵信源熵o2.0 信源的数学模型及其分类信源的数学模型及其分类o2.1 单符号离散信源单符号离散信源o2.2 多符号离散平稳信源多符号离散平稳信源o2.3 连续信源连续信源o2.4 离散无失真信源编码定理离散无失真信源编码定理HUST FurongWang-Information and Coding Theory17第第2章章 信源熵信源熵o2.1 单符号离散信源单符号离散信源n2.1.1 单符号离散信源的数学模型单符号离散信源的数学模型n2.1.2 自信息和信源熵自信息和信源熵n2.1.3 信源熵的基本性质和定理信源熵的基本性质和定理n2.1.4 加权熵的概念及基本性质加权熵的概念及基本性质n2.1.5 平均互信息量平均互信息量n2.1.6 各种熵之间的关系各种熵之间的关系HUST FurongWang-Information and Coding Theory182.1.1 单符号离散信源的数学模型单符号离散信源的数学模型o定义：单符号离散信源的数学模型HUST FurongWang-Information and Coding Theory19第第2章章 信源熵信源熵o2.1 单符号离散信源单符号离散信源n2.1.1 单符号离散信源的数学模型单符号离散信源的数学模型n2.1.2 自信息和信源熵自信息和信源熵oo一、信息量一、信息量一、信息量一、信息量n n1 1 1 1、自信息量；、自信息量；、自信息量；、自信息量；2 2 2 2、联合自信息量；、联合自信息量；、联合自信息量；、联合自信息量；3 3 3 3、条件自信息量、条件自信息量、条件自信息量、条件自信息量o二、互信息量和条件互信息量二、互信息量和条件互信息量n1、互信息量；、互信息量；2、互信息的性质；、互信息的性质；3、条件互信息量、条件互信息量o三、信源熵三、信源熵n1、信源熵；、信源熵；2、条件熵；、条件熵；3、联合熵、联合熵n2.1.3 信源熵的基本性质和定理信源熵的基本性质和定理n2.1.4 加权熵的概念及基本性质加权熵的概念及基本性质n2.1.5 平均互信息量平均互信息量n2.1.6 各种熵之间的关系各种熵之间的关系HUST FurongWang-Information and Coding Theory20不确定性、惊讶度与信息量o在事件发生前有不确定性o在事件发生时有惊讶度o在事件发生后有信息量o当一个概率很低的随机事件发生，我们就会感到非常惊讶，并得到很大的信息量。n如：9.11事件，美国纽约世贸大厦被炸HUST FurongWang-Information and Coding Theory21o从信息源获取信息的过程就是其不确定性不确定性缩减的过程o随机事件包含的信息信息与其不确定性紧密相关o在统计分析中，使用概率概率作为衡量不确定性的一种指标。o可以推论出：随机事件包含信息的度量应是随机事件包含信息的度量应是其概率的函数。其概率的函数。自信息量HUST FurongWang-Information and Coding Theory22概率倒数的对数o例如，有一本n页书，每页200字，作者使用的词汇有1000个字。那么，1000个字每次取200个字构成一页，其总排列组合数也就是一页书总的状态数共有1000200=N1，对于n页书，则不同状态数将增加到N1n，即Nn=N1n=(1000)200 n=1000200n o假定每种状态是等概的，则n页书中对应每一种状态的概率为Pn=1/Nn=1/N1n=1/1000200n oo用概率倒数的对数来度量其不确定度，用概率倒数的对数来度量其不确定度，用概率倒数的对数来度量其不确定度，用概率倒数的对数来度量其不确定度，则为log(1/Pn)=log(Nn)=nlog(N1)o记1页（n页）书每种状态的不确定度为H1（Hn）o则Hn=log(1/Pn)=log(Nn)=nlog(N1)=nH1=Hno也就是说n n页书包含的信息量是页书包含的信息量是页书包含的信息量是页书包含的信息量是1 1页书包含信息量的页书包含信息量的页书包含信息量的页书包含信息量的n n倍倍倍倍。HUST FurongWang-Information and Coding Theory23自信息量定义o定义 2.1.1 任意随机事件的自信息量定义为该事件发生概率的对数的负值。o自信息量的单位取决于对数选取的底。o单位：比特bit、奈特nat、哈特Hart。n当对数的底取2时，单位为比特bitn当以自然数e为底时，单位为奈特natn当以10为底时，单位为哈特hartHUST FurongWang-Information and Coding Theory24自信息量的单位o在现代数字通信系统中，一般采用二进制的记数方式。在信息量的计算中也多采用以2为底的方式，一般默认以2为底o三个信息单位比特bit、奈特nat、哈特Hart之间的转换关系如下：HUST FurongWang-Information and Coding Theory25对数及常用公式Examples:HUST FurongWang-Information and Coding Theory26自信息量的性质0101HUST FurongWang-Information and Coding Theory27自信息量的性质o值得注意的是：HUST FurongWang-Information and Coding Theory28例2.1.1：自信息量o某地二月份天气的概率分布统计如下：o这四种气候的自信息量分别为：o可见不同天气情况具有不同的自信息量，o说明自信息量具有随机变量的性质HUST FurongWang-Information and Coding Theory29联合自信息量o定义 2.1.2 二维联合集XY上的元素（）的联合自信息量定义为n式中 为积事件；为元素 的二维联合概率。o当X和Y相互独立时，HUST FurongWang-Information and Coding Theory30条件自信息量o定义 2.1.3 联合集XY中，对事件 和 ，事件 在事件 给定的条件下的条件自信息量定义为o由于每个随机事件的条件概率都处于0 1范围内，所以条件自信息量均为非负值。HUST FurongWang-Information and Coding Theory31几种自信息量之间的关系o自信息量、联合自信息量、条件自信息量都满足非负性和单调递减性o三者都是随机变量，其值随着变量xi，yj的变化而变化。o三者之间有如下关系式：HUST FurongWang-Information and Coding Theory32例2.1.2：联合自信息量o设在一正方形棋盘上共有64个方格，如果甲将一粒棋子随意地放在棋盘中的某方格且让乙猜测棋子所在位置：n将方格按顺序编号，令乙猜测棋子所在方格的顺序号；o解：xyHUST FurongWang-Information and Coding Theory33例2.1.3：条件自信息量o设在一正方形棋盘上共有64个方格，如果甲将一粒棋子随意地放在棋盘中的某方格且让乙猜测棋子所在位置：n将方格按行和列编号，甲将棋子所在方格的行（或列）编号告诉乙之后，再令乙猜测棋子所在列（或行）的位置。o解：xyHUST FurongWang-Information and Coding Theory34第第2章章 信源熵信源熵o2.1 单符号离散信源单符号离散信源n2.1.1 单符号离散信源的数学模型单符号离散信源的数学模型n2.1.2 自信息和信源熵自信息和信源熵o一、信息量一、信息量n1 1、自信息量；、自信息量；2 2、联合自信息量；、联合自信息量；3 3、条件自信息量、条件自信息量oo二、互信息量和条件互信息量二、互信息量和条件互信息量二、互信息量和条件互信息量二、互信息量和条件互信息量n n1 1 1 1、互信息量；、互信息量；、互信息量；、互信息量；2 2 2 2、互信息的性质；、互信息的性质；、互信息的性质；、互信息的性质；3 3 3 3、条件互信息量、条件互信息量、条件互信息量、条件互信息量o三、信源熵三、信源熵n1、信源熵；、信源熵；2、条件熵；、条件熵；3、联合熵、联合熵n2.1.3 信源熵的基本性质和定理信源熵的基本性质和定理n2.1.4 加权熵的概念及基本性质加权熵的概念及基本性质n2.1.5 平均互信息量平均互信息量n2.1.6 各种熵之间的关系各种熵之间的关系HUST FurongWang-Information and Coding Theory35互信息量o设有两个离散的符号消息集合X Y，nX表示信源发出的符号消息集合nY表示信宿接收的符号消息集合o每个符号消息相当于一个随机事件o信源发出符号消息通过信道传递给信宿nX信道的输入消息；Y信道的输出消息信源信道信宿XY 简化的通信系统模型HUST FurongWang-Information and Coding Theory36集合X Y的概率空间o信源X的概率空间为：n这里p(xi)（i=1,2,3等）是集合X中各个消息x1，x2，x3 的概率分布，它又称为先验概率。o信源Y的概率空间为：n这里p(yj)（j=1,2,3等）是集合Y中各个消息y1，y2，y3 出现的概率。HUST FurongWang-Information and Coding Theory37收信者获得的信息量o当信宿接到集合Y中的一个消息符号 后，接收者重新估计关于信源的各个消息 发生的概率就变成条件概率 ，这种条件概率又称为后验概率。o收信者收到一个消息后，所获得的信息量等于收到消息前后不确定程度的减少量。o不确定程度减少的原因，是由于收到消息前后概率空间的概率分布改变所致。HUST FurongWang-Information and Coding Theory38不确定程度的减少量o当接收到yj后，重新估计xi的发生。收信者从不确定到比较确定或完全确定，依赖于所获得的信息量。可以直观地将它定义为：I(信息量)=不确定程度的减少量o那么，当接收者收到yj后，所获得的信息量为o收信者所获得的信息量随先验概率的增加而减小，随后验概率的增加而增加。HUST FurongWang-Information and Coding Theory39从通信系统总体观察o在通信前，可以认为输入随机变量X和输出随机变量Y之间没有任何关联关系，即X、Y统计独立。根据概率的性质o在通信后，输入随机变量X和输出随机变量Y之间由信道的统计特性相联系。有后验不确定度HUST FurongWang-Information and Coding Theory40从通信系统总体观察o这样，通信后流经信道的信息量，等于通信前后不确定度的差HUST FurongWang-Information and Coding Theory41o互信息量等于自信息量减去条件自信息量。o互信息为两个不确定度之差，是不确定度被消除的部分，代表已经确定的东西。实际是从yj得到的关于xi的信息量。即等于先验的不确定性减去尚存在的不确定性o同样道理，可定义xi对yj的互信息量为互信息量：消除不确定性度量HUST FurongWang-Information and Coding Theory42互信息量o定义2.1.4 对两个离散随机事件X和Y，事件yj的出现给出关于事件xi的信息量，定义为互信息量。其定义式为o互信息量的单位与自信息量的单位一样取决于对数的底。当对数底为2时，互信息量的单位为比特bit。HUST FurongWang-Information and Coding Theory43例2.1.4：互信息量o继续讨论第一节的例题2.1.1，即某地二月份天气构成的信源为 o某一天有人告诉你：“今天不是晴天。”HUST FurongWang-Information and Coding Theory44例2.1.4互信息量（续）HUST FurongWang-Information and Coding Theory45互信息量的性质o1.互信息量的互易性o2.互信息量可为零o3.互信息量可正可负o4.任何两个事件之间的互信息量不可能大于其中的任一事件的自信息量HUST FurongWang-Information and Coding Theory46互信息量的性质：1、互易性o互信息量的互易性可表示为：此性质的意义是：o事件 提供的有关于事件 的信息量等于由事件 提供的关于事件 信息量o证明：HUST FurongWang-Information and Coding Theory47互信息量的性质：2、可为零o当事件 ，统计独立时，互信息量为零。o这表示不能从观测 获得关于另一个事件 的任何信息。反之亦然。o证明o此性质的意义是：当两个事件统计独立时，其相互信息量为零，这也就是说不能从观测一个事件中获得有关另一个事件的任何信息。HUST FurongWang-Information and Coding Theory48互信息量的性质：3、可正可负o在给定观测数据 的条件下，事件 出现的概率 称为后验概率o当后验概率 大于先验概率 时，互信息量 大于零，为正值；n互信息量为正，意味着事件 的出现有助于肯定事件 的出现；o当后验概率小于先验概率时，互信息量为负值。n互信息量为负是不利的。造成不利的原因是由于信道干扰引起的。由于干扰，使估计变得更加困难，即，不确定性增加了。HUST FurongWang-Information and Coding Theory49互信息量的性质：4o性质4：任何两个事件之间的互信息量不可能大于其中的任一事件的自信息量HUST FurongWang-Information and Coding Theory50条件互信息量o定义 2.1.5 联合集XYZ中，在给定 的条件下，与 之间的互信息量定义为条件互信息量。其定义为o联合集XYZ上还存在 与 之间的互信息量，其定义式为HUST FurongWang-Information and Coding Theory51条件互信息量o可进一步表示为：o上式表明，一对事件yjzk出现后所提供的有关xi的信息量I(xi;yjzk)等于事件yj出现后所提供的有关xi的信息量I(xi;yj)加上在给定事件yj的条件下再出现事件zk所提供的有关xi的信息量。HUST FurongWang-Information and Coding Theory52例2.1.5o某人A预先知道他的三位朋友B、C、D中必定将有一人晚上到他家来，并且这三人来的可能性均相同n其先验概率为：p(B)=p(C)=p(D)=1/3o但是上午A接到D的电话不能来了n把这次电话作为事件E，那么有后验概率p(D/E)=0,p(B/E)=p(C/E)=1/2o下午A又接到C的电话，说晚上开会不能来n把这次电话作为事件F，那么有后验概率p(C/EF)=p(D/EF)=0,p(B/EF)=1HUST FurongWang-Information and Coding Theory53例2.1.5：互信息o事件E（上午的电话）发生后，A获得关于B,C,D的互信息为：o事件EF（两次电话）发生后，A获得关于B,C,D的互信息为：o由此例可以看出，由于I(B;EF)=1.585bit,I(B;E)=0.585bit，因此事件EF的出现有助于肯定事件B的出现。HUST FurongWang-Information and Coding Theory54续例2.1.5：条件互信息o在事件E（上午的电话）发生的条件下，计算条件互信息量o表明，事件EF出现后所提供的有关B的信息量I(B;EF)等于事件E出现后所提供的有关B的信息量I(B;E)加上在给定事件E的条件下，再出现事件F所提供的有关B的信息量。HUST FurongWang-Information and Coding Theory55几种互信息量之间的关系o互信息量、联合事件互信息量、条件互信息量三者都是随机变量，其值随着变量xi，yj，zk的变化而变化。o三者之间有如下关系式：HUST FurongWang-Information and Coding Theory56总结o自信息量不确定度o互信息量不确定度的减少量o自信息量和互信息量的定义和性质o自信息量和条件自信息量的关系o互信息量和条件互信息量的关系o自信息量和互信息量，具有随机变量的性质，均为随机变量。o自信息量只表示单个随机事件的不确定度，不能表示信源总体的不确定度。