信息论基础教程.pptx
《信息论基础教程.pptx》由会员分享,可在线阅读,更多相关《信息论基础教程.pptx(195页珍藏版)》请在咨信网上搜索。
1、信息论基础教程信息论基础教程李亦农李亦农 李梅李梅 编著编著北京邮电大学出版社北京邮电大学出版社 目录目录第一章第一章 绪论绪论第二章第二章 信息的度量信息的度量 第三章第三章 信源及信息熵信源及信息熵 第四章第四章 信道及信道容量信道及信道容量 第五章第五章 无失真信源编码无失真信源编码 第六章第六章 有噪信道编码有噪信道编码 第七章第七章 限失真信源编码限失真信源编码 1.1 信息的概念信息的概念1.2 信息论研究对象、目的和内容信息论研究对象、目的和内容第一章第一章 绪论绪论1.1 信息的概念信息的概念 信息论信息论是通信的数学基础,它是随着通信技术的发展而形成和发展起来的一门新兴横断学
2、科。信息论创立标志是1948年ClaudeShannon(香农香农)发表论文“AMathematicalTheoryofCommunication”。在这篇文章中香农创造性的采用概率论概率论的方法来研究通信中的问题,并且对信息给予了科学的定量描述,第一次提出了信息熵信息熵的概念。1928年,哈特莱哈特莱(Hartley)首先提出了用对数度量信息的概念。一个消息所含有的信息量信息量用它的可能值的个数的对数来表示。香农香农 (香农香农)信息信息:信息是事物运动状态或存在方式的不确定性的描述信息是事物运动状态或存在方式的不确定性的描述。可运用研究随机事件的数学工具概率来测度不确定性大小。在信息论中,
3、我们把消息用随机事件表示,而发出这些消息的信 源则用随机变量来表示。我们把某个消息 出现的不确定性的大小,定义为自信息自信息,用这 个消息出现的概率的对数的负值来表示:自信息同时表示这个消息所包含的信息量,也就是最大能够给予 收信者的信息量。如果消息能够正确传送,收信者就能够获得这 么大小的信息量。信源所含有的信信息息量量定义为信源发出的所有可能消息的平均不确定性,香农把信源所含有的信息量称为信信息息熵熵。自信息的统计平均定义为信源熵信源熵,即:这里的q表示信源消息的个数。信息熵表示信源的平均不确定性的大小,同时表示信源输出的消息所含的平均信息量。因此,虽然信源产生的消息可能会含有不同的信息量
4、。在收信端,信源的不确定性得到部分或全部消除,收信者就得到信息。信息在数量上等于通信前后“不确定性”的消除量(减少量)1.2 信息论研究对象、目的和内容信息论研究对象、目的和内容 信息论研究对象信息论研究对象 广义的通信系统,它把所有的信息流通系统都抽象成如下模型:图1.1通信系统模型 这个通信系统主要分成五个部分:(1).信源信源 顾名思义,信源是产生消息和消息序列的源。(2).编码器编码器 编码就是把消息变成适合在信道传输的物理量信号信号。编码器可分为信源编码器和信道编码器。信源编码目的是提高通信系统有效性有效性和提高信息传输的可靠性可靠性。实际通信系统中,可靠性和有效性常常相互矛盾。(3
5、).信道信道 信道是指通信系统把载荷消息的信号从发送端送到接收端的媒介或通道,是包括收发设备在内的物理设施。(4).译码器译码器 译码就是把信道输出的已迭加了干扰的编码信号进行反变换,变成信宿能够接受的消息。译码器也可分成信源译码器和信道译码器。(5).信宿信宿信宿是消息传送的对象,即接受消息的人或机器。信息论研究的是关于这个通信系统的最根本、最本质的问题。例如:.什么是信息?如何度量信息?.怎样确定信源中含有多少信息量?.对于一个信道,它传输信息量的最高极限(信道容量)是多少?.为了能够无失真的传输信源信息,对信源编码时所需的最少的码符号数是多少?(无失真信源编码即香农第一定理香农第一定理)
6、.在有噪信道中有没有可能以接近信道容量的信息传输率传输信息而错误概率几乎为零?(有噪信道编码即香农第二定理香农第二定理).如果对信源编码时允许一定量的失真,所需的最少的码符号数又是多少?(限失真信源编码即香农第三定理香农第三定理)目前,对信息论的研究内容一般有三种理解:(1)狭义信息论:狭义信息论:又称香农信息论香农信息论。主要通过数学描述与定量分析,研究通信系统从信源到信宿的全过程,包括信息的测度、信道容量以及信源和信道编码理论等问题,强调通过编码和译码使收、发两端联合最优化,并且以定理的形式证明极限的存在这部分内容是信息论的基础理论。(2)一般信息论:一般信息论:也称工程信息论工程信息论。
7、主要也是研究信息传输和处理问题,除香农信息论的内容外,还包括噪声理论信号滤波和预测、统计检测和估计、调制理论、信息处理理论以及保密理论等(3)广义信息论:广义信息论:不仅包括上述两方面内容,而且包括所有与信息有关的自然和社会领域,如模式识别、计算机翻译、心理学、遗传学、神经生理学、语言学、语义学甚至包括社会学中有关信息的问题。2.1 自信息和互信息自信息和互信息 2.2 平均自信息平均自信息 2.3 平均互信息平均互信息 第二章第二章 信息的度量信息的度量关于信息的度量有几个重要的概念:(1)自信息自信息:一个事件(消息)本身所包含的信息量,它是由事件的不确定性决定的。比如抛掷一枚硬币的结果是
8、正面这个消息所包含的信息量(2)互信息互信息:一个事件所给出关于另一个事件的信息量,比如今天下雨所给出关于明天下雨的信息量。(3)平均自信息平均自信息(信息熵信息熵):事件集(用随机变量表示)所包含的平均信息量,它表示信源的平均不确定性。比如抛掷一枚硬币的试验所包含的信息量。(4)平均互信息平均互信息:一个事件集所给出关于另一个事件集的平均信息量比如今天的天气所给出关于明天的天气的信息量。2.1 自信息和互信息自信息和互信息2.1.1 自信息自信息随机事件的自信息量 是该事件发生概率 的函数,并且应该满足以下公理化条件:1.是 的严格递减函数。当 时,概率越小,事件发生的不确定性越大,事件发生
9、后所包含的自信息量越大 2极限情况下当=0时,;当=1时,=0。3另外,从直观概念上讲,由两个相对独立的不同的消息所提供的 信息量应等于它们分别提供的信息量之和。可以证明,满足以上公理化条件的函数形式是对数形式。定义定义2.1 随机事件的自信息量自信息量定义为该事件发生概率的对数的负值。事件 的概率为 ,则它的自信息定义为:从图2.1种可以看到上述信息量的定义正是满足上述公理性条件的函数形式。代表两种含义:当事件发生以前,等于事件发生的不确定性的大小;当事件发生以后,表示事件所含有或所能提供的信息量。图2.1自信息量自信息量的单位与所用对数的底有关。(1)常取对数的底为2,信息量的单位为比特(
10、bit,binaryunit)。当 =1/2时,=1比特,即概率等于1/2的事件具有1比特的自信 息量。(2)若取自然对数(对数以e为底),自信息量的单位为奈特(nat,naturalunit)。1奈特=比特=1.443比特 (3)工程上用以10为底较方便。若以10为对数底,则自信息量的单位 为哈特莱(Hartley)。1哈特莱=比特=3.322比特(4)如果取以r为底的对数(r1),则=进制单位 1r进制单位=比特2.1.2 互信息互信息 定义定义2.2 一个事件 所给出关于另一个事件 的信息定义为互信息互信息,用 表示。互信息 是已知事件 后所消除的关于事件 的不确定性,它等于事件 本身的
11、不确定性 减去已知事件 后对 仍然存在的不确定性 。互信息的引出,使信息得到了定量的表示,是信息论发展的一个重要的里程碑。2.2 平均自信息平均自信息 2.2.1 平均自信息平均自信息(信息熵信息熵)的概念的概念自信息量自信息量是信源发出某一具体消息所含有的信息量,发出的消息不同所含有的信息量不同。因此自信息量不能用来表征整个信源的不确定度。我们定义平均自信息量平均自信息量来表征整个信源的不确定度。平均自信息量又称为信息熵信息熵、信源熵信源熵,简称熵熵。因为信源具有不确定性,所以我们把信源用随机变量来表示,用随机变量的概率分布来描述信源的不确定性。通常把一个随机变量的所有可能的取值和这些取值对
12、应的概率 称为它的概率空间概率空间。定义定义2.3 随机变量X的每一个可能取值的自信息 的统计平均值定义为随机变量X的平均自信息量平均自信息量:这里q为的所有X可能取值的个数。熵熵的单位也是与所取的对数底有关,根据所取的对数底不同,可以是比特/符号、奈特/符号、哈特莱/符号或者是r进制单位/符号。通常用比特/符号为单位。一般情况下,信息熵并不等于收信者平均获得的信息量,收信者不能全部消除信源的平均不确定性,获得的信息量将小于信息熵。2.2.2 熵函数的性质熵函数的性质 信息熵 是随机变量X的概率分布的函数,所以又称为熵函数熵函数。如果把概率分布 ,记为 ,则熵函数又可以写成概率矢量 的函数的形
13、式,记为 。熵函数 具有以下性质:1.对称性:对称性:对称性说明熵函数仅与信源的总体统计特性有关。2.确定性:确定性:在概率矢量中,只要有一个分量为1,其它分量必为0,它们对熵的贡献均为0,因此熵等于0。也就是说确定信源的不确定度为0。3.非负性:非负性:对确定信源,等号成立。信源熵是自信息的数学期望,自信息是非负值,所以信源熵必定是非负的。4.扩展性:扩展性:这个性质的含义是增加一个基本不会出现的小概率事件,信源的熵保持不变。5.连续性:连续性:即信源概率空间中概率分量的微小波动,不会引起熵的变化。6.递增性递增性 这性质表明,假如有一信源的n个元素的概率分布为 ,其中某个元素 又被划分成m
14、个元素,这m个元素的概率之和等于元素 的概率,这样得到的新信源的熵增加,熵增加了一项是由于划分产生的不确定性。7.极值性极值性:式中n是随机变量X的可能取值的个数。极值性表明离散信源中各消息等概率出现时熵最大,这就是最大离散熵定理。连续信源的最大熵则与约束条件有关。8.上凸性上凸性:是严格的上凸函数,设 则对于任意小于1的正数 有以下不等式成立:凸函数在定义域内的极值必为极大值,可以利用熵函数的这个性质 可以证明熵函数的极值性。直观来看,随机变量的不确定程度并不都是一样的。香农香农指出,存在这样的不确定性度量,它是随机变量的概率分布的函数,而且必须满足三个公理性条件 1.连续性条件连续性条件:
15、应是的连续函数;2.等概时为单调函数等概时为单调函数:应是的增函数;3.递增性条件递增性条件:当随机变量的取值不是通过一次试验而是若干次试验才最后得到时,随机变量在各次试验中的不确定性应该可加,且其和始终与通过一次试验取得的不确定程度相同,即:其中 2.2.3 联合熵与条件熵联合熵与条件熵 一个随机变量的不确定性可以用熵来表示,这一概念可以方便地推广到多个随机变量。定义定义2.4 二维随机变量 的概率空间表示为其中:满足概率空间的非负性和完备性:二维随机变量 的联合熵联合熵定义为联合自信息的数学期望,它是二维随机变量 的不确定性的度量。定义定义2.5 给定 时,的条件熵条件熵:其中,表示已知
16、时,的平均不确定性。各类熵之间关系:各类熵之间关系:1联合熵与信息熵、条件熵的关系:这个关系可以方便地推广到N个随机变量的情况:称为熵函数的链规则熵函数的链规则。推论:推论:当二维随机变量X,Y相互独立时,联合熵等于X,Y各自熵之和:2条件熵与信息熵的关系:3联合熵和信息熵的关系:当X、Y相互独立时等号成立。2.3 平均互信息平均互信息2.3.1 平均互信息的概念平均互信息的概念 为了从整体上表示从一个随机变量Y所给出关于另一个随机变量 的信息量,我们定义互信息 在的 联合概率空间中的统计平均值为随机变量X和Y间的平均互信息平均互信息:定义定义2.6 2.3.2 平均互信息的性质平均互信息的性
17、质 1.非负性非负性:平均互信息是非负的,说明给定随机变量Y后,一般来说总能消除一部分关于X的不确定性。2.互易性互易性(对称性对称性):对称性表示从Y中获得的关于X信息量等于从X中获得的关于Y信息量3.平均互信息和各类熵的关系平均互信息和各类熵的关系:当统计独立时,4.极值性极值性:极值性说明从一个事件提取关于另一个事件的信息量,至多只能是另一个事件的平均自信息量,不会超过另一事件本身所含的信息量。5.凸函数性:凸函数性:定理定理2.1 当条件概率分布 给定时,平均互信息 是输入分 布 的上凸函数。定理定理2.2 对于固定的输入分布 ,平均互信息量 是条件概率 分布 的下凸函数。2.3.3
18、数据处理定理数据处理定理为了表述数据处理定理,需要引入三元随机变量 的平均条件互信息和平均联合互信息的概念。定义定义2.7 平均条件互信息平均条件互信息 它表示随机变量 给定后,从随机变量 所得到的关于随机变量 的信息量定义定义2.8 平均联合互信息平均联合互信息 它表示从二维随机变量 所得到得关于随机变量 的信息量。定理定理2.3 (数据处理定理数据处理定理)如果随机变量 构成一个马尔可夫链,则有以下关系成立:等号成立的条件是对于任意的 ,有:数据处理定理再一次说明,在任何信息传输系统中,最后获得的信息至多是信源所提供的信息,如果一旦在某一过程中丢失一些信息,以后的系统不管如何处理,如不触及
19、丢失信息的输入端,就不能再恢复已丢失的信息,这就是信息不增性原理,它与热熵不减原理正好对应,反映了信息的物理意义。3.1 信源的分类及其数学模型信源的分类及其数学模型 3.2 离散单符号信源离散单符号信源 3.3 离散多符号信源离散多符号信源*3.4 连续信源连续信源 第三章第三章 信源及信息熵信源及信息熵 信源信源(InformationSource)是信息的来源,是产生消息(符号)、时间离散的消息序列(符号序列)以及时间连续的消息的来源。信源输出的消息都是随机的,因此可用概率来描述其统计特性。在信息论中,用随机变量X、随机矢量X、随机过程分别表示产生消息、消息序列以及时间连续消息的信源。信
20、源的主要问题:1如何描述信源(信源的数学建模问题)2怎样计算信源所含的信息量3怎样有效的表示信源输出的消息,也就是信源编码问题3.1 信源的分类及其数学模型信源的分类及其数学模型信源分类有多种方法,根据信源输出的消息在时间和取值上是离散或连续进行分类:时间(空间)取值信源种类举例数学描述离散离散离散信源(数字信源)文字、数据、离散化图象 离散随机变量序列 离散连续连续信号跳远比赛的结果、语音信号抽样以后 连续随机变量序列 连续连续波形信源(模拟信源)语音、音乐、热噪声、图形、图象 随机过程 连续离散不常见表表3.1 信源的分类信源的分类我们还可以根据各维随机变量的概率分布是否随时间变化将信源分
21、为平稳信源平稳信源和非平稳信源非平稳信源,根据随机变量间是否统计独立将信源分为有有记忆信源记忆信源和无记忆信源无记忆信源。一个实际信源的统计特性往往是相当复杂的,要想找到精确的数学模型很困难。实际应用时常常用一些可以处理的数学模型来近似。随机序列,特别是离散平稳随机序列是我们研究的主要内容。随机序列3.2 离散单符号信源离散单符号信源 输出单个离散取值的符号的信源称为离散单符号信源离散单符号信源。它是最简单、最基本的信源,是组成实际信源的基本单元。用离散随机变量表示。信源所有可能输出的消息及其对应的概率组成的二元序对 称为信源的概率空间概率空间:信源输出的所有消息自信息的统计平均值定义为信源的
22、平均自信息量平均自信息量(信息熵信息熵),它表示离散单符号信源的平均不确定性:3.3 离散多符号信源离散多符号信源 定义定义3.1:对于随机变量序列 ,在任意两个不同时刻 和 (和 为大于1的任意整数)信源发出消息的概率分布完全相同即对于任意的 ,和具有相同的概率分布。也就是即各维联合概率分布均与时间起点无关的信源称为离散平稳信源离散平稳信源。对于离散多符号信源,我们引入熵率熵率的概念,它表示信源输出的符号序列中,平均每个符号所携带的信息量。定义定义3.2 随机变量序列中,对前N个随机变量的联合熵求平均:称为平均符号熵平均符号熵。如果当 时上式极限存在,则 称为熵率熵率,或称为极限熵极限熵,记
23、为:3.3.1 离散平稳无记忆信源离散平稳无记忆信源 离散平稳无记忆信源输出的符号序列是平稳随机序列,并且符号之间是无关的,即是统计独立的。假定信源每次输出的是N长符号序列,则它的数学模型是N维离散随机变量序列:,并且每个随机变量之间统计独立。同时,由于是平稳信源,每个随机变量的统计特性都相同,还可把一个输出N长符号序列的信源记为:根据统计独立的多维随机变量联合熵与信息熵之间的关系,可推出:离散平稳无记忆信源的熵率:3.3.2 离散平稳有记忆信源离散平稳有记忆信源 实际信源往往是有记忆信源。对于相互间有依赖关系的N维随机变量的联合熵存在以下关系(熵函数的熵函数的链规则链规则):定理定理3.1
24、对于离散平稳信源,有以下几个结论:(1)条件熵 随N的增加是递减的;(2)N给定时平均符号熵大于等于条件熵,即(3)平均符号熵随N的增加是递减的;(4)如果 ,则存在,并且有一类信源,信源在某时刻发出的符号仅与在此之前发出的有限个符号有关,而与更早些时候发出的符号无关,这称为马尔可夫性马尔可夫性,这类信源称为马尔可夫信源马尔可夫信源。马尔可夫信源可以在N不很大时得到 。如果信源在某时刻发出的符号仅与在此之前发出的m个符号有关,则称为m阶马尔可夫信源,它的熵率:(马尔可夫性)(平稳性)通常记作3.3.3 马尔可夫信源马尔可夫信源马尔可夫信源马尔可夫信源是一类相对简单的有记忆信源,信源在某一时刻发
25、出某一符号的概率除与该符号有关外,只与此前发出的有限个符号有关。因此我们把前面若干个符号看作一个状态,可以认为信源在某一时刻发出某一符号的概率除了与该符号有关外只与该时刻信源所处的状态有关,而与过去的状态无关。信源发出一个符号后,信源所处的状态即发生改变,这些状态的变化组成了马氏链。图3.1马尔可夫信源对于一般的 阶马尔可夫信源,它的概率空间可以表示成:令 ,从而得到马尔可夫信源的状态空间:状态空间由所有状态及状态间的状态转移概率组成。通过引入状态转移概率,可以将对马尔可夫信源的研究转化为对马尔可夫链的研究。下面计算遍历的m阶马尔可夫信源的熵率。当时间足够长后,遍历的马尔可夫信源可以视作平稳信
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论 基础教程
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【精***】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【精***】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。