信息论与编码课件第二章.pptx
《信息论与编码课件第二章.pptx》由会员分享,可在线阅读,更多相关《信息论与编码课件第二章.pptx(93页珍藏版)》请在咨信网上搜索。
1、第二章第二章 作业作业教材第教材第5959页页 6262页页2.12.1,2.22.2,2.3(1)(2)2.3(1)(2),2.42.4,2.82.8,2.132.13,2.142.14,2.162.16信源分类和描述信源分类和描述信源分类和描述信源分类和描述=离散信源离散信源连续信源连续信源=信源分类和描述信源分类和描述单符号信源单符号信源 X符号序列信源符号序列信源 XN (N次扩展信源)次扩展信源)信源分类和描述信源分类和描述无记忆信源无记忆信源有记忆信源有记忆信源信息的特性信息的特性n事件(消息)的信息量大小与其不确定事件(消息)的信息量大小与其不确定度(概率)有关度(概率)有关n事
2、件概率越小,信息量越大事件概率越小,信息量越大n确定性事件的信息量为零,不可能事件确定性事件的信息量为零,不可能事件的信息量为无穷大的信息量为无穷大n信息量具有可加性信息量具有可加性离散信源符号的信息量离散信源符号的信息量信息量定义信息量定义 信息量单位信息量单位 对数的底对数的底a=2=2时,信息量单位为时,信息量单位为比特比特(bit(bit)对数的底对数的底a=e=e时,信息量单位为时,信息量单位为奈特奈特(nat(nat)对数的底对数的底a=3=3时,信息量单位为时,信息量单位为铁特铁特(Tet(Tet)对数的底对数的底a=10=10时,信息量单位为时,信息量单位为哈特哈特(Hart(
3、Hart)-离散信源符号的信息量离散信源符号的信息量P(x)P(x)I(X)=logI(X)=log2 2(p)(p)离散信源的信息熵离散信源的信息熵(Entropy)信息熵定义信息熵定义(信息量的信息量的统计平均统计平均或者说或者说数学期望数学期望)信息熵单位信息熵单位 对数的底对数的底a=2=2时,信息熵单位为时,信息熵单位为比特比特/符号符号(bit/(bit/符号)符号)对数的底对数的底a=e=e时,信息熵单位为时,信息熵单位为奈特奈特/符号符号(nat/(nat/符号)符号)对数的底对数的底a=3=3时,信息熵单位为时,信息熵单位为铁特铁特/符号符号(Tet/(Tet/符号)符号)对
4、数的底对数的底a=10=10时,信息熵单位为时,信息熵单位为哈特哈特/符号符号(Hart/(Hart/符号)符号)H(X)=离散二元信源的信息熵离散二元信源的信息熵离散信源信息熵的含义离散信源信息熵的含义nH(X)表示信源的平均不确定度表示信源的平均不确定度平均平均信息量信息量nH(X)表示信源的随机性表示信源的随机性 nH(X)表示信源输出每个符号所提供的平表示信源输出每个符号所提供的平均信息量均信息量nH(X)表示信宿所能获得的最大信息量表示信宿所能获得的最大信息量 条件自信息量与条件熵条件自信息量与条件熵条件自信息量定义条件自信息量定义条件熵定义条件熵定义(条件自信息量的条件自信息量的统
5、计平均统计平均)I(x|y)=log=-log p(x|y)=联合自信息量与联合熵联合自信息量与联合熵联合自信息量定义联合自信息量定义联合熵定义联合熵定义(联合自信息量的联合自信息量的统计平均统计平均)I(xy)=log=-log p(xy)=自信息量、条件信息量、联合信息量自信息量、条件信息量、联合信息量三者之间的关系三者之间的关系当事件当事件x 和事件和事件y 相互独立时有相互独立时有信息熵、条件熵、联合熵信息熵、条件熵、联合熵三者之间的关系三者之间的关系当集合当集合X 和集合和集合Y 相互独立时有相互独立时有例例例例题题题题 有有有有两两两两个个个个二二二二元元元元随随随随机机机机变变变
6、变量量量量X X X X和和和和Y Y Y Y,它它它它们们们们的的的的联联联联合合合合概概概概率率率率为为为为并定义另一随机变量并定义另一随机变量并定义另一随机变量并定义另一随机变量Z Z Z Z=X X X X Y Y Y Y(一般乘积(一般乘积(一般乘积(一般乘积),试计算:,试计算:,试计算:,试计算:(1)(1)(1)(1)熵熵熵熵 H(X)H(X)H(X)H(X)、H(Y)H(Y)H(Y)H(Y)、H(Z)H(Z)H(Z)H(Z)、H(X,Z)H(X,Z)H(X,Z)H(X,Z)、H(Y,Z)H(Y,Z)H(Y,Z)H(Y,Z)、H(X,Y,Z)H(X,Y,Z)H(X,Y,Z)H(
7、X,Y,Z)(2)(2)(2)(2)条件熵条件熵条件熵条件熵 H(X|Y)H(X|Y)H(X|Y)H(X|Y)、H(X|Z)H(X|Z)H(X|Z)H(X|Z)、H(Z|X)H(Z|X)H(Z|X)H(Z|X)、H(Z|Y)H(Z|Y)H(Z|Y)H(Z|Y)、H(Y|Z)H(Y|Z)H(Y|Z)H(Y|Z)、H(Y|XZ)H(Y|XZ)H(Y|XZ)H(Y|XZ)、H(Z|XY)H(Z|XY)H(Z|XY)H(Z|XY)(3)(3)(3)(3)互信息互信息互信息互信息 I(X;Y),I(X;Z),I(Y;Z);I(X;Y|Z),I(X;Y),I(X;Z),I(Y;Z);I(X;Y|Z),I(
8、X;Y),I(X;Z),I(Y;Z);I(X;Y|Z),I(X;Y),I(X;Z),I(Y;Z);I(X;Y|Z),I(Y;Z|X)I(Y;Z|X)I(Y;Z|X)I(Y;Z|X)和和和和I(X;Z|Y)I(X;Z|Y)I(X;Z|Y)I(X;Z|Y)p p(xyxy)x x=0=0 x x=1=1y y=0=01/81/83/83/8y y=1=13/83/81/81/8解:(1)根据 和 的联合概率分布,分别求得 X 、Y 和 Z 的边沿概率分布如下:0 1 0 1 0 1 7/8 1/8 和和 以及以及 和和 的联合概率分布函数分别的联合概率分布函数分别为:为:0 1 0 1 0 1 0
9、 1 0 1/2 0 0 1/2 0 0 1/2 0 0 1/2 0 1 3/8 1/8 1 3/8 1/8 1 3/8 1/8 1 3/8 1/8 、和和 的联合分布函数为的联合分布函数为 n n根据上述概率分布函数,分别求得:根据上述概率分布函数,分别求得:(2)(2)根据根据(1)(1)得到的联合概率分布和边沿概率分布得到的联合概率分布和边沿概率分布函数,求得如下条件概率分布函数,求得如下条件概率分布 0 1 0 10 1 0 1 0 1/4 3/4 0 4/7 0 0 1/4 3/4 0 4/7 0 1 3/4 1/4 1 3/7 1 1 3/4 1/4 1 3/7 1 0 1 0 1
10、 0 1 0 0 1 0 1 3/4 1/4 1 3/4 1/4 又因为又因为因此因此所以所以n n(3)(3)熵函数熵函数 H(p)的性质的性质信息熵信息熵 H(X)的函数表达的函数表达H(p)(1)(1)对称性对称性(2)(2)非负性非负性(离散信源离散信源)(3)(3)扩展性扩展性熵函数熵函数 H(p)的性质的性质(4)(4)确定性确定性(5)(5)可加性可加性(6)(6)极值性极值性熵函数熵函数 H(p)的性质的性质熵函数熵函数 H(p)的性质的性质(7)(7)上凸性上凸性小结:小结:信息熵信息熵 信息论中的最基础的基本概念信息论中的最基础的基本概念 对随机变量不确定性的最好的度量对随
11、机变量不确定性的最好的度量 用来描述信源的信息特性用来描述信源的信息特性互信息量的提出与定义互信息量的提出与定义互信息量提出互信息量提出互信息量定义互信息量定义互互信息量信息量 =(收到消息之前收到消息之前关于某事件的不确定度)关于某事件的不确定度)-(收到消息之后收到消息之后关于该事件的不确定度)关于该事件的不确定度)=消息消息不确定度的减小量不确定度的减小量 设某班学生在一次考试中获优(设某班学生在一次考试中获优(A)、)、良(良(B)、)、中(中(C)、)、及格(及格(D)和不及格(和不及格(E)的人数相等。当教师通知某甲:的人数相等。当教师通知某甲:“你没有不及格你没有不及格”,甲获得
12、了多少比特信息?为确定自己的,甲获得了多少比特信息?为确定自己的成绩,甲还需要多少信息?成绩,甲还需要多少信息?例例解:解:令令P(x)P(x)表示表示“得到老师通知前甲的成绩的不确定性(概率)得到老师通知前甲的成绩的不确定性(概率)”P(x|y)P(x|y)表示表示“得到老师通知后甲的成绩的不确定性(概率)得到老师通知后甲的成绩的不确定性(概率)”则则 P(x)=1/5P(x)=1/5,P(x|y)=1/4P(x|y)=1/4总的需要总的需要信息信息剩余信息剩余信息获得信息获得信息条件互信息量与联合互信息量条件互信息量与联合互信息量条件互信息量定义条件互信息量定义联合互信息量定义联合互信息量
13、定义自信息量与互信息量的自信息量与互信息量的区分区分(表达方式和含义上表达方式和含义上)信息量信息量互信息量互信息量自信息量与互信息量的自信息量与互信息量的联系联系平均互信息量平均互信息量平均互信息量定义平均互信息量定义平均条件互信息量定义平均条件互信息量定义平均联合互信息量定义平均联合互信息量定义(1)(1)非负性非负性(2)(2)互易性互易性(3)(3)极值性极值性平均互信息量平均互信息量 I(X;Y)的性质的性质不具有非负性不具有非负性(4)(4)I(X;Y)与信息熵的关系与信息熵的关系(5)(5)凸函数性凸函数性平均互信息量平均互信息量 I(X;Y)的性质的性质当当 p(y|x)给定时
14、,给定时,I(X;Y)是是 p(x)的上凸函数。的上凸函数。当当 p(x)给定时,给定时,I(X;Y)是是 p(y|x)的下凸函数。的下凸函数。I(X;Y)与信息熵的关系与信息熵的关系I(X;Y)=0H(X)H(Y)H(XY)集合集合X与集合与集合Y 相互独立相互独立的情况的情况 I(X;Y)与信息熵的关系与信息熵的关系H(XY)H(X|Y)H(Y|X)H(X)H(Y)H(X|Y)含糊度或损失熵含糊度或损失熵 H(Y|X)散布度或噪声熵散布度或噪声熵 I(X;Y)与信息熵的关系与信息熵的关系H(X)=H(Y)=I(X;Y)H(XY)集合集合X与集合与集合Y 完全相关完全相关的情况的情况 I(X
15、;Y)与信息熵的关系与信息熵的关系H(X|Y)I(X;Y)的凸函数性的凸函数性I(X;Y)的凸函数性的凸函数性I(X;Y)的凸函数性的凸函数性当当 p(y|x)给定时,给定时,I(X;Y)=f p(x)是是上凸上凸函数。函数。当当 p(x)给定时,给定时,I(X;Y)=f p(y|x)是是下凸下凸函数。函数。C 信道容量信道容量R(D)率失真函数率失真函数小结小结互信息量互信息量 信息论中的另一个基本概念(差值)信息论中的另一个基本概念(差值)对两个随机变量之间统计依存性的信息度量对两个随机变量之间统计依存性的信息度量 用来描述信道特性和信源的压缩特性用来描述信道特性和信源的压缩特性信息熵信息
16、熵 信息论中的最基础的基本概念信息论中的最基础的基本概念 对随机变量不确定性的最好的度量对随机变量不确定性的最好的度量 用来描述信源的信息特性用来描述信源的信息特性信息不增性原理信息不增性原理(定理定理2.4)2.4)信道信道p(y|x)信道信道 p(z|xy)XYZ当且仅当当且仅当p(z|xy)=)=p(z|y)时,等号成立。时,等号成立。穿越凤凰山穿越凤凰山-游戏:动作游戏:动作传递传递 信息不增性原理信息不增性原理(定理定理2.5)2.5)信道信道p(y|x)信道信道 p(z|y)XYZ当且仅当当且仅当Y和和Z是一一对应关系时,等号成立。是一一对应关系时,等号成立。平稳离散信源平稳离散信
17、源(1)(1)平稳离散信源的概念平稳离散信源的概念(2)(2)平稳离散信源的熵平稳离散信源的熵(3)(3)信源的冗余度与信息速率信源的冗余度与信息速率 信源的符号序列统计特性与时间的起点无关信源的符号序列统计特性与时间的起点无关平稳离散信源的熵平稳离散信源的熵随机矢量的熵(联合熵)随机矢量的熵(联合熵)极限熵(熵率)极限熵(熵率)平均符号熵平均符号熵定理定理定理定理2.6 2.6 2.6 2.6 设设设设证明:极限的存在性证明:极限的存在性证明:极限的存在性证明:极限的存在性 为单调有界序列。为单调有界序列。为单调有界序列。为单调有界序列。有记忆有记忆平稳离散信源的熵平稳离散信源的熵红楼梦红楼
18、梦葬花吟葬花吟 陈力陈力 三国演义主题曲三国演义主题曲 我们有我们有 则则又又得得定理定理说明:说明:说明:说明:n n随机变量之间的依赖性在某种程度上降低了信源随机变量之间的依赖性在某种程度上降低了信源随机变量之间的依赖性在某种程度上降低了信源随机变量之间的依赖性在某种程度上降低了信源的不确定性,即使信源(符号)携带的信息量减的不确定性,即使信源(符号)携带的信息量减的不确定性,即使信源(符号)携带的信息量减的不确定性,即使信源(符号)携带的信息量减少。少。少。少。n n当考虑依赖关系无限长时,平均符号熵和条件熵当考虑依赖关系无限长时,平均符号熵和条件熵当考虑依赖关系无限长时,平均符号熵和条
19、件熵当考虑依赖关系无限长时,平均符号熵和条件熵都是非递增地一致趋于平稳信源的极限熵。都是非递增地一致趋于平稳信源的极限熵。都是非递增地一致趋于平稳信源的极限熵。都是非递增地一致趋于平稳信源的极限熵。无记忆无记忆平稳离散信源的熵平稳离散信源的熵无记忆平稳离散信源:信源输出为平稳独立的随无记忆平稳离散信源:信源输出为平稳独立的随机序列机序列又各分量分布相同又各分量分布相同无记忆无记忆平稳离散信源的熵平稳离散信源的熵无记忆无记忆平稳离散信源的熵平稳离散信源的熵随机矢量的熵(联合熵)随机矢量的熵(联合熵)极限熵极限熵平均符号熵平均符号熵信源的冗余度与信息速率信源的冗余度与信息速率对于离散平稳信源对于离
20、散平稳信源对于离散平稳信源对于离散平稳信源n n理论上:实际的熵为理论上:实际的熵为理论上:实际的熵为理论上:实际的熵为 即信源所能输即信源所能输即信源所能输即信源所能输 出的信息量出的信息量出的信息量出的信息量需要传递需要传递需要传递需要传递 的手段。的手段。的手段。的手段。n n实际上:因信源的统计特性了解不全实际上:因信源的统计特性了解不全实际上:因信源的统计特性了解不全实际上:因信源的统计特性了解不全只能算出只能算出只能算出只能算出 作为信源信息量作为信源信息量作为信源信息量作为信源信息量需要传递需要传递需要传递需要传递 的手的手的手的手段。段。段。段。分析:分析:分析:分析:造成传递
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论 编码 课件 第二
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【w****g】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【w****g】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。