老师整理的信息论知识点.doc
《老师整理的信息论知识点.doc》由会员分享,可在线阅读,更多相关《老师整理的信息论知识点.doc(12页珍藏版)》请在咨信网上搜索。
1、Chp02知识点:自信息量: 1) 2)对数采用的底不同,自信息量的单位不同。 2-比特(bit)、e-奈特(nat)、10-哈特(Hart)3)物理意义:事件发生以前,表示事件发生的不确定性的大小;事件发生以后,表示事件所含有或所能提供的信息量。平均自信息量(信息熵):1) 2)对数采用的底不同,平均自信息量的单位不同。 2-比特/符号、e-奈特/符号、10-哈特/符号。3)物理意义:对信源的整体的不确定性的统计描述。表示信源输出前,信源的平均不确定性;信源输出后每个消息或符号所提供的平均信息量。4)信息熵的基本性质:对称性、确定性、非负性、扩展性、连续性、递推性、极值性、上凸性。 互信息:
2、 1)2)含义:已知事件后所消除的关于事件的不确定性,对信息的传递起到了定量表示。平均互信息:1)定义: 2)性质:联合熵和条件熵:各类熵之间的关系:数据处理定理:Chp03知识点:依据不同标准信源的分类:离散单符号信源:1)概率空间表示: 2)信息熵:,表示离散单符号信源的平均不确定性。离散多符号信源:用平均符号熵和极限熵来描述离散多符号信源的平均不确定性。平均符号熵:极限熵(熵率):(1)离散平稳信源(各维联合概率分布均与时间起点无关的信源。)(2)离散无记忆信源:信源各消息符号彼此互不相关。 最简单的二进制信源:,信源输出符号只有两个:“0”和“1”。 离散无记忆信源的N次扩展:若信源符
3、号有q个,其N次扩展后的信源符号共有qN个。 离散无记忆信源X的N次扩展信源XN的熵:等于信源X的熵的N倍,表明离散无记忆信源X的N次扩展信源每输出1个消息符号(即符号序列)所提供的信息熵是信源X每输出1个消息符号所提供信息熵的N倍。 离散无记忆信源X的N次扩展信源XN极限熵(熵率)为:(3)离散有记忆信源马尔可夫信源时间和状态都是离散的马尔可夫过程称为马尔可夫链1)用分布律描述:2)转移概率:即条件概率。3)转移概率矩阵:用表示n步转移概率矩阵。且,会写出马氏链的一步转移概率矩阵,会画状态转移图,能够求出n步转移概率矩阵。4)遍历性的概念:求解马氏信源的遍历性,即找一正整数m,使m步转移概率
4、矩阵中无零元。求解马氏遍历信源的信息熵步骤:(1) 根据题意画出状态转移图,判断出是平稳遍历的马尔可夫信源;(2) 根据状态转移图写出一步转移概率矩阵,计算信源的极限分布即是求解方程组:(3) 根据一步转移概率矩阵和极限概率W计算信源的信息熵:极限熵H 等于条件熵Hm+1。(m阶马尔可夫信源的熵率)信源的相关性和剩余度:,用来衡量信源输出的符号序列中各符号之间的依赖程度。当剩余度0时,信源的熵极大熵H0,表明信源符号之间:(1)统计独立无记忆;(2)各符号等概分布。连续信源:(1) 微分熵:i. 定义:ii. 物理意义:(2) 连续信源的联合熵和条件熵(3) 几种特殊连续信源的熵:a) 均匀分
5、布的连续信源的熵:b) 高斯分布的连续信源的熵:【概率密度函数:】c) 指数分布的连续信源的熵: 【概率密度函数: 】(4) 最大连续熵定理:a) 限峰值功率的最大熵定理(输出幅值受限):均匀分布b) 限平均功率的最大熵定理(输出平均功率受限):高斯分布(5) 熵功率及连续信源的剩余度Chp04知识点:一、 一些基本概念:1 什么是信道?信道的作用,研究信道的目的。2 一般信道的数学模型,信道的分类(根据输入输出随即信道的特点,输入输出随机变量个数的多少,输入输出个数,有无干扰,有无记忆,信道的统计特性进行不同的分类)3 前向概率p(yj /xi)、后向概率/后验概率p(xi /yj)、先验概
6、率p(xi) 。4 几个熵的含义: H(X) -表示信源的不确定性; H(X|Y)- 信道疑义度,表示如果有干扰的存在,接收端收到Y后对信源仍然存在的不确定性。也称为损失熵,表示信源符号通过有噪信道传输后所引起的信息量的损失。 H(Y|X)- 噪声熵,它反映了信道中噪声源的不确定性。二、 离散信道:1 单符号离散信道:a) 信道模型的表示:传递矩阵(有传递(条件、转移)概率p(yj|xi)组成);b) 信道的信息传输率:R=I(X;Y)表示接收到输出符号集Y后所消除的对于信源X的不确定性,也就是获得的关于信源的信息。它是平均意义上每传送一个符号流经信道的信息量。关于I(X;Y)的性质:I(X;
7、Y)是信源概率分布p(xi)和信道转移概率p(yj|xi)的二元函数:那么,当信道特性p(yj /xi)固定后,I(X;Y)随信源概率分布p(xi)的变化而变化。调整p(xi),在接收端就能获得不同的信息量。由平均互信息的性质已知,对于给定的信道转移概率p(yj /xi),I(X;Y)是输入分布p(xi)的上凸函数,因此总能找到一种概率分布p(xi)(即某一种信源),使信道所能传送的信息率为最大。那么这个最大的信息传输率即为信道容量。c) 信道容量概念:在信道中最大的信息传输速率对于给定的信道,总能找到一个最佳输入分布使得I(X;Y)得到极大值。d) 信道容量的含义:信道容量是完全描述信道特性
8、的参量,信道容量是信道传送信息的最大能力的度量,信道实际传送的信息量必然不大于信道容量。2 几种特殊离散信道的信道容量:a) 具有一一对应关系的无噪信道:n-输入符号数 ,m-输出符号数当信源呈等概率分布时,具有一一对应确定关系的无噪信道达到信道容量C:b) 具有扩展性能的无损信道:c) 具有归并性能的无噪信道:注意:在求信道容量时,调整的始终是输入端的概率分布p(xi) ,尽管信道容量式子中平均互信息I(X;Y)等于输出端符号熵H(Y),但是在求极大值时调整的仍然是输入端的概率分布p(xi) ,而不能用输出端的概率分布p(yj)来代替。也就是一定能找到一种输入分布使输出符号Y达到等概率分布。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 老师 整理 信息论 知识点
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【快乐****生活】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【快乐****生活】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。