信息论复习资料.pdf
《信息论复习资料.pdf》由会员分享,可在线阅读,更多相关《信息论复习资料.pdf(10页珍藏版)》请在咨信网上搜索。
1、 光纤通信复习 张亚威 2012/06/20 基本概念 考试题型:填空 30 判断 30 名词解释 4*5 计算 3 道 20 分 第一章 1、自信息和互信息 P6 公式 2、信道 P9 概念 第二章 1、离散平稳信源 P18 概念 2、离散无记忆信源 P19 概念 3、时齐马尔可夫信源 P20 概念 4、自信息 P22 概念 5、信息熵 P25 概念 6、信息熵的基本性质 P28 1)对称性 2)确定性 3)非负性 4)扩展性 5)可加性 6)强可加性 7)递增性 8)极值性 9)上凸性 7、联合熵 条件熵 P42 公式 P43 例题 8、马尔克夫信源 P54 公式 P55 例题 9、信源剩
2、余度 P58 10、熵的相对率 信源剩余度 P58 11、课后作业:2、4、13、21、22 第三章 1、有记忆信道 P73 概念 2、二元对称信道 BSC P74 3、前向概率、后向概率、先验概率、后验概率 P76 4、条件熵 信道疑义度、平均互信息 P77 5、平均互信息、联合熵、信道疑义度、噪声熵计算公式 P78 6、损失熵 噪声熵 P79 7、平均互信息的特性 P82 1)非负性 2)极值性 3)交互性 4)凸状性 8、信息传输率 R P86 9、无噪无损信道 P87 概念 10、有噪无损信道 P88 概念 11、对称离散信道 P89 概念 光纤通信复习 张亚威 2012/06/21
3、12、对称离散信道的信道容量 P90 公式 13、强对称信道信道容量 P91 公式 14、离散无记忆信道 DMC P105 15、独立并联信道及其信道容量 P110 16、数据处理定理 P113 定理 17、信道剩余度 P118 公式 18、课后作业:1、3、9 第五章 1、编码:实质上是对信源的原始符号按一定的数学规则进行的一种变换。2、等长码 P172 概念 3、等长信源编码定理 P178 4、编码效率 P180 5、克拉夫特不等式 P184 6、香农第一定理 P191 7、码的剩余度 P194 第六章 1、最大后验概率准则 最小错误概率准则 P200 2、最大似然译码准则 P201 3、
4、费诺不等式 P202 4、信息传输率(码率)P205 5、香农第二定理 P215 6、课后习题 3、第八章 1、霍夫曼码 最佳码 P273 2、费诺码 P279 3、课后习题 11、第八章 1、编码原则 译码原则 P307 2、定理 9.1 P313 3、分组码的码率 P314 公式 4、课后习题 3、一、填空题 1、在现代通信系统中,信源编码主要用于解决信息传输中的 有效性 ,信道编码主要用于解决信息传输中的 可靠性,加密编码主要用于解决信息传输中的 安全性 。2、采用m进制编码的码字长度为Ki,码字个数为n,则克劳夫特不等式为11niKim,它是判断 唯一可译码存在 的充要条件。3、差错控
5、制的基本方式大致可以分为 前向纠错 、反馈重发 和 混合纠错 。4、如果所有码字都配置在二进制码树的叶节点,则该码字为 唯一可译码 。5、某离散无记忆信源 X,其符号个数为 n,则当信源符号呈 等概_分布情况下,信源熵取最大值_log(n)。光纤通信复习 张亚威 2012/06/20 6、信源编码的主要目的是提高有效性,信道编码的主要目的是提高可靠性。7、信源的剩余度主要来自两个方面,一是信源符号间的相关性,二是信源符号的统计不均匀性。8、三进制信源的最小熵为 0,最大熵为32logbit/符号。9、无失真信源编码的平均码长最小理论极限制为信源熵(或 H(S)/logr=Hr(S))。10、当
6、 R=C 或(信道剩余度为 0)时,信源与信道达到匹配。11、根据信道特性是否随时间变化,信道可以分为恒参信道和随参信道。12、根据是否允许失真,信源编码可分为无失真信源编码和限失真信源编码。13、连续信源的绝对熵为 无穷大。(或 lglimlgp xp x dx)14、离散无记忆信源在进行无失真变长信源编码时,编码效率最大可以达到 1 。15、无记忆信源是指 信源先后发生的符号彼此统计独立 。16、离散无记忆信源在进行无失真变长编码时,码字长度是变化的。根据信源符号的统计特性,对概率大的符号用 短 码,对概率小的符号用 长 码,这样平均码长就可以降低,从而提高 有效性(传输速率或编码效率)。
7、17、为了提高系统的有效性可以采用 信源编码 ,为了提高系统的可靠性可以采用 信道编码 。18、八进制信源的最小熵为 0 ,最大熵为 3bit/符号 。19、即时码是指 任一码字都不是其它码字的前缀 。20、一个事件发生的概率为 0.125,则自信息量为 3bit/符号 。21、信源的剩余度主要来自两个方面,一是 信源符号间的相关性 ,二是 信源符号概率分布的不均匀性 。22、m 阶马尔可夫信源的记忆长度为 m+1 ,信源可以有 qm 个不同的状态。23、同时扔出一对均匀的骰子,当得知“两骰子面朝上点数之和为 2”所获得的信息量为 lg36=5.17 比特,当得知“面朝上点数之和为 8”所获得
8、的信息量为 lg36/5=2.85 比特。二、判断题 1、信息就是一种消息。()2、信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。()3、概率大的事件自信息量大。()4、互信息量可正、可负亦可为零。()5、信源剩余度用来衡量信源的相关性程度,信源剩余度大说明信源符号间的依赖关系较小。()6、对于固定的信源分布,平均互信息量是信道传递概率的下凸函数。()7、非奇异码一定是唯一可译码,唯一可译码不一定是非奇异码。()8、信源变长编码的核心问题是寻找紧致码(或最佳码),霍夫曼编码方法构造的是最佳码。()9、信息率失真函数 R(D)是关于平均失真度 D 的上凸函数
9、.()三、名词解析题 1.什么是平均自信息(信息熵)?什么是平均互信息?比较一下两个概念的异同之处。光纤通信复习 张亚威 2012/06/21 答:平均自信息为 表示信源的平均不确定度,也表示平均每个信源消息所提供的信息量。平均互信息为 表示从 Y 获得的关于每个 X 的平均信息量,也表示发 X 前后 Y 的平均不确定性减少的量,还表示通信前后整个系统不确定性减少的量。2.解释最小错误概率译码准则,最大似然译码准则和最小距离译码准则,说明三者的关系。答:最小错误概率译码准则下,将接收序列译为后验概率最大时所对应的码字。最大似然译码准则下,将接收序列译为信道传递概率最大时所对应的码字。最小距离译
10、码准则下,将接收序列译为与其距离最小的码字。三者关系为:输入为等概率分布时,最大似然译码准则等效于最小错误概率译码准则。在二元对称无记忆信道中,最小距离译码准则等效于最大似然译码准则。3.分别说明信源的概率分布和信道转移概率对平均互信息的影响,说明平均互信息与信道容量的关系。答:平均互信息相对于信源概率分布为上凸函数,相对于信道传递概率分布为下凹函数。平均互信息的最大值为信道容量。四、计算题 1、设有一批电阻,按阻值分 70%是 2k,30%是 5k;按功耗分 64%是 1/8W,36%是 1/4W。现已知 2k电阻中 80%是 1/8W,假如得知 5k电阻的功耗为 1/4W,问获得多少信息量
11、。解:根据题意有3.07.05221krkrR,36.064.04/128/11wwW,8.0)1/1(rwp 由15/4)2/1()2/1()2()1/1()1()1(rwprwprprwprpwp 所以15/11)2/1(1)2/2(rwprwp 得知 5k电阻的功耗为 1/4W,获得的自信息量为)2/2(rwplb0.448bit 2、已知 6 符号离散信源的出现概率为321321161814121654321aaaaaa,试计算它的熵、Huffman 编码和费诺编码的码字、平均码长及编码效率。解:该离散信源的熵为323213232116161881441221)()(61lblblbl
12、blblbplbpxHiii=1.933 bit/符号 Huffman 编码为:光纤通信复习 张亚威 2012/06/20 a1 0.5 a2 0.25 a3 0.125 a4 0.0625 a5 0.03125 a6 0.03125 0.0625 0.125 0.25 0.5 1.0 1 1 1 1 0 0 0 0 0 1 符号符号 概率概率 码字码字 1 01 001 0001 00001 00000 平均码长符号码元/933.15*3215*3214*1613*812*411*21l 编码效率为%100)(lxH 平均码长符号码元/933.15*3215*3214*1613*812*41
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论 复习资料
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【1587****927】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【1587****927】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。