信息论与编码课件第三章.pptx
《信息论与编码课件第三章.pptx》由会员分享,可在线阅读,更多相关《信息论与编码课件第三章.pptx(64页珍藏版)》请在咨信网上搜索。
1、第三章第三章 作业作业教材第教材第9191页页 9393页页3.13.1,3.2(b)3.2(b),3.3(1)(3)3.3(1)(3),3.103.10,3.113.11空间传输空间传输:各种物理通道各种物理通道-电缆、光缆、空间等。电缆、光缆、空间等。时间传输时间传输:指将信息保存,然后在以后读取。指将信息保存,然后在以后读取。信道的数学模型和分类信道的数学模型和分类信道概念信道概念通信系统的组成部分,传递和通信系统的组成部分,传递和存储信息的通道或媒质存储信息的通道或媒质,包括包括空间传输和时间传输。空间传输和时间传输。狭义信道:电传播介质(电缆,自由空间)狭义信道:电传播介质(电缆,自
2、由空间)通信设备(信息经过的通道)通信设备(信息经过的通道)广义信道:测量、观察设备(示波器)广义信道:测量、观察设备(示波器)存储、记忆设备(磁带,光盘,书存储、记忆设备(磁带,光盘,书 信等)信等)信道的数学模型和分类信道的数学模型和分类w输入输出关系:转移概率输入输出关系:转移概率 p p(y y|x x)w信道描述:信道描述:1.1.输入集合输入集合 2.2.输出集合输出集合 3.3.输入输出的转移概率分布输入输出的转移概率分布w研究目标:从信道的输出了解信道的输入研究目标:从信道的输出了解信道的输入信道的数学模型和分类信道的数学模型和分类 按信道输入输出符号分类按信道输入输出符号分类
3、 输入、输出空间状态集合时间集合输入、输出空间状态集合时间集合 离散信道(数字信道):输入输出空间为离散。离散信道(数字信道):输入输出空间为离散。连续信道:状态集合连续,时间集合离散。连续信道:状态集合连续,时间集合离散。模拟信道(波形信道):输入输出空间为连续。模拟信道(波形信道):输入输出空间为连续。信道的数学模型和分类信道的数学模型和分类有记忆信道:输出有记忆信道:输出 Y不仅与当前的输入不仅与当前的输入 X 有关,有关,而且与前面的输入有关。而且与前面的输入有关。无记忆信道:输出无记忆信道:输出 Y 仅与当前的输入仅与当前的输入 X 有关,有关,与前面的输入无关。与前面的输入无关。信
4、道的数学模型和分类信道的数学模型和分类 按信道转移概率分布函数的特点分类按信道转移概率分布函数的特点分类信道的数学模型和分类信道的数学模型和分类单用户信道:输入和输出都只有一个的单向通信单用户信道:输入和输出都只有一个的单向通信信道。信道。多用户信道:输入和输出中至少有一端有两个以多用户信道:输入和输出中至少有一端有两个以上的用户,且可以进行双向通信。上的用户,且可以进行双向通信。按输入和输出的数目分类按输入和输出的数目分类固定参数(恒参)信道:信道的统计特性不随固定参数(恒参)信道:信道的统计特性不随时间变化。时间变化。时变参数(随参)信道:信道的统计特性随时时变参数(随参)信道:信道的统计
5、特性随时间变化。间变化。信道的数学模型和分类信道的数学模型和分类 按信道的统计特性与时间的关系分类按信道的统计特性与时间的关系分类w单符号无记忆离散信道的信道容量单符号无记忆离散信道的信道容量 数学模型:数学模型:或或离散无记忆信道的信道容量离散无记忆信道的信道容量研究目标:了解输出端能从输入端得到多少信息?即如研究目标:了解输出端能从输入端得到多少信息?即如研究目标:了解输出端能从输入端得到多少信息?即如研究目标:了解输出端能从输入端得到多少信息?即如 何将信道所能传递的信息定量化?何将信道所能传递的信息定量化?何将信道所能传递的信息定量化?何将信道所能传递的信息定量化?数学表示:互信息数学
6、表示:互信息数学表示:互信息数学表示:互信息 I I(X X;Y Y)I I(X X;Y Y)=HH(X X)-HH(X X|Y Y)=HH(Y Y)-HH(Y Y|X X)分析:分析:分析:分析:p p(y y|x x)给定,给定,给定,给定,I I(X X;Y Y)随输入分布随输入分布随输入分布随输入分布p p(x x)变化而变化。变化而变化。变化而变化。变化而变化。调整该分布可使互信息达到最大值,即给出了信道调整该分布可使互信息达到最大值,即给出了信道调整该分布可使互信息达到最大值,即给出了信道调整该分布可使互信息达到最大值,即给出了信道所能传递的最大信息量。定义该最大值为给定信道所能传
7、递的最大信息量。定义该最大值为给定信道所能传递的最大信息量。定义该最大值为给定信道所能传递的最大信息量。定义该最大值为给定信道的信道容量,用的信道容量,用的信道容量,用的信道容量,用C C 表示:表示:表示:表示:求信道容量:找到最佳分布,使互信息达到最大值。求信道容量:找到最佳分布,使互信息达到最大值。求信道容量:找到最佳分布,使互信息达到最大值。求信道容量:找到最佳分布,使互信息达到最大值。(最佳分布:达到信道容量时的信源分布。)(最佳分布:达到信道容量时的信源分布。)(最佳分布:达到信道容量时的信源分布。)(最佳分布:达到信道容量时的信源分布。)离散无记忆信道的信道容量离散无记忆信道的信
8、道容量 离散无记忆信道的信道容量离散无记忆信道的信道容量说明:说明:C 客观反映信道的传输能力,只与信道特性有客观反映信道的传输能力,只与信道特性有关,而与信源无关,表示每个符号可能传输的关,而与信源无关,表示每个符号可能传输的最大信息量。最大信息量。可以通过编码改变信源的分布使互信息达到最可以通过编码改变信源的分布使互信息达到最大值。大值。离散无记忆信道的信道容量离散无记忆信道的信道容量定理定理3.13.1:对于信道矩阵为:对于信道矩阵为 P 的离散无记忆信的离散无记忆信道,其输入分布道,其输入分布 p(x)能使互信息能使互信息 I(X;Y)达到达到最大值(信道容量)的充要条件是最大值(信道
9、容量)的充要条件是离散无记忆信道的信道容量离散无记忆信道的信道容量例例3.33.3(P P:70 70)取输入分布取输入分布 离散无记忆信道的信道容量离散无记忆信道的信道容量所以由定理所以由定理3.13.1得,得,最佳分布最佳分布离散无记忆信道的信道容量离散无记忆信道的信道容量1.1.无噪无损信道无噪无损信道特殊特殊DMC的信道容量的信道容量a1b1a2anb2bn1112.2.有噪无损信道有噪无损信道特殊特殊DMC的信道容量的信道容量b1a1b2b6a2a31/21/21/2b5b4b311/31/63.3.无噪有损信道无噪有损信道特殊特殊DMC的信道容量的信道容量a1b1a2a6b2b31
10、11a5a4a34.4.对称信道对称信道对称信道定义:信道转移矩阵对称信道定义:信道转移矩阵P中所有的行都中所有的行都是同一组元素的不同排列,所有的列也是同一是同一组元素的不同排列,所有的列也是同一组元素的不同排列。组元素的不同排列。特殊特殊DMC的信道容量的信道容量准对称信道定义:设准对称信道定义:设 B 为信道转移矩阵为信道转移矩阵P的列的列集合,如果将集合,如果将B划分成划分成m个子集,而用每一个子个子集,而用每一个子集构成的矩阵所对应的信道都是对称信道。集构成的矩阵所对应的信道都是对称信道。特殊特殊DMC的信道容量的信道容量特殊特殊DMC的信道容量的信道容量定理定理3.23.2:对于准
11、对称信道,达到信道容量的输:对于准对称信道,达到信道容量的输入分布为等概分布。入分布为等概分布。证明:证明:(略略)准对称信道的信道容量计算准对称信道的信道容量计算特殊特殊DMC的信道容量的信道容量例:准对称信道例:准对称信道对称信道的信道容量计算对称信道的信道容量计算特殊特殊DMC的信道容量的信道容量对称信道的信道容量计算对称信道的信道容量计算特殊特殊DMC的信道容量的信道容量特殊特殊DMC的信道容量的信道容量例:对称信道例:对称信道强对称信道(均匀信道)定义:信道输入、输出符强对称信道(均匀信道)定义:信道输入、输出符强对称信道(均匀信道)定义:信道输入、输出符强对称信道(均匀信道)定义:
12、信道输入、输出符号个数相同,且信道矩阵为号个数相同,且信道矩阵为号个数相同,且信道矩阵为号个数相同,且信道矩阵为特殊特殊DMC的信道容量的信道容量当信道转移概率矩阵当信道转移概率矩阵当信道转移概率矩阵当信道转移概率矩阵P P P P是非奇异时(此时是非奇异时(此时是非奇异时(此时是非奇异时(此时n n n n=m m m m),即),即),即),即逆矩阵逆矩阵逆矩阵逆矩阵P P P P-1-1-1-1存在时,该信道被称为可逆矩阵信道。存在时,该信道被称为可逆矩阵信道。存在时,该信道被称为可逆矩阵信道。存在时,该信道被称为可逆矩阵信道。一般一般DMC的信道容量的信道容量例:例:取取另解:另解:达
13、到信道容量时输入、输出概率分布的达到信道容量时输入、输出概率分布的唯一性唯一性结论:结论:(1 1)输入概率分布的解不唯一,输出概率分布输入概率分布的解不唯一,输出概率分布 的解唯一。的解唯一。(2 2)当信道转移矩阵可逆时,则输入概率分布)当信道转移矩阵可逆时,则输入概率分布 有唯一解。有唯一解。达到信道容量时输入、输出概率分布的达到信道容量时输入、输出概率分布的唯一性唯一性数学模型:数学模型:多符号信道的信道容量多符号信道的信道容量(1 1 1 1)信道)信道)信道)信道无记忆无记忆无记忆无记忆:证明:证明:证明:证明:多符号信道的信道容量多符号信道的信道容量(2 2)信源、信道均无记忆:
14、)信源、信道均无记忆:)信源、信道均无记忆:)信源、信道均无记忆:多符号信道的信道容量多符号信道的信道容量信源与信道的匹配信源与信道的匹配信道的组合信道的组合独立并联信道(积信道)独立并联信道(积信道)独立并联信道(积信道)独立并联信道(积信道)特点:特点:特点:特点:1.1.多输入,多输出。各分信道彼此独立。多输入,多输出。各分信道彼此独立。多输入,多输出。各分信道彼此独立。多输入,多输出。各分信道彼此独立。2.2.容量:容量:容量:容量:独立并联信道独立并联信道独立并联信道独立并联信道和信道和信道和信道和信道特点:特点:特点:特点:1.1.随机应用随机应用随机应用随机应用N N 个信道中的
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论 编码 课件 第三
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【丰****】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【丰****】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。