信息论-总复习省公共课一等奖全国赛课获奖课件.pptx
《信息论-总复习省公共课一等奖全国赛课获奖课件.pptx》由会员分享,可在线阅读,更多相关《信息论-总复习省公共课一等奖全国赛课获奖课件.pptx(69页珍藏版)》请在咨信网上搜索。
1、Wuhan UniversityWuhan University总总 复复 习习1 1 概论概论2 2 信源及信息熵信源及信息熵3 3 信源编码信源编码4 4 信道及信道容量信道及信道容量5 5 信道编码信道编码6 6 信息率失真函数信息率失真函数7 7 考试情况考试情况 1 1第1页Wuhan UniversityWuhan Universityl信息与消息和信号区分信息与消息和信号区分消息消息:是指包含有信息语言、文字和图像等,:是指包含有信息语言、文字和图像等,可表示客观物质运动和主观思维活动状态。可表示客观物质运动和主观思维活动状态。信号信号:把消息变换成适合信道传输物理量,:把消息变
2、换成适合信道传输物理量,这种物理量称为信号(如电信号、光信号、这种物理量称为信号(如电信号、光信号、声音信号等)。声音信号等)。信息信息是事物是事物运动状态运动状态和和状态改变状态改变方式。方式。第1章 概论2 2第2页Wuhan UniversityWuhan Universityl信息信息信息是事物运动状态和状态改变方式。信息是事物运动状态和状态改变方式。l研究信息论目标:研究信息论目标:它主要目标是提升信息系统可它主要目标是提升信息系统可靠性、有效性和安全性方便到达系统最优化。靠性、有效性和安全性方便到达系统最优化。l在通信系统中形式上传输是消息,但实质上传输在通信系统中形式上传输是消息
3、,但实质上传输是信息。消息只是表示信息工具,载荷信息客体。是信息。消息只是表示信息工具,载荷信息客体。3 3第3页Wuhan UniversityWuhan University编码器编码器信宿信宿信道信道消息消息干扰干扰消息消息通信系统模型通信系统模型信源信源信号信号解码器解码器信号信号+干扰干扰噪声源噪声源l信息论研究对象信息论研究对象:通信系统模型通信系统模型.信源信源信道信道加密加密信源信源信道信道解密解密通信系统基本任务要求通信系统基本任务要求可靠可靠:要使信源发出消息经过传输后,尽可能准确地、不要使信源发出消息经过传输后,尽可能准确地、不失真或限定失真地再现在接收端失真或限定失真地
4、再现在接收端有效有效:用尽可能短时间和尽可能少设备来传输最大消息用尽可能短时间和尽可能少设备来传输最大消息4 4第4页Wuhan UniversityWuhan Universityl单符号离散信源单符号离散信源l自信息量自信息量用概率测度定义信息量,设离散信源用概率测度定义信息量,设离散信源 X X,其,其概率空间为概率空间为假如知道事件假如知道事件 x xi i 已发生,则该事件所含有自已发生,则该事件所含有自信息定义为信息定义为第第2 2章章 信源熵信源熵5 5第5页Wuhan UniversityWuhan Universityl联合自信息量联合自信息量l当当 X X 和和 Y Y 相
5、互独立时,相互独立时,p(xp(xi iy yj j)=p(x)=p(xi i)p)p(y(yj j)6 6第6页Wuhan UniversityWuhan Universityl条件自信息量:条件自信息量:已知已知y yj j 条件下条件下x xi i 依然存在依然存在不确定度。不确定度。l自信息量、条件自信息量和联合自信息量之自信息量、条件自信息量和联合自信息量之间关系间关系7 7第7页Wuhan UniversityWuhan Universityl互信息量:互信息量:y yj j 对对 x xi i 互信息量定义为后验概互信息量定义为后验概率与先验概率比值对数。率与先验概率比值对数。l
6、两个不确定度之差是不确定度被消除部分,两个不确定度之差是不确定度被消除部分,即等于自信息量减去条件自信息量。即等于自信息量减去条件自信息量。8 8第8页Wuhan UniversityWuhan Universityl平均信息量平均信息量信源熵:信源熵:自信息数学期望。也称为信自信息数学期望。也称为信源信息熵源信息熵/信源熵信源熵/熵。熵。l信息熵意义:信息熵意义:信源信息熵信源信息熵 H H 是从是从整个整个信源统计特信源统计特征来考虑。它是从征来考虑。它是从平均意义平均意义上来表征信源上来表征信源总体特征总体特征。对于某特定信源,其信息熵是唯一。不一样信源因对于某特定信源,其信息熵是唯一。
7、不一样信源因统计特征不一样,其熵也不一样。统计特征不一样,其熵也不一样。9 9第9页Wuhan UniversityWuhan Universityl条件熵:条件熵:是在联合符号集合是在联合符号集合 XY XY 上条件自信息数学上条件自信息数学期望。期望。l联合熵联合熵 H(XY)H(XY):表示输入随机变量表示输入随机变量 X X,经信道传,经信道传输抵达信宿,输出随机变量输抵达信宿,输出随机变量 Y Y。即收、发双方通。即收、发双方通信后,整个系统依然存在不确定度。信后,整个系统依然存在不确定度。1010第10页Wuhan UniversityWuhan Universityl信道疑义度信
8、道疑义度H(X|Y)H(X|Y):表示信宿在收到表示信宿在收到 Y Y 后,信后,信源源 X X 依然存在依然存在不确定度。是经过有噪信道传输后不确定度。是经过有噪信道传输后引发信息量损失,故也可称为损失熵。引发信息量损失,故也可称为损失熵。l噪声熵噪声熵H(Y|X)H(Y|X):表示在已知表示在已知 X X 条件下,对于符条件下,对于符号集号集 Y Y 尚存在不确定性,这完全是因为信道中噪尚存在不确定性,这完全是因为信道中噪声引发。声引发。唯一确定信道噪声所需要平均信息量。唯一确定信道噪声所需要平均信息量。1111第11页Wuhan UniversityWuhan Universityl平均
9、互信息量定义:平均互信息量定义:互信息量互信息量 I(xI(xi i;y;yj j)在联合概在联合概率空间率空间 P(XY)P(XY)中统计平均值。中统计平均值。l从一个事件取得另一个事件平均互信息需要消除不从一个事件取得另一个事件平均互信息需要消除不确定度,一旦消除了不确定度,就取得了信息。确定度,一旦消除了不确定度,就取得了信息。1212第12页Wuhan UniversityWuhan University熵熵H(X)H(X)H(X)=H(X|Y)H(X)=H(X|Y)H(X)=H(X|Y)+I(X;Y)H(X)=H(X|Y)+I(X;Y)X Y X Y条件熵条件熵H(X|Y)H(X|Y
10、)H(X|Y)=H(XY)-H(Y)H(X|Y)=H(XY)-H(Y)=H(X)-I(X;Y)=H(X)-I(X;Y)X Y X Y联合熵联合熵H(XY)=H(YX)H(XY)=H(YX)H(XY)=H(X)+H(Y|X)H(XY)=H(X)+H(Y|X)=H(X|Y)+H(Y|X)+I(X;Y)=H(X|Y)+H(Y|X)+I(X;Y)X Y X Y平均互信平均互信息息I(X;Y)=I(Y;X)I(X;Y)=I(Y;X)I(X;Y)=H(X)-H(X|Y)I(X;Y)=H(X)-H(X|Y)=H(X)+H(Y)-H(X,Y)=H(X)+H(Y)-H(X,Y)X Y X Y平均互信息和熵关系平
11、均互信息和熵关系1313第13页Wuhan UniversityWuhan University数据处理定理(信息不增原理)数据处理定理(信息不增原理)当当消消息息经经过过多多级级处处理理器器时时,伴伴随随处处理理器器数数目目标标增增多多,输输入入消消息息和和输输出出消消息息之之间间平平均均互互信信息息量量趋趋于于变变小小。信息不增信息不增I(X;Z)I(X;f(Z)=I(X;Y)H(X|Z)H(X|f(Z)=H(X|Y)1414第14页Wuhan UniversityWuhan Universityl最大离散熵定理最大离散熵定理 (极值性极值性):离散无记忆信源输离散无记忆信源输出出 n n
12、 个不一样信息符号,当且仅当个不一样信息符号,当且仅当各个符号出各个符号出现概率相等现概率相等时时 (即即p(xp(xi i)=1/n)=1/n),熵最大。,熵最大。Hp(xHp(x1 1),p(x),p(x2 2),p(x),p(xn n)logn)logn1515第15页Wuhan UniversityWuhan Universityl二进制信源熵函数二进制信源熵函数 H(p)H(p)为为1616第16页Wuhan UniversityWuhan UniversitylBSCBSC信道平均互信息量信道平均互信息量l 设二进制对称信道输入概率空间为设二进制对称信道输入概率空间为1717第17
13、页Wuhan UniversityWuhan University1818第18页Wuhan UniversityWuhan Universityl连续信源熵连续信源熵为为定定义义熵熵在在形形式式上上和和离离散散信信源源相相同同。连连续续信信源源熵熵并并不不是是实实际际信信源输出信息量源输出信息量(绝对熵绝对熵);Hc(X)也称为相对熵也称为相对熵连续信源连续信源信息量为无限大信息量为无限大;Hc(X)已不能代表信源平均不确定度,也不能代表连续信源已不能代表信源平均不确定度,也不能代表连续信源输出信息量。输出信息量。1919第19页Wuhan UniversityWuhan Universit
14、y限峰值最大熵定理限峰值最大熵定理:若信源若信源N N维随机变量维随机变量取值在一定范取值在一定范围之内围之内,则在有限定义域内,则在有限定义域内,均匀分布均匀分布连续信源含连续信源含有最大熵。有最大熵。限平均功率最大熵定理:限平均功率最大熵定理:若信源输出信号若信源输出信号平均功率平均功率P P或或方差受限方差受限,则其输出信号幅度概率密度函数为,则其输出信号幅度概率密度函数为高斯高斯分布分布时,信源含有最大熵值。时,信源含有最大熵值。限均值最大连续熵定理:限均值最大连续熵定理:若连续信源若连续信源X X输出非负信号输出非负信号均均值受限值受限,则其输出信号幅度呈,则其输出信号幅度呈指数分布
15、指数分布时,连续信时,连续信源源X X含有最大熵值。含有最大熵值。2020第20页Wuhan UniversityWuhan University 离散信源无失真编码实质上是一个统计匹配编离散信源无失真编码实质上是一个统计匹配编码。信息论指出信源中统计多出度主要决定于以下码。信息论指出信源中统计多出度主要决定于以下两个主要原因:两个主要原因:一是消息一是消息概率分布非均匀性概率分布非均匀性,另一个是,另一个是消息间消息间相关性相关性。对无记忆信源主要决定于概率分布非均匀。对无记忆信源主要决定于概率分布非均匀性,不过,对于有记忆信源,二者都起作用,且后性,不过,对于有记忆信源,二者都起作用,且后
16、者相关性愈加主要。者相关性愈加主要。第第3 3章章 信源编码信源编码2121第21页Wuhan UniversityWuhan UniversityDef.Def.可达速率:可达速率:可达速率:可达速率:对于给定信源和编码速率对于给定信源和编码速率R R及任及任意意00,若存在,若存在L L0 0、()、D(D(),使当码长,使当码长LLLL0 0时,时,P Pe e H(U)RH(U),则,则R R是是可达可达;若;若RH(U)RH(U)RH(U)契比雪夫不等式右边是理论上误码率上限,契比雪夫不等式右边是理论上误码率上限,必须小于给定误码率才能确保抵达编码性能要求必须小于给定误码率才能确保抵
17、达编码性能要求2424第24页Wuhan UniversityWuhan University定长编码定理定长编码定理定长编码定理定长编码定理 其中差错率满足以下式子其中差错率满足以下式子2525第25页Wuhan UniversityWuhan University 凡是能载荷一定信息量凡是能载荷一定信息量,且码字平均长度最短且码字平均长度最短,可分可分离变长码码字集合就称为离变长码码字集合就称为最正确变长码最正确变长码.必须将必须将概率大信息符号以短码字概率大信息符号以短码字,将概率小信息符将概率小信息符号以长码字号以长码字.主要有主要有:香农香农-费诺费诺(Shannon-Fano),(
18、Shannon-Fano),哈夫曼哈夫曼(Huffman)(Huffman)编码编码等等唯一可译性两种处理方法唯一可译性两种处理方法Def.Def.逗点码逗点码Def.Def.异字头码异字头码2626第26页Wuhan UniversityWuhan University2 2 2 2香农费诺编码香农费诺编码香农费诺编码香农费诺编码费诺编码步骤以下:费诺编码步骤以下:a.a.将概率按从大到小次序排列,令将概率按从大到小次序排列,令b.b.按编码进制数将概率分组,使每组概率尽可能靠近按编码进制数将概率分组,使每组概率尽可能靠近或相等。或相等。c.c.给每一组分配一位码元。给每一组分配一位码元。d
19、.d.将每一分组再按一样标准划分,重复步骤将每一分组再按一样标准划分,重复步骤b b和和c c,直,直至概率不再可分为止。至概率不再可分为止。2727第27页Wuhan UniversityWuhan University3 3 3 3 哈夫曼编码哈夫曼编码哈夫曼编码哈夫曼编码a.a.将信源符号按概率从大到小次序排列,令将信源符号按概率从大到小次序排列,令b.b.给两个概率最小信源符号给两个概率最小信源符号p p(x xn n-1-1)和和p p(x xn n)各分配一个各分配一个码位码位0 0和和1 1,将这两个符号合并成一个新符号,其概率,将这两个符号合并成一个新符号,其概率之和作为新符号
20、概率,得到之和作为新符号概率,得到(n n1)1)个符号。个符号。c.c.将缩减信源符号按概率排列,重复步骤将缩减信源符号按概率排列,重复步骤a,ba,b。直至。直至缩减信源只剩两个符号为止。缩减信源只剩两个符号为止。d.d.从最终一级缩减信源开始,依编码路径向前返回,从最终一级缩减信源开始,依编码路径向前返回,就得到各信源符号所对应码字。就得到各信源符号所对应码字。注意注意3 3进制编码?进制编码?2828第28页Wuhan UniversityWuhan University4 4 4 4 算术编码算术编码算术编码算术编码l算术编码是计算序列累计分布,用累计分布值表示序列,算术编码是计算序
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论 复习 公共课 一等奖 全国 获奖 课件
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【w****g】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【w****g】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。