信道失真率函数.pptx

第四章信息率失真函数4.1基本概念基本概念4.2离散信源的信息率失真函数离散信源的信息率失真函数4.3连续连续信源的信息率失真函数信源的信息率失真函数4.4保真度准则下的信源编码定理保真度准则下的信源编码定理24.1基本概念4.1.1失真函数与平均失真度失真函数与平均失真度4.1.2信息率失真函数的定义信息率失真函数的定义4.1.3信息率失真函数的性质信息率失真函数的性质率失真函数的定义域率失真函数的定义域率失真函数对允许平均失真度的下凸性率失真函数对允许平均失真度的下凸性率失真函数的单调递减和连续性率失真函数的单调递减和连续性3引入限失真的必要性失真在传输中是不可避免的失真在传输中是不可避免的连连续续信信源源的的绝绝对对熵熵为为无无限限大大，若若要要无无失失真真地地进进行行传传输输，则则要要求求信信息息传传输输率率也也为为无无限限大大，然然而而现现实实世世界界中中信信道道带带宽宽总总是是有有限限的的，信信道道容容量量总总有有一一定定限限度度，因因此此不不可可能实现完全无失真的信源信息的传输能实现完全无失真的信源信息的传输另另一一方方面面，从从无无失失真真信信源源编编码码考考虑虑，由由于于要要求求码码字字包包含含的的信信息息量量不不小小于于信信源源的的熵熵，所所以以对对于于连连续续信信源源，要要用用无无限限多多个个比比特特才才能能完完全全无无失失真真地地来来描描述述，这这是是不不现现实的实的即即使使是是离离散散信信源源，若若要要处处理理的的信信息息量量很很大大，采采用用无无失失真真编编码码将将使使得得信信息息的的存存储储和和传传输输成成本本非非常常高高，而而且且在在很多场合，过高的信息传输率是不必要的很多场合，过高的信息传输率是不必要的4引入限失真的必要性(续)信信宿宿只只具具有有有有限限的的的的分分辨辨能能力力与与灵灵敏敏度度，超超过过分分辨辨能能力力与灵敏度的信息传送过程是毫无意义的与灵敏度的信息传送过程是毫无意义的例例1：由由于于人人耳耳能能够够接接收收的的带带宽宽和和分分辨辨率率是是有有限限的的，因因此此对对数数字字音音频频传传输输的的时时候候，就就允允许许有有一一定定的的失失真真，并且对欣赏音乐没有太大的影响并且对欣赏音乐没有太大的影响例例2：对对于于数数字字电电视视，由由于于人人的的视视觉觉系系统统的的分分辨辨率率有有限限，并并且且对对低低频频比比较较敏敏感感，对对高高频频不不太太敏敏感感，因因此此也也可以损失部分高频分量可以损失部分高频分量例例3：放放映映电电影影，理理论论上上要要完完全全无无失失真真地地表表现现出出一一个个连连续续动动作作，需需要要用用无无穷穷多多个个静静态态画画面面连连续续放放映映，但但利利用用人人眼眼的的“视视觉觉暂暂留留性性”，只只要要每每秒秒钟钟连连续续放放映映24幅幅静态画面，就几乎让观众感觉不到失真的存在静态画面，就几乎让观众感觉不到失真的存在5引入限失真的必要性(续)如如果果允允许许信信息息有有某某些些失失真真，就就可可以以大大大大降降低低信信息息传传输输速速率率，从从而降低通信成本而降低通信成本应用种类 象素数/行 行数/帧 信息传输率(码率)bps压缩前压缩后HDTV19201080 1.18 G2025 M普通电视普通电视 720480167 M 48 M会议电视会议电视 352288 36.5 M 1.52 M电视电话电视电话128112 5.2 M 56 K在在允允许许一一定定程程度度失失真真的的条条件件下下，怎怎样样用用尽尽可可能能少少的的码码符符号号来来表表达达信信源源的的信信息息，也也就就是是信信源源熵熵所所能能压压缩缩的的极极限限或或者者说说编编码码后后信信息传输率压缩的极限值是多少？息传输率压缩的极限值是多少？保真度准则下的离散信源编码定理：在在允允许许一一定定失失真真度度 D 的的情情况况下下，信信源源输输出出的的信信息息传传输输率率可可压压缩缩到到极极限限值值信信息息率率失失真真函数函数 R(D)6失真函数由由于于本本章章学学习习内内容容只只涉涉及及信信源源编编码码问问题题，因因此此可可以以把把从从信信源源编编码码器器到到信信源源译译码码器器之之间间的的所所有有部部件件合合在在一一起起等等效效为为一一个个有有噪噪声声的试验信道的试验信道试验信道试验信道信源信源信源信源译码器译码器信源信源编码器编码器无无损损无无噪噪信信道道信宿信宿7对每一对对每一对(xi,yj)，指定一个，指定一个非负的函数的函数失真函数(续)称称为为单单个个符符号号的的失真度或或失真函数，表表示示离离散散信信源源发发出出一一个个符号符号 xi 而在接收端再现成而在接收端再现成 yj 所引起的误差和失真。所引起的误差和失真。上述非负的失真函数共有上述非负的失真函数共有 n m 个，可以整体表示成个，可以整体表示成失真矩阵由由于于信信源源发发出出的的符符号号 X 和和信信宿宿收收到到(再再现现)的的符符号号 Y 均均是是随随机机变变量量，因因此此单单个个符符号号的的失失真真函函数数 d(xi,yj)也也是是随随机机变变量量(的的一一次次实现实现)8常用的失真函数失失真真函函数数是是根根据据人人们们的的实实际际需需要要和和失失真真引引起起的的损损失失、风风险险、主主观感觉上的差别等因素人为规定的，可以有多种形式观感觉上的差别等因素人为规定的，可以有多种形式平方误差失真函数平方误差失真函数 绝对误差失真函数绝对误差失真函数 相对误差失真函数相对误差失真函数 误码失真函数误码失真函数 平平方方失失真真和和绝绝对对失失真真只只与与(yj-xi)有有关关，而而不不是是分分别别与与 xi,yj 有有关关，在在数数学学处处理理上上比比较较方方便便；相相对对失失真真与与主主观观特特性性比比较较匹匹配配，因因为为主主观观感感觉觉往往往往与与客客观观量量的的相相对对数数成成正正比比，但但其其数数学学处处理理比比较困难较困难误误码码失失真真函函数数表表明明，只只要要发发送送符符号号与与接接收收符符号号不不同同，由由此此引引起起的的失失真真都都相相同同(为为常常数数 a a )。若若常常数数值值为为 1，则则称称为为汉明失真适用于适用于连续信源连续信源适用于离散信源适用于离散信源9平均失真度由由于于单单个个符符号号的的失失真真函函数数 d(xi,yj)是是随随机机变变量量(的的一一次次实实现现)，它它只只能能表表示示两两个个特特定定的的具具体体符符号号 xi,yj 之之间间的的失失真真，无无法法从从整整体上描述信道平均每传递一个符号所引起失真大小体上描述信道平均每传递一个符号所引起失真大小定定义义平均失真度为为失失真真函函数数的的数数学学期期望望，即即 d(xi,yj)在在 X 和和 Y的联合概率空间的联合概率空间 P(XY)中的统计平均值中的统计平均值平均失真度平均失真度 与信源统计特性与信源统计特性 、信道统计特性、信道统计特性 和和规规定定的的失失真真度度 有有关关；如如果果信信源源和和失失真真度度给给定定以以后后，就只是信道统计特性的函数就只是信道统计特性的函数如如果果规规定定平平均均失失真真度度不不超超过过某某一一允允许许失失真真的的上上界界 D(最最大大允允许许平均失真度，简称平均失真度，简称允许平均失真度)，则称：，则称：为为保真度准则满满足足保保真真度度准准则则的的限限定定条条件件下下，求求信信息息传传输输率率的的最最小小值值10符号序列的失真度若若信信源源是是单单符符号号离离散散无无记记忆忆信信源源的的 N 次次扩扩展展，其其限限失失真真编编码码可可视视为为 N 长长随随机机序序列列 经经由由单单符符号号离离散散无无记记忆忆信信道的道的 N 次扩散信道，再现为次扩散信道，再现为 N 长的随机序列长的随机序列 N 长输入符号序列长输入符号序列 与与 N 长长输出符号序列输出符号序列 间的失真函数：间的失真函数：由于由于 N 次扩展信源和次扩展信源和 N 次扩展信道都是无记忆的，因此：次扩展信道都是无记忆的，因此：11符号序列的平均失真度符号序列的平均失真度：符号序列的平均失真度：符号序列的保真度准则：符号序列的保真度准则：为为同同一一单单符符号号离离散散无无记记忆忆信信源源 X 在在 N 个个不不同同时时刻刻通通过过同同一一单单符符号号离离散散无无记记忆忆信信道道所所造造成成的的平平均均失失真真度度，因因此此都都等等于于单单符符号号离离散散无无记记忆忆信信源源 X 通通过过单符号离散无记忆信道所造成的平均失真度，即：单符号离散无记忆信道所造成的平均失真度，即：124.1.2信息率失真函数的定义在在单单符符号号信信源源已已知知并并规规定定了了单单符符号号失失真真度度后后，并并非非所所有有的的信信道道都都能能满满足足保保真真度度准准则则 ；凡凡满满足足保保真真度度准准则则的的信信道道称称为为 D 失真许可试验信道，所有的，所有的 D 失真许可试验信道构成集合：失真许可试验信道构成集合：对对于于离离散散无无记记忆忆 N 次次扩扩展展信信源源和和 N 次次扩扩展展信信道道，相相应应的的 D 失失真许可试验信道为：真许可试验信道为：对对于于固固定定的的信信源源分分布布，平平均均互互信信息息是是信信道道转转移移概概率率的的下下凸凸函函数数，也也就就是是说说，存存在在一一个个信信道道使使给给定定的的信信源源经经过过此此信信道道传传输输时时，信信道的平均互信息达到最小道的平均互信息达到最小信信源源限限失失真真编编码码后后的的信信息息传传输输率率 R 就就是是通通过过试试验验信信道道的的平平均均互互信信息息 I(X;Y)，为为了了便便于于传传送送和和处处理理，人人们们总总是是希希望望将将信信息息传传输率输率 R 压缩到最小压缩到最小13信息率失真函数的定义(续)给给定定信信源源和和失失真真度度后后，在在所所有有的的 D 失失真真许许可可试试验验信信道道中中，寻寻找找一一个个信信道道使使得得从从输输入入端端传传送送过过来来的的信信息息量量最最小小。这这个个最最小小的的平平均互信息称为均互信息称为信息率失真函数 R(D)，简称，简称率失真函数：在在研研究究 R(D)时时，计计算算 I(X;Y)所所用用的的条条件件概概率率并并没没有有实实际际信信道道的的含含义义，只只是是为为了了求求平平均均互互信信息息的的最最小小值值而而引引用用的的、假假想想的的可可变变试试验验信信道道的的信信道道特特性性。实实际际上上这这些些信信道道反反映映的的仅仅是是不不同同的的限限失真信源编码，或称失真信源编码，或称信源压缩R(D)是是在在限限定定允允许许平平均均失失真真为为 D 时时信信源源最最小小信信息息传传输输率率；可可以以通通过过改改变变试试验验信信道道特特性性来来达达到到，实实质质上上是是选选择择一一种种限限失失真真信信源源编编码码方方式式使使试试验验信信道道的的信信息息传传输输率率为为最最小小，即即在在满满足足保保真真度度准则下，使信源的压缩率达到最高准则下，使信源的压缩率达到最高14率失真函数的定义域(D 的下界)允许失真度允许失真度 D 是平均失真度的上限，而是平均失真度的上限，而 是非负函数是非负函数 的的数数学学期期望望，因因此此 D 的的下下界界至至多多为为 0，对对应应于于无无失失真真的的情情况况，此时信息传输率应等于信源输出的信息熵，即此时信息传输率应等于信源输出的信息熵，即 D 能能否否达达到到下下界界 0，与与单单个个符符号号的的失失真真函函数数有有关关；在在给给定定的的失失真真矩矩阵阵中中，对对每每一一个个 xi，找找一一个个 yj 与与之之对对应应，使使 d(xi,yj)最最小小，不不同同的的 xi 对对应应的的最最小小 d(xi,yj)也也不不相相同同。相相当当于于在在失失真真矩矩阵阵的的每每一一行行找找一一个个最最小小的的 d(xi,yj)，然然后后对对各各行行不不同同的的 d(xi,yj)求求统统计平均值，就是信源平均失真度上限的下界计平均值，就是信源平均失真度上限的下界 显显然然，如如果果失失真真矩矩阵阵的的每每一一行行至至少少有有一一个个 0 元元素素，信信源源平平均均失失真度上限真度上限 D 的下界才能取到的下界才能取到 015率失真函数的定义域(D 的上界)R(D)是是在在一一定定约约束束条条件件下下平平均均互互信信息息 I(X;Y)的的最最小小值值，由由于于I(X;Y)是非负的，其下界为至多为是非负的，其下界为至多为 0如如果果不不允允许许失失真真，平平均均传传送送一一个个信信源源符符号号所所需需的的信信息息传传输输率率最最大大，R(D)可可以以达达到到信信源源熵熵；反反之之如如果果允允许许一一定定的的失失真真，则则信信息息传传输输率率可可以以小小一一些些；或或者者说说信信息息传传输输率率越越小小，容容忍忍的的平平均均失失真度越大真度越大显显然然，当当 R(D)达达到到下下界界 0 时时，允允许许的的平平均均失失真真度度最最大大，由由于于满满足足 R(D)=0 的的 D 可可以以有有无无穷穷多多个个，定定义义使使 R(D)=0 成成立立的的最小的最小的 D 值为率失真函数的定义域的上界值为率失真函数的定义域的上界 Dmax 当当 R(D)=0 时时，最最小小的的 I(X;Y)=0 ，这这相相当当于于 X 和和 Y 相相互互统统计计独独立立的的情情况况；这这意意味味着着接接收收端端收收不不到到信信源源发发送送的的任任何何信信息息，与与信信源源不不发发送送任任何何信信息息是是等等效效的的，所所以以在在理理论论上上，传传送送信信源源符符号的信息传输率可以压缩至号的信息传输率可以压缩至 0 16率失真函数的定义域(Dmax 的计算)如果试验信道的转移概率满足如果试验信道的转移概率满足 即即 X 和和 Y 相相互互统统计计独独立立，等等效效于于信信道道关关闭闭或或者者信信源源不不发发任任何何消消息，此时必有：息，此时必有：，从而，从而 用用不不同同的的输输出出概概率率分分布布 对对 求求数数学学期期望望，取取最最小小的的那一个作为那一个作为 如果在如果在 中找到最小的中找到最小的 ，当该，当该 j 对应的对应的而其余的输出概率为而其余的输出概率为 0 时，上式计算出的时，上式计算出的 值最小，即：值最小，即：17率失真函数率失真函数 R(D)的定义域为的定义域为(Dmin,Dmax)一般情况下：一般情况下：Dmin=0，R(Dmin)=H(X)当当 D Dmax 时：时：R(D)=0当当 D (Dmin,Dmax)时时：0 R(D)H(X)18率失真函数对允许平均失真度的下凸性19新新试试验验信信道道在在所所有有满满足足保保真真准准则则 的的信信道道集集合合中中 并并不不一一定定是达到率失真函数是达到率失真函数 （使平均互信息（使平均互信息 达到最小）的信道达到最小）的信道新新 试试 验验 信信 道道 的的允允许许平平均均失失真真度度固定信源固定信源 X，平均互信息，平均互信息 I(X;Y)是信道转移概率的下凸函数：是信道转移概率的下凸函数：因此因此 R(D)在定义域内是允许平均失真度在定义域内是允许平均失真度 D 的下凸函数，即：的下凸函数，即：20率失真函数的连续性由由数数学学分分析析理理论论：“定义在开区间上的凸函数必是连续函数”知：知：定义域为定义域为(Dmin,Dmax)且具有下凸性的且具有下凸性的 R(D)是连续函数是连续函数首首尾尾相相连连的的弦弦线线斜斜 率率 是是 递递 增增 的的21由于允许的平均失真越大，所要求的信息率就可以越小由于允许的平均失真越大，所要求的信息率就可以越小率率失失真真函函数数 R(D)是是在在平平均均失失真真度度小小于于或或等等于于允允许许平平均均失失真真度度为为 D 的的所所有有试试验验信信道道组组成成的的集集合合 PD 中中，取取平平均均互互信信息息 I(X;Y )的的最最小值小值当当允允许许的的平平均均失失真真度度增增大大后后，集集合合 PD 也也随随之之扩扩大大，它它当当然然仍仍包包含含原原来来满满足足保保真真度度准准则则的的所所有有信信道道；这这时时再再在在扩扩大大的的 PD 集集合合中中挑挑选选 I(X;Y)的的最最小小值值，显显然然新新挑挑选选出出最最小小值值或或者者不不变变，或或者者变变小，所以率失真函数小，所以率失真函数 R(D)是单调非增的是单调非增的以以下下将将通通过过证证明明率率失失真真函函数数 R(D)在在定定义义域域(Dmin,Dmax)内内不不可可能能为常数从而证明率失真函数是严格单调递减的函数为常数从而证明率失真函数是严格单调递减的函数率失真函数的单调递减性2223新新试试验验信信道道在在所所有有满满足足保保真真准准则则的的信信道道集集合合中中并并不不一一定定是是达达到率失真函数的信道，因此：到率失真函数的信道，因此：R(D)I(X;Y)满足保真准则满足保真准则固定信源，平均互信息固定信源，平均互信息是信道转移概率的下凸函数是信道转移概率的下凸函数，所以：，所以：综上分析可知：综上分析可知：时，时，可见，可见在区间在区间 上不是常数，原假设不成立。上不是常数，原假设不成立。24根根据据率率失失真真函函数数所所具具有有的的下下凸凸性性、连连续续性性、严严格格单单调调下下降降性性可可绘出率失真函数的典型曲线图绘出率失真函数的典型曲线图率失真函数曲线的一般形式连续信源连续信源离散信源离散信源连续信源连续信源离散信源离散信源对于连续信源，对于连续信源，R(0)，曲线不与，曲线不与 R(D)相交相交R(Dmin)H(X)及及 R(Dmax)=0 决决定定了了率率失失真真函函数数曲曲线线边边缘缘的的两个交点两个交点254.2离散信源的信息率失真函数由由率率失失真真函函数数的的定定义义可可知知，求求解解 R(D)实实质质上上是是求求解解平平均均互互信信息息的的条条件件极极值值，与与求求信信道道容容量量 C 类类似似，可可以以采采用用拉拉格格朗朗日日乘乘子子法求解法求解R(D)是是求求解解 I(X;Y)的的条件极小值，具具体体而而言言，给给定定信信源源概概率率分分布布 p(x)和和失失真真函函数数 d(x,y)，在在满满足足保保真真度度准准则则 的的试试验信道集合验信道集合 PD 中选择信道转移概率中选择信道转移概率 p(y|x )，使，使 I(X;Y)最小最小需要满足以下需要满足以下 n+1 个限定条件：个限定条件：很很难难求求解解出出 I(X;Y)条条件件极极小小值值的的显显式式表表达达式式，在在一一般般情情况况下下只只能能求求得得用用参参量量(R(D)的的斜斜率率 S)来来描描述述的的参参量量表表达达式式，并并借借助助计算机进行迭代运算计算机进行迭代运算264.2.1离散信源信息率失真函数的参量表达式272829300314.2.2二元及等概率离散信源的信息率失真函数3233二元离散信源率失真函数曲线34多元等概率离散信源的率失真函数354.3 连续信源的信息率失真函数4.3.1连续信源信息率失真函数的参量表达式连续信源信息率失真函数的参量表达式4.3.2高斯信源的信息率失真函数高斯信源的信息率失真函数4.3.3信息率失真函数与信息价值信息率失真函数与信息价值4.3.4信道容量与信息率失真函数的比较信道容量与信息率失真函数的比较364.3.1连续信源信息率失真函数的参量表达式374.3.1连续信源信息率失真函数的参量表达式（续）384.3.2高斯信源的信息率失真函数3940反反向向信信道道4142434.3.3信息率失真函数与信息价值同同样样的的信信息息对对不不同同的的接接收收者者其其(客客观观)信信息息量量是是相相同同的的，但但对对不不同的接收者其价值是有差别的同的接收者其价值是有差别的尽尽管管信信息息率率失失真真理理论论只只研研究究客客观观信信息息量量，不不涉涉及及信信息息对对接接收收者者有有着着不不同同的的价价值值，但但如如果果把把平平均均失失真真理理解解为为平平均均损损失失，据据此此定定义信息价值，就可以用信息论解决许多实际问题义信息价值，就可以用信息论解决许多实际问题例 某某印印刷刷电电路路板板(PCB)加加工工厂厂的的产产品品合合格格率率约约为为 98%。一一块块好好的的 PCB 板板出出厂厂价价约约为为 100 元元，但但如如果果客客户户发发现现一一块块不不合合格格的的板板子子可可向向厂厂方方索索赔赔 10000 元元。已已知知厂厂方方检检验验员员检检验验的的正正确确率率约约为为 95%，假假设设合合格格品品出出厂厂、废废品品报报废废都都不不造造成成损损失失，以以下下用用信信息息率失真理论来分析检验的作用并作比较。率失真理论来分析检验的作用并作比较。解 根根据据题题意意，可可将将 PCB 产产品品作作为为一一信信源源，记记生生产产的的 PCB 板板为为随随机变量机变量 X，检验员的检测结果为，检验员的检测结果为 Y，即：，即：44将平均失真度理解将平均失真度理解 PCB 厂的平均损失，并定义如下失真函数：厂的平均损失，并定义如下失真函数：产品不经检验而出厂产品不经检验而出厂都当合格品都当合格品即即这这种种情情况况每每销销售售出出去去一一块块 PCB 板板，加加工工厂厂将将要要另另外外承承担担可可能能损损失失 200 元元的的风风险险。考考虑虑到到每每块块销销售售 100 元元，实实际际上上是是每每卖卖出出一一块可能要实际净损失块可能要实际净损失 100 元。元。45产品不经检验全部报废产品不经检验全部报废都当废品都当废品即即每每生生产产一一块块 PCB 板板，加加工工厂厂将将有有损损失失 98 元元的的风风险险。因因为为把把 98%本来可以卖本来可以卖 100 元一块的板子也报废了。元一块的板子也报废了。比比较较以以上上两两种种情情况况可可知知，做做出出全全部部报报废废决决定定造造成成的的损损失失，要要小小于于做做出出全全部部出出厂厂决决定定所所造造成成的的损损失失。不不做做任任何何检检验验，在在全全部部出出厂和全部报废两者之间抉择，选择后者的损失反而小。厂和全部报废两者之间抉择，选择后者的损失反而小。如如果果选选择择 ，则则 ，产产品品无无需需进进行行质质量量管理，相当于信源没有输出任何信息量管理，相当于信源没有输出任何信息量46正确无误地判断合格品和废品正确无误地判断合格品和废品完美的检验完美的检验以下探讨每以下探讨每 1 比特信息量的价值比特信息量的价值该该式式说说明明，如如果果从从每每块块 PCB 板板上上获获取取 0.14144 比比特特的的信信息息量量，就可以避免一切细小的损失。就可以避免一切细小的损失。可能造成的最大损失为可能造成的最大损失为 98 元元/块，块，所以所以 0.14144 比特信息量的最大价值为比特信息量的最大价值为 98 元，则每元，则每 1 比特信息的最大价值为比特信息的最大价值为一一般般将将全全部部产产品品都都报报废废的的可可能能性性极极小小，实实际际的的损损失失要要小小于于 98元元/块块，完完全全无无误误的的检检验验因因其其高高昂昂的的代代价价，所所提提供供的的单单位位信信息息价值不一定是最高的价值不一定是最高的47检测时允许有一定的错误检测时允许有一定的错误非完美的检验非完美的检验即即这这种种情情况况每每销销售售出出去去一一块块 PCB 板板，加加工工厂厂将将要要另另外外承承担担可可能能损损失失 14.9 元元/块块的的风风险险。考考虑虑到到每每块块销销售售 100 元元，实实际际上上是是每每卖卖出出一一块块实实际际收收益益至至少少是是 85.1 元元。这这种种情情况况和和最最大大损损失失(98 元元)相相比比，损失减少了损失减少了 98-14.9=83.1 元元/块块Why?由由于于在在检检验验的的过过程程中中获获取取了了一一定定的的信信息息量量，检检验验的的过过程程好好比比“信道信道”，获取的信息量也就是平均互信息，获取的信息量也就是平均互信息 I(X;Y)。48通通过过允允许许有有错错的的检检验验，平平均均而而言言从从对对每每块块 PCB 板板的的检检验验中中只只获获取取了了 0.07202 比比特特的的信信息息量量，但但是是其其损损失失比比不不检检验验时时减减少少了了83.1元，也就是说元，也就是说 0.07202 比特信息价值比特信息价值 83.1 元，故每元，故每 1 比特价值为比特价值为：而而完完全全无无误误检检验验时时，每每比比特特信信息息量量的的价价值值为为 692.87 元元。比比较较而而言言，在在有有较较小小检检验验误误差差的的情情况况下下，每每比比特特信信息息量量的的价价值值更更高高，是是较较合算的检验准则。合算的检验准则。49信息率 R 的价值付付出出一一定定的的代代价价，获获取取一一定定的信息，得到相应的价值的信息，得到相应的价值信信息息率率失失真真函函数数 R(D )是是平平均均失失真真度度 D 的的单单调调递递减减函函数数，其其反反函数为函数为 D(R )，表示信息率为，表示信息率为 R 时的平均失真度时的平均失真度(平均损失平均损失)最最大大的的平平均均损损失失为为 Dmax，此此时时的的率率失失真真函函数数 R(Dmax)=0 表表明明没没有获取信源的任何信息有获取信源的任何信息当当获获取取一一信信息息率率 R(D )后后，平平均均损损失失将将由由 Dmax 下下降降为为 D (R )，即即获获取取 D (R )比比特特的的平平均均互互信信息息可可以以减减少少损损失失 Dmax-D (R )，据此可以定义：据此可以定义：504.3.4信道容量与信息率失真函数的比较514.4保真度准则下的信源编码定理(香农第三定理)52香农三大定理香香农农信信息息论论有有三三大大基基本本概概念念：信信源源熵熵、信信道道容容量量、信信息息率率失失真真函函数数，它它们们是是信信息息传传输输与与存存储储的的理理论论上上的的极极限；这三大基本概念分别对应于香农的三大定理：限；这三大基本概念分别对应于香农的三大定理：无失真信源编码定理无失真信源编码定理极限：信源熵极限：信源熵 H(X)信道编码定理信道编码定理极限：信道容量极限：信道容量 C限失真信源编码定理限失真信源编码定理极限：率失真函数极限：率失真函数 R(D)香香农农的的三三大大定定理理只只是是指指出出了了理理想想编编码码方方式式的的存存在在性性，但但并并没没有有给给出出更更多多的的关关于于如如何何进进行行编编码码尤尤其其是是理理想想编编码的构造方法码的构造方法随随后后的的信信源源编编码码和和信信道道编编码码章章节节，将将重重点点探探讨讨以以香香农农三大极限为目标如何实现编码三大极限为目标如何实现编码53作业4.14.24.44.54.94.10