信道及其容量.pptx
《信道及其容量.pptx》由会员分享,可在线阅读,更多相关《信道及其容量.pptx(93页珍藏版)》请在咨信网上搜索。
1、u信道的任务是以信号方式传输信息和存储信息。信道的任务是以信号方式传输信息和存储信息。u研究信道中能够传送或存储的最大信息量,即信道容量。研究信道中能够传送或存储的最大信息量,即信道容量。本章内容:本章内容:信道的分类及离散信道的数学模型信道的分类及离散信道的数学模型平均互信息及其性质平均互信息及其性质信道容量的概念及几种典型信道的信道容量计算信道容量的概念及几种典型信道的信道容量计算信源与信道的匹配信源与信道的匹配信道编码定理信道编码定理3.1 信道的数学模型和分类信道的数学模型和分类 图3.1.1 通信系统的一般模型3.1 信道的数学模型和分类信道的数学模型和分类 一、信道的分类一、信道的
2、分类 根据载荷消息的媒体不同根据载荷消息的媒体不同根据信息传输的方式根据信息传输的方式邮递信道邮递信道邮递信道邮递信道电信道电信道电信道电信道光信道光信道光信道光信道声信道声信道声信道声信道输入和输出信号的形式输入和输出信号的形式输入和输出信号的形式输入和输出信号的形式信道的统计特性信道的统计特性信道的统计特性信道的统计特性信道的用户多少信道的用户多少信道的用户多少信道的用户多少根据信息传输的方式分类中根据信息传输的方式分类中 根据信道的用户多少:根据信道的用户多少:两端两端(单用户单用户)信道信道 多端多端(多用户多用户)信道信道根据信道输入端和输出端的关联:根据信道输入端和输出端的关联:无
3、反馈信道无反馈信道 反馈信道反馈信道根据信道的参数与时间的关系:根据信道的参数与时间的关系:固定参数信道固定参数信道 时变参数信道时变参数信道 根据输入和输出信号的特点:根据输入和输出信号的特点:离散信道离散信道 连续信道连续信道 半离散或半连续信道半离散或半连续信道 波形信道波形信道二、离散信道的数学模型二、离散信道的数学模型条件概率条件概率 p(y/x)描述了输入信号和输出信号之间统计描述了输入信号和输出信号之间统计依赖关系。依赖关系。它反映了它反映了信道的统计特性信道的统计特性。iip(y/x)=1p(y/x)例如例如其中其中其中其中:p(p(ai i)表示输入某符号的概率表示输入某符号
4、的概率表示输入某符号的概率表示输入某符号的概率,p(bp(bj j)表示输出某符号的概率表示输出某符号的概率表示输出某符号的概率表示输出某符号的概率,p(bp(bj j|ai i)表示发送表示发送表示发送表示发送ai i而接收为而接收为而接收为而接收为b bj j概率概率概率概率,-,-条件概率。条件概率。条件概率。条件概率。显然可以用条件(显然可以用条件(显然可以用条件(显然可以用条件(转移)转移)转移)转移)概率表示信道的噪声干扰特性。概率表示信道的噪声干扰特性。概率表示信道的噪声干扰特性。概率表示信道的噪声干扰特性。根据信道的根据信道的统计特性即条件概率统计特性即条件概率 p(p(y/x
5、)的不同,离散的不同,离散信道又可分成三种情况:信道又可分成三种情况:无干扰信道无干扰信道有干扰无记忆信道有干扰无记忆信道有干扰有记忆信道有干扰有记忆信道 (1)无干扰无干扰(噪声噪声)信道信道 信道中没有随机性的干扰或者干扰很小,输出信号信道中没有随机性的干扰或者干扰很小,输出信号y与输入信号与输入信号 x 之间有确定的、一之间有确定的、一 一对应的关系。即:一对应的关系。即:y f(x)(2)有干扰无记忆信道有干扰无记忆信道信道输入和输出之间的条件概率是一般的概率分布。信道输入和输出之间的条件概率是一般的概率分布。如果任一时刻输出符号只统计依赖于对应时刻的输入符号,如果任一时刻输出符号只统
6、计依赖于对应时刻的输入符号,则这种信道称为无记忆信道。则这种信道称为无记忆信道。(3)有干扰有干扰(噪声噪声)有记忆信道有记忆信道 实际信道往往是既有干扰实际信道往往是既有干扰(噪声噪声)又有记忆的这种类又有记忆的这种类型。型。例如在数字信道中,由于信道滤波使频率特性不理例如在数字信道中,由于信道滤波使频率特性不理想时造成了码字之间的干扰。想时造成了码字之间的干扰。在这一类信道中某一瞬间的输出符号在这一类信道中某一瞬间的输出符号不但与对应时不但与对应时刻的输入符号有关,而且还与此前其他时刻信道的输入刻的输入符号有关,而且还与此前其他时刻信道的输入符号及输出符号有关,符号及输出符号有关,这样的信
7、道称为有记忆信道。这样的信道称为有记忆信道。处理有记忆有干扰信道的两种方法:处理有记忆有干扰信道的两种方法:(1)最直观的方法是把记忆较强的)最直观的方法是把记忆较强的N个符号当作一个个符号当作一个N维矢维矢量,而把各矢量之间认为是无记忆的,这样就量,而把各矢量之间认为是无记忆的,这样就转化成无记忆转化成无记忆信道信道的问题。当然,这样处理会引入误差:的问题。当然,这样处理会引入误差:N,误差,误差。(2)另一种处理方法是)另一种处理方法是把把 p(y/x)看成马尔可夫链看成马尔可夫链的形式,的形式,这是有限记忆信道的问题。这是有限记忆信道的问题。此时,信道的统计特性可用在已知时刻的输入符号和
8、前此时,信道的统计特性可用在已知时刻的输入符号和前时刻信道所处的时刻信道所处的状态状态的条件下,信道的输出符号和所处的的条件下,信道的输出符号和所处的状状态态的联合条件概率来描述,即用的联合条件概率来描述,即用 p(ynSn/xnSn-1)来描述。来描述。三、单符号离散信道三、单符号离散信道单符号离散信道:单符号离散信道:输入符号为输入符号为X,取值于,取值于a1,a2,ar。输出符号为输出符号为Y,取值于,取值于b1,b2,bs。条件概率:条件概率:p(y/x)p(y=bj/x=ai)p(bj/ai)这一组条件概率称为这一组条件概率称为信道的传递概率信道的传递概率或或转移概率转移概率,可以利
9、用条件概率来可以利用条件概率来描述干扰对信道影响描述干扰对信道影响的大小。的大小。用传递概率用传递概率 p(bj/ai)来描述干扰影响的大小来描述干扰影响的大小一般一般简单的单符号离散信道简单的单符号离散信道可以用可以用X,p(y/x),Y 三三者加以描述。者加以描述。其数学模型可以用概率空间其数学模型可以用概率空间X,p(y/x),Y描述。描述。当然,也可用下图来描述:当然,也可用下图来描述:a1 b1 a2 b2 X .Y.ar bsp(bj/ai)一般离散单符号信道的传递概率可用矩阵形式表示,即一般离散单符号信道的传递概率可用矩阵形式表示,即 矩阵矩阵P完全描述了信道的特性,可用它作为离
10、散单符号完全描述了信道的特性,可用它作为离散单符号信道的另一种数学模型信道的另一种数学模型的形式。的形式。P中有些是信道干扰引起的错误概率,有些是信道正确中有些是信道干扰引起的错误概率,有些是信道正确传输的概率,所以该矩阵又称为传输的概率,所以该矩阵又称为信道矩阵信道矩阵(转移矩阵)(转移矩阵)。b1 b2 bsa1 p(b1|a1)p(b2|a1)p(bs|a1)a2 p(b1|a2)p(b2|a2)p(bs|a2).ar p(b1|ar)p(b2|ar)p(bs|ar)在这里直观表示在这里直观表示矩阵矩阵P P中每行之和应中每行之和应等于等于“l l”表明:在信道输入为表明:在信道输入为表
11、明:在信道输入为表明:在信道输入为ai i时,时,时,时,在输出端接收到的一定是符在输出端接收到的一定是符在输出端接收到的一定是符在输出端接收到的一定是符号号号号b b1 1,b b2 2 ,b bs s中一个。中一个。中一个。中一个。例例1 二元对称信道,二元对称信道,BSC,Binary Symmetrical Channel解:解:此时,此时,X:0,1;Y:0,1;r=s=2,a1=b1=0;a2=b2=1。传递概率传递概率:p是单个符号是单个符号传输发生错误传输发生错误的概率,表示信道输入符号的概率,表示信道输入符号“0”而接收到的符号为而接收到的符号为“1”,或信道输入符号为,或信
12、道输入符号为“1”而接而接收到的符号为收到的符号为“0”的概率的概率。的概率的概率。(1-p)表示是)表示是无错误传输无错误传输的概率。的概率。转移矩阵转移矩阵:0 1011p a1=0 0=b11p a2=1 1=b2pp输出输出输入输入符号符号“2”表示接收到了表示接收到了“0”、“1”以外的特殊以外的特殊符号符号这种信道实际是存在的这种信道实际是存在的。0 2 101p0 01p1 1q1q2例例2二元删除信道。二元删除信道。BEC,Binary Eliminated Channel解:解:X:0,1 Y:0,1,2此时,此时,r 2,s 3,传递矩阵为:传递矩阵为:设有一个信道,其输入
13、为正、负方波信号,那么,信道输设有一个信道,其输入为正、负方波信号,那么,信道输出送入译码器的将是受干扰后的方波信号出送入译码器的将是受干扰后的方波信号R(t),如图,如图(b)。0 2 101如果信道干扰不是很严重的话,则如果信道干扰不是很严重的话,则“10”和和“01”的的可能性比可能性比“02”和和“12”的可能性小得多,所以假设:的可能性小得多,所以假设:p(y=1/x=0)p(y=0/x=1)0是合理的。是合理的。l一般单符号离散信道的一些概率关系一般单符号离散信道的一些概率关系 设信道的输入概率空间为:设信道的输入概率空间为:信道输出信道输出Y的符号集为的符号集为B=b1,b2,b
14、s。给定信道矩阵为:给定信道矩阵为:(1)(1)输入和输出符号的联合概率输入和输出符号的联合概率输入和输出符号的联合概率输入和输出符号的联合概率:式中:式中:式中:式中:p(bp(bj j|ai i)-)-前向概率前向概率前向概率前向概率(信道的传递概率),发送为(信道的传递概率),发送为(信道的传递概率),发送为(信道的传递概率),发送为ai i,通过信,通过信,通过信,通过信道传输接收到为道传输接收到为道传输接收到为道传输接收到为b bj j的概率。它是由于信道噪声引起的,所以描的概率。它是由于信道噪声引起的,所以描的概率。它是由于信道噪声引起的,所以描的概率。它是由于信道噪声引起的,所以
15、描述了信道述了信道述了信道述了信道噪声噪声噪声噪声的特性。的特性。的特性。的特性。p(p(ai i/b/bj j)-)-后向概率后向概率后向概率后向概率,已知信道输出端接收到符号为,已知信道输出端接收到符号为,已知信道输出端接收到符号为,已知信道输出端接收到符号为b bj j,但发,但发,但发,但发送的输入符号为送的输入符号为送的输入符号为送的输入符号为ai i的概率。它描述了信道引起的的概率。它描述了信道引起的的概率。它描述了信道引起的的概率。它描述了信道引起的疑义疑义疑义疑义性。性。性。性。p(p(ai i)-)-先验概率先验概率先验概率先验概率,接收到一个输出符号以前输入符号概率,接收到
16、一个输出符号以前输入符号概率,接收到一个输出符号以前输入符号概率,接收到一个输出符号以前输入符号概率p(bp(bj j)-输出某符号的概率输出某符号的概率输出某符号的概率输出某符号的概率(2)(2)根据条件概率可得输出符号的概率根据条件概率可得输出符号的概率根据条件概率可得输出符号的概率根据条件概率可得输出符号的概率:输出输出输出输出/输入符号与转移概率关系的矩阵形式为输入符号与转移概率关系的矩阵形式为输入符号与转移概率关系的矩阵形式为输入符号与转移概率关系的矩阵形式为:(3)(3)根据贝叶斯定律可得后验概率根据贝叶斯定律可得后验概率根据贝叶斯定律可得后验概率根据贝叶斯定律可得后验概率:表明:
17、在信道输出端接收到表明:在信道输出端接收到表明:在信道输出端接收到表明:在信道输出端接收到任一符号任一符号任一符号任一符号b bj j,一定是输入符,一定是输入符,一定是输入符,一定是输入符号号号号a1 1,a2 2 ,ar r中的某一中的某一中的某一中的某一个送入到信道。个送入到信道。个送入到信道。个送入到信道。3.2 信道疑义度与平均互信息信道疑义度与平均互信息 本节进一步研究离散单符号信道的数学模型本节进一步研究离散单符号信道的数学模型下的信息传输问题。下的信息传输问题。一、信道疑义度一、信道疑义度信道输入信源信道输入信源X的熵的熵 H(X)是在接收到输出是在接收到输出Y以前,关于输入变
18、量以前,关于输入变量X的先验不确的先验不确定性,称为定性,称为先验熵先验熵。如果信道中无干扰如果信道中无干扰(噪声噪声),则信道的输出符号与输入符号,则信道的输出符号与输入符号一一对应,那么,接收到传送过来的符号后就消除了对发送一一对应,那么,接收到传送过来的符号后就消除了对发送符号的先验不确定性。符号的先验不确定性。但如果信道中有干扰但如果信道中有干扰(噪声噪声)存在,接收到符号存在,接收到符号Y后对发送后对发送的是什么符号仍存在有不确定性。的是什么符号仍存在有不确定性。接受到接受到bj后,关于后,关于X的不确定性为的不确定性为 后验熵在输出符号集后验熵在输出符号集Y范围内是个随机量,对后验
19、熵在符范围内是个随机量,对后验熵在符号集号集Y中中求数学期望求数学期望,得条件熵,得条件熵-信道疑义度信道疑义度:这是接收到输出符号这是接收到输出符号bj后关于后关于X的的后验熵后验熵。后后验验熵熵是是当当信信道道接接收收端端接接收收到到输输出出符符号号bj后后,关关于于输输入入符符号的信息测度。号的信息测度。信道疑义度(含糊度)信道疑义度(含糊度):它表示在输出端收到全部输出:它表示在输出端收到全部输出符号符号Y集后,对于输入端的信号集集后,对于输入端的信号集X尚存在尚存在的不确定性的不确定性(存在疑存在疑义义)。这个不确定性是由于干扰这个不确定性是由于干扰(噪声噪声)引起的。引起的。如果是
20、一一对应信道,那么接收到符号如果是一一对应信道,那么接收到符号Y后,对后,对X的不确的不确性完全消除,则信道疑义度性完全消除,则信道疑义度H(X/Y)0。条件熵小于无条件熵,即条件熵小于无条件熵,即H(X/Y)H(X)。这说明接收到符号集这说明接收到符号集Y的所有符号后,关于输入符号的所有符号后,关于输入符号X的的平均不确定性减少了,即平均不确定性减少了,即总能总能消除一些关于输入端消除一些关于输入端X的不确定的不确定性,从而性,从而获得获得了一些信息。了一些信息。互信息量互信息量 I(xi;yj):收到消息:收到消息yj 后获得关于后获得关于xi的信息量的信息量即:互信息量表示先验的不确定性
21、减去尚存的不确定性,这即:互信息量表示先验的不确定性减去尚存的不确定性,这即:互信息量表示先验的不确定性减去尚存的不确定性,这即:互信息量表示先验的不确定性减去尚存的不确定性,这就是就是就是就是收信者获得的信息量收信者获得的信息量收信者获得的信息量收信者获得的信息量对于无干扰信道,对于无干扰信道,对于无干扰信道,对于无干扰信道,I(I(x xi i;y yj j)=I()=I(x xi i);对于全损信道,对于全损信道,对于全损信道,对于全损信道,I(I(x xi i;y yj j)=0)=0;二、平均互信息二、平均互信息平均互信息平均互信息I(X;Y):I(xi;yj)的的统计平均。统计平均
22、。l定义定义 I(X;Y)=H(X)-H(X/Y)为为X和和Y之间的之间的平均互信息平均互信息。l它代表接收到符号集它代表接收到符号集Y后平均每个符号获得的关于后平均每个符号获得的关于X的信的信息量,也表示了输入与输出两个随机变量之间的统计约息量,也表示了输入与输出两个随机变量之间的统计约束程度。束程度。关于平均互信息关于平均互信息I(X;Y)互信息互信息互信息互信息 I(I(x x;y y)代表收到某消息代表收到某消息代表收到某消息代表收到某消息y y后获得关于某事件后获得关于某事件后获得关于某事件后获得关于某事件x x的的的的信息量。信息量。信息量。信息量。它可取正值,也可取负值。它可取正
23、值,也可取负值。它可取正值,也可取负值。它可取正值,也可取负值。若若若若I(I(x x ;y y)0)=0=0。若若若若I(XI(X;Y)Y)=0=0,表示表示表示表示在在在在信道信道信道信道输出端接收到输出符号输出端接收到输出符号输出端接收到输出符号输出端接收到输出符号Y Y后后后后不获得任何关于不获得任何关于不获得任何关于不获得任何关于输输输输入符号入符号入符号入符号X X的信息量的信息量的信息量的信息量-全损信道全损信道全损信道全损信道。信道疑义度(损失熵)信道疑义度(损失熵)信道疑义度(损失熵)信道疑义度(损失熵),信源符号通过有噪信道传信源符号通过有噪信道传信源符号通过有噪信道传信源
24、符号通过有噪信道传输后所引起的信息量的损输后所引起的信息量的损输后所引起的信息量的损输后所引起的信息量的损失。失。失。失。I(X;Y)=H(X)-H(X|Y)I(X;Y)=H(X)-H(X|Y)I(X;Y)=H(Y)-H(Y|X)I(X;Y)=H(Y)-H(Y|X)I(X;Y)=H(X)+H(Y)-H(XY)I(X;Y)=H(X)+H(Y)-H(XY)其中:其中:其中:其中:平均互信息与各类熵的关系平均互信息与各类熵的关系噪声熵噪声熵噪声熵噪声熵(或散布度或散布度或散布度或散布度),反映了信道中噪,反映了信道中噪,反映了信道中噪,反映了信道中噪声源的不确定性声源的不确定性声源的不确定性声源的不
25、确定性。平均互信息与各类熵之间关系的说明平均互信息与各类熵之间关系的说明vI(X;Y)=H(X)-H(X|Y):从:从Y中获得关于中获得关于X的平均互信的平均互信息息I(X;Y),等于接收到输出,等于接收到输出Y的前、后关于的前、后关于X的平均不的平均不确定性的消除确定性的消除;vI(X;Y)=H(Y)-H(Y|X):平均互信息:平均互信息I(X;Y)也等于发也等于发出出X的前、后关于的前、后关于Y的平均不确定性的消除的平均不确定性的消除;v熵熵只只是是平平均均不不确确定定性性的的描描述述,I(X;Y)才才是是接接收收端端所所获获得的信息量(不确定性的消除)。得的信息量(不确定性的消除)。v平
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信道 及其 容量
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【精****】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【精****】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。