第二章-信源与信息度量-习题解答演示教学.doc

第二章 信源与信息度量 习题解答精品资料第二章 信源与信息度量 习题解答1. 某大学设置五个学院，每个学院的学生数分别为学院： 数学 物理 外语 外贸 医学 人数： 300 400 500 600 200 问“某学生王某是外语学院学生”这一消息提供的信息量是多少？解：总人数为：300+400+500+600+200=2000人是外语学院学生的概率为：同理计算其它学院学生概率后，得信源的概率空间为：“学生王某是外语学院学生”这一消息提供的信息量：比特2. 同时扔出两个正常的骰子，也就是各面呈现的概率都是1/6，求：（1） 事件“2和5同时呈现”的自信息量；（2） 事件“两个4同时呈现”的自信息量；（3） 事件“至少呈现一个1”的自信息量。解：（1）事件“2和5同时呈现”的概率：，该事件的自信息量：（2）事件“两个4同时呈现”的概率：，该事件的自信息量：（3）事件“至少呈现一个1”的概率：，该事件的自信息量：3. 字母“e” 在英文中出现的概率是0.103，字母“c”出现的概率为0.022，字母“x”出现的概率是0.001，求这些字母各自的自信息量。解：（1）字母“e”的自信息量：（2）字母“c”的自信息量：（3）字母“x”的自信息量：4. 某电子厂共能生产A、B、C、D四种仪器，其中A因技术落后停产了，B占全部产量的20%，C占30%，D占50%。有两个消息“现在完成1台仪器B”，和“现在完成1台仪器C”，试确定哪一种消息提供的信息量大些？其中有什么规律？解：因为，以及 消息提供的信息量与其出现概率倒数的对数成正比，所以，即“现在完成一台仪器B”提供的信息量大于“现在完成一台仪器C”提供的信息量。规律：(1) 出现概率为零的消息可略去。(2) 概率小的消息出现时提供的信息量大于概率大的消息出现时提供的信息量。5. 某地，35%的女孩上大学，65%的女大学生身高超过1.6米，而一个女孩身高超过1.6米的概率是50%，现有一条消息：说某一个身高超过1.6米的女孩是大学生，求这条消息的信息量。解：根据题意，35%的女孩上大学，一个女孩身高超过1.6米的概率是50%，得两个信源概率空间：，根据65%的女大学生身高超过1.6米，知：，消息：某一个身高超过1.6米的女孩是大学生的概率为：该消息的信息量：6. 试求：（1） 在一付标准的扑克牌中抽出一张（每张牌均认为是不同的）的平均信息量。（2） 若扑克牌仅按它的等级鉴定而不问它的花色(大、小王属同一等级)，重复上述计算。解：(1) 比特/每张牌(2)出现的概率为：，王出现的概率为：，信源的概率空间为：比特/每张牌。7. 某地的天气预报为：晴（占4/8），多云（占2/8），雨（占1/8），雪（占1/8），冰雹（占0/8）；而当地老农对天气的预测只能做到：晴（占7/8），雨（占1/8）。试求两者对天气预报各自提供的平均信息量，并说明从中得到的规律。解：天气预报：比特/每次预报老农预报：比特/每次预报。天气预报给出更详细的消息及其概率分布，消息数更多，平均信息量更大。8. 某离散无记忆平稳信源的概率空间为：，若某消息符号序列为：202 120 130 213 001 203 210 110 321 010 021 032 011 223 210，求：（1） 该消息的自信息量；（2） 该消息平均每个符号携带的信息量。解：（1）根据信源概率空间，计算得到每个符号的自信息量：该消息序列各符号相互独立，其自信息量等于各符号自信息量之和：（2）该消息平均每个符号携带的信息量：比较该离散信源的熵：，可见，该特定的消息符号序列平均每个符号携带的信息量仅仅是近似于离散信源熵，而不等同于信源熵，因为其每个消息出现的概率并不等同于信源概率空间各符号的概率分布。9. 若每帧电视图像由3105个像素组成，且像素是独立变化的。每个像素取128个不同的亮度电平，并设亮度电平等概率出现。（1） 问每帧图像含有多少信息量？（2） 若现有一广播员在约10，000个汉字的字汇中选1，000个字来口述此电视图像，问广播员描述此图像所播出的信息量是多少？（假设，10，000个汉字字汇等概率分布，并彼此无依赖）（3） 若要恰当地描述出此图像的所有信息量，广播员在口述中至少需要多少汉字？解：（1）每帧图像含有的信息量：（2）广播员描述此图像所播出的信息量：（3）平均每个汉字的信息量：广播员描述此图像所需的汉字数：10. 设有一个信源，发送“0”和“1”两种符号，无论何时发出符号的概率均为p (0) = 0.4，p (1) = 0.6，并与以前发出的符号无关，（1） 问该信源是否是平稳信源？（2） 计算，和；（3） 计算，并写出信源中所有可能的符号序列。解：（1）信源发出各符号的概率与时间无关，因此为平稳信源。（2）离散无记忆信源熵：因为是无记忆信源，前后符号无相关性，因此：（3）信源中所有可能的符号序列：0000 0001 0010 0011 0100 0101 0110 0111 1000 1001 1010 1011 1100 1101 1110 1111，共16种符号序列。11. 有一二元数字通信系统，传送“0”和“1”的概率分别为1/4和3/4。（1） 计算此系统的信源熵和其冗余度。（2） 为了可靠地传输消息，对每个符号重复传输3次，试求其冗余度为多少；如果采用重复传输4次的方案呢？这样做是否合理？解：（1）信源熵 比特/消息二元信源的最大熵 比特/消息冗余度 （2）重复三次信源熵 比特/消息冗余度 重复四次信源熵 比特/消息冗余度 重复四次不合理，因为当错误两个码元即2比2时，就不能采用最大似然法判决译码。12. 黑白电视消息只有黑色和白色两种，即信源，设黑色出现的概率为，白色出现的概率。（1） 假设图上黑白消息出现前后没有相关性，求熵；（2） 假设消息前后有相关性，其依赖关系为，求此一阶马尔可夫信源的熵，画出其状态转移图；（3） 分别求上述两种信源的剩余度，比较和的大小，并说明其物理意义。解：(1) 如无相关性比特/消息(2) 如有相关性根据已知条件可写出：有2个符号：，一阶：，状态数：个于是可以画出如下的状态转移图：根据状态转移图列方程组：解得计算马尔可夫信源熵：比特/消息(3) 二元信源最大熵为1比特/消息情况(1)的剩余度情况(2)的剩余度，可见，当前后符号有相关性时，信源熵减小，冗余度增大。pp1-p012p1-p1-p13. 马尔可夫信源的消息符号集为0,1,2，其状态转移图如右图所示。（1） 求稳定后信源符号的概率分布；（2） 求此马尔可夫信源熵；（3） 当p = 0或p = 1时，求此马尔可夫信源熵。解：（1）根据状态转移图： （2）一阶马尔可夫信源熵：（3）当p=0，或p=1时，表示信源从一个状态转移到另一个状态一定不发生或一定发生，即是确定事件，信源输出的状态序列确定，信源输出的符号序列也确定，信源不存在不确定性，信源的信息熵为零。14. 某校入学考试中有1/4考生被录取，3/4考生未被录取。被录取的考生中有50%来自本市，而落榜考生中有10%来自本市。所有本市的考生都学过英语。而外地落榜考生以及被录取的外地考生中都有40%学过英语。（1） 当已知考生来自本市时，给出多少关于考生是否被录取的信息。（2） 当已知考生学过英语时，给出多少关于考生是否被录取的信息。（3） 以x表示是否落榜，y表示是否为本市学生，z表示是否学过英语，试求H(X)，H(Y/X)，H(Z/XY)。解：（1）以x表示是否落榜，y表示是否为本市学生，z表示是否学过英语，则已知： 可计算得：，已知考生来自本市时，给出关于考生是否被录取的信息为：（2）已知考生学过英语时，给出关于考生是否被录取的信息为：（3）作业：1，2，3，5，6，7，8，9，11，12仅供学习与交流，如有侵权请联系网站删除 谢谢10