信息论与编码新题.pptx

1 1.1 信息的概念信息的概念 内容：1.1.1 信息的定义信息的定义1.1.2 信息的特征与性质信息的特征与性质2 信息是一个十分通俗而广泛信息是一个十分通俗而广泛的名词，抽象和复杂。的名词，抽象和复杂。不同的学科领域对其有不同不同的学科领域对其有不同的定义和解释。的定义和解释。31.1.1 信息的定义信息的定义消息、新闻与知识消息、新闻与知识 据新词源考证，唐代诗人李中，暮春怀故人，“梦断美人沉信息，目穿长路倚楼台”，“信息”是消息的同义词；在西方的早期文献著作中，信息(information)和消息(message)也是互相通用的；英国牛津字典中，信息是谈论的事情、新闻和知识(sth told;news or knowledge given);韦氏字典中，信息是在观察研究过程中获得的数据情报、新闻和知识。4维纳（维纳（WienerWiener）：美国数学家、控制论奠基人）：美国数学家、控制论奠基人 控制论：动物与机器中的通信与控制问题1948 “信息就是信息，不是物质，也不是能量信息就是信息，不是物质，也不是能量”利用排他法告诉人们：信息不是物质和能量。这是对信息本质的最有原则性和最深刻的宣示，是把信息、物质和能量”放在同样地位上的最早科学论断。香农（香农（Shannan):Shannan):美国学者、信息论创始人美国学者、信息论创始人 在贝尔系统技术杂志“通信的数学理论通信的数学理论”1948 把信息与信息的度量作为事物的把信息与信息的度量作为事物的“不肯定性不肯定性”与与 “不肯定性不肯定性”的度量。的度量。以概率为工具，阐述了通信工程的基本理论问题，给出了计算信源信息量和信道容量的方法，得到了表征信息传递重要关系的编码定理。5布里渊（布里渊（Brillouin）：法裔美国科学家）：法裔美国科学家 名著科学与信息论 信息就是负熵信息就是负熵(Negentropy)维纳在控制论与社会1950，正如熵是无组织程度的度量一样，消息集合所包含的信息就是组织程度的度量，事实上完全可以将消息包含的信息解释为负熵。M.TribesM.Tribes等等科学的美国人科学的美国人“能量与信息能量与信息”19711971 信息是使概率分布发生变动的东西信息是使概率分布发生变动的东西 概率是对知识状态的一种数值编码。某人对一个特定问题的知识状态可以这样表示，即对这个问题种种想得出的答案各分配一定的概率；如果对这个答案完全了解，对其中一个赋予1，其他为0.6艾什比艾什比(Ashiby)(Ashiby)：英国生物学家，控制论奠基人英国生物学家，控制论奠基人 控制论导引引入“变异度”的概念 信息定义为变异度信息定义为变异度 任何一个集合所包含的元素数目以2为底的对数称为这个集合的变异度；将变异度当作信息的概念来使用（1956）。变异度实际是均匀概率分布条件下的香农熵。事实上，半个多世纪以来，科学文献中提出过的信息定义数以百计。不同的作者从不同的角度在不同的条件下对信息进行考察的结果。7钟义信 主编信息科学与技术导论一书：根据不同的约束条件，区分根据不同的约束条件，区分不同的层次给出信息的定义，同不同的层次给出信息的定义，同时根据约束条件的增减，使信息时根据约束条件的增减，使信息的定义随之进退。的定义随之进退。8l没有任何约束条件的层次是最高层次，最普没有任何约束条件的层次是最高层次，最普遍适用的层次，称为本体论层次。遍适用的层次，称为本体论层次。l引入一个约束条件，最高层次的定义退变为引入一个约束条件，最高层次的定义退变为次高层次的定义，适用范围比最高层次定义次高层次的定义，适用范围比最高层次定义的范围窄；若引入的约束条件具有主体（人、的范围窄；若引入的约束条件具有主体（人、生物和机器）存在，并且从主体的立场出发生物和机器）存在，并且从主体的立场出发来定义信息，本体论层次信息定义就转化为来定义信息，本体论层次信息定义就转化为认识论层次信息定义。认识论层次信息定义。l引入的约束条件越多，层次越低，适用范围引入的约束条件越多，层次越低，适用范围越窄。越窄。9l本体论层次的信息定义：是事物的运动状态极本体论层次的信息定义：是事物的运动状态极其变化方式的自我表述。其变化方式的自我表述。l认识论层次的信息定义：指主体所感知（或所认识论层次的信息定义：指主体所感知（或所表述）的关于该事物的运动状态极其变化方式，表述）的关于该事物的运动状态极其变化方式，包括这种状态或方式的形式、含义和效用。包括这种状态或方式的形式、含义和效用。l在这个体系下，各种有关信息的定义在不同层在这个体系下，各种有关信息的定义在不同层次上找到位置。次上找到位置。101.1.2 信息的特征与性质信息的特征与性质1、特征、特征1 1）信息来源于物质，又不是物质本身，它从物质的运动）信息来源于物质，又不是物质本身，它从物质的运动 中产生出来，又可以脱离源物质而寄生于其它物质中产生出来，又可以脱离源物质而寄生于其它物质（媒体），相对独立的存在。（媒体），相对独立的存在。2 2）信息也来源于精神世界，但是又不限于精神世界。）信息也来源于精神世界，但是又不限于精神世界。3 3）信息与能量息息相关，但又与能量有质的区别。）信息与能量息息相关，但又与能量有质的区别。4 4）信息可以被提炼成知识，但信息本身不等于知识。）信息可以被提炼成知识，但信息本身不等于知识。5 5）信息是具体的，可以被主体（人，生物和机器）所感）信息是具体的，可以被主体（人，生物和机器）所感知、提取和识别，可以被传递、存储、变换、处理、知、提取和识别，可以被传递、存储、变换、处理、显示、检索和利用。显示、检索和利用。6 6）信息可以被复制，可以被共享。）信息可以被复制，可以被共享。112、性质、性质1 1）普遍性：信息是普遍存在的。）普遍性：信息是普遍存在的。2 2）无限性：在整个宇宙时空中，信息是无限的，即使是）无限性：在整个宇宙时空中，信息是无限的，即使是 在有限空间，信息也是无限的。在有限空间，信息也是无限的。3 3）相对性：对于同一事物，不同观察者所获得的信息量）相对性：对于同一事物，不同观察者所获得的信息量可能不同。可能不同。4 4）传递性：信息可以在时空中从一点传递到另一点。）传递性：信息可以在时空中从一点传递到另一点。5 5）变换性：信息是可变换的，它可以由不同的载体用不）变换性：信息是可变换的，它可以由不同的载体用不同的方式来载荷。同的方式来载荷。6 6）有序性：信息可以用来消除系统的不确定性，增加系）有序性：信息可以用来消除系统的不确定性，增加系统的有序性。统的有序性。127 7）动态性：信息具有动态性质，一切活的信息都随时间）动态性：信息具有动态性质，一切活的信息都随时间而变化，因此，信息也是有时效、有而变化，因此，信息也是有时效、有“寿命寿命”的。的。8 8）转化性：从潜在的意义上讲，信息可以转化。在一定）转化性：从潜在的意义上讲，信息可以转化。在一定条件下，可以转化为物质、能量和时间等。条件下，可以转化为物质、能量和时间等。133、信息的功能、信息的功能 信息可以通过一定的算法被加工成知识，并针对给定的目标被激活成为求解问题的智能策略，进而按照策略求解实际的问题。这是信息最核心最本质的功能。信息信息知识知识智能（策略）智能（策略）是人类智慧的生长链，或称智慧链是人类智慧的生长链，或称智慧链。141.2 信息科学技术概述信息科学技术概述 内容：1.2.1 信息科学信息科学1.2.2 信息技术信息技术1.2.3 信息产业信息产业151.2.1 信息科学信息科学 可以定义为可以定义为“研究信息现象极其运动规律的科学研究信息现象极其运动规律的科学”信息科学是以信息为主要研究对象、以信息运动过信息科学是以信息为主要研究对象、以信息运动过程的规律为主要研究内容、以信息科学方法论为主程的规律为主要研究内容、以信息科学方法论为主要研究方法、以扩展人的信息功能（全部信息功能要研究方法、以扩展人的信息功能（全部信息功能形成的有机整体就是智力功能）为主要研究目标的形成的有机整体就是智力功能）为主要研究目标的一门科学。一门科学。1 1、信息科学的研究对象、信息科学的研究对象 信息科学的研究对象信息，这是信息科学区别于其信息科学的研究对象信息，这是信息科学区别于其它科学的最根本的特点之一，也是信息科学之所以它科学的最根本的特点之一，也是信息科学之所以能够成为一门独立学科的最根本的前提。能够成为一门独立学科的最根本的前提。162、信息科学的研究内容、信息科学的研究内容 研究内容信息的运动过程及其运动规律。信息全过程模型（信息科学研究内容）人类通过信息器官认识世界和改造世界的信息模型。171）信息获取）信息获取 信息的感知和表示信息的感知和表示2）信息传递）信息传递 信息的发送、传输和接收，即通信（或存储）过程。信息的发送、传输和接收，即通信（或存储）过程。3）信息处理）信息处理 对信息进行加工和处理，从中提取相关的知识。即认对信息进行加工和处理，从中提取相关的知识。即认 知过程。知过程。4）信息再生）信息再生 利用已有信息产生新信息的过程。求解问题的策略？利用已有信息产生新信息的过程。求解问题的策略？即决策过程即决策过程5）信息施效（应用）信息施效（应用）信息最终发挥效用的过程。通过调节对象的运动状态信息最终发挥效用的过程。通过调节对象的运动状态及其变化方式，使其处于预期的运动状态。即控制。及其变化方式，使其处于预期的运动状态。即控制。183、信息科学的研究目的、信息科学的研究目的 扩展人类的信息功能，其有机整体就是智力功能。扩展人类的信息功能，其有机整体就是智力功能。随着信息科学研究的不断深入，主体（人和生物）随着信息科学研究的不断深入，主体（人和生物）在信息获取、信息传递、信息处理、信息再生和信息在信息获取、信息传递、信息处理、信息再生和信息施效等各种功能的内在机制将逐步被阐明。施效等各种功能的内在机制将逐步被阐明。逐渐找到越来越有效的方法在机器上模拟或者浮现逐渐找到越来越有效的方法在机器上模拟或者浮现主体信息功能的机制，甚至在某些方面改进这些机制主体信息功能的机制，甚至在某些方面改进这些机制的工作性能。的工作性能。大量高级智能信息系统的问世，以它们的优异性能大量高级智能信息系统的问世，以它们的优异性能来补充、增强和扩展人的各种天然信息功能，这些功来补充、增强和扩展人的各种天然信息功能，这些功能的综合能的综合智力功能。智力功能。191.2.2 信息技术信息技术定义：定义：“扩展人的信息功能扩展人的信息功能”的手段和方法。的手段和方法。主要包括（功能）：主要包括（功能）：1 1）传感技术：延长人的感觉器官收集信息的功能。）传感技术：延长人的感觉器官收集信息的功能。2 2）通信技术：延长人的神经系统传递信息的功能。）通信技术：延长人的神经系统传递信息的功能。3 3）存储技术：延长人的记忆器官存储信息的功能。）存储技术：延长人的记忆器官存储信息的功能。4 4）计算机技术：思维器官处理信息和决策的功能。）计算机技术：思维器官处理信息和决策的功能。信息的载体是信号，根据信号的不同形式，可分为：信息的载体是信号，根据信号的不同形式，可分为：电磁信息技术、电子信息技术、光信息技术、生电磁信息技术、电子信息技术、光信息技术、生物信息技术等。物信息技术等。201.2.3 信息产业信息产业 信息技术所产生的各种产品的生产、销售和售信息技术所产生的各种产品的生产、销售和售后服务，以及对这些产品的使用服务等。后服务，以及对这些产品的使用服务等。211.3 信息论概述信息论概述内容：1.3.1 信息论基本内容信息论基本内容 1.3.2 信息论的特点信息论的特点 1.3.3 信息论产生与发展信息论产生与发展 1.3.4 香农简介与学术风格香农简介与学术风格22u信息论一般是指香农信息论或经典信息论，研究的基信息论一般是指香农信息论或经典信息论，研究的基本问题是信源、信道及编码问题。是信息科学产生的本问题是信源、信道及编码问题。是信息科学产生的基础与起点。基础与起点。u1948年年Bell实验室香农实验室香农:通信的数学理论通信的数学理论(Mathematical Theory of Communication)用统计的方法建立了通信系统中信源信息的度量、信用统计的方法建立了通信系统中信源信息的度量、信道容量的度量以及保障通信系统信息传输有效性和可道容量的度量以及保障通信系统信息传输有效性和可靠性的编码原理。靠性的编码原理。u香农信息论研究通信系统中信息的传输和处理问题，香农信息论研究通信系统中信息的传输和处理问题，主要是针对通信系统（信息的传递过程）。主要是针对通信系统（信息的传递过程）。“信息论信息论”不等于不等于“信息科学信息科学”1.3.1 信息论基本内容信息论基本内容231.3.2 信息论的特点信息论的特点u以概率论、随机过程为基本研究工具；以概率论、随机过程为基本研究工具；u研究通信的整个过程，并以编码和解码为重点；研究通信的整个过程，并以编码和解码为重点；u关心的是最优系统的性能和怎样达到这个性能；关心的是最优系统的性能和怎样达到这个性能；u信源为随机过程，不研究信宿。信源为随机过程，不研究信宿。241.3.3 信息论的产生与发展信息论的产生与发展 香农信息论的创立主要是由于香农的杰出的贡献，但也与当时的技术发展背景和前人的工作密不可分。主要通信技术与手段：主要通信技术与手段：电报(Morse,1830s)电话(Bell,1876)AM无线电(1900s 早期)单边带调制(Carson,1922)电视(1925-1927)电传(1931)调频(Armstrong,1936)脉冲调制(Reeves,1937-9)声码器(Dudley,1939)扩频(1940s)251、信息论的确立期、信息论的确立期 为了提高通信的质量和效率，机电技术和数学两方面为了提高通信的质量和效率，机电技术和数学两方面:机电技术：机电技术：改进通信的物理手段与条件，如有线无线通改进通信的物理手段与条件，如有线无线通信的采用，收发设备的改进，波段选择和信噪比等。信的采用，收发设备的改进，波段选择和信噪比等。数学方面：数学方面：数学描述的重要性，信息论的基本问题开始数学描述的重要性，信息论的基本问题开始形成，一些重要的通信原则开始确定。形成，一些重要的通信原则开始确定。1948-20世纪世纪60年代：年代：香农主要贡献为：香农主要贡献为：262728特点：对香农理论的研究与说明。特点：对香农理论的研究与说明。292、信息论的发展、信息论的发展20世纪世纪70年代年代80年代：理论发展期年代：理论发展期率失真理论：率失真理论：失真的数据压缩理论。解决了在一定允许误差条件下的最小信号体积问题。主要标志是T.Berger的专著Rate Distortion Theory问世。已成为数据压缩技术的理论基础。多用户信息论：多用户信息论：多用户信源信道模型及编码定理证明，其发展是现在的网络信息论。3020世纪世纪90年代前后：年代前后：理论的成功应用和多学科结合。理论的成功应用和多学科结合。无失真信源编码无失真信源编码 Huffman码 算术编码 LZW（Lempel-Ziv-Welch）码 YK（Yang-Kieffer）码31有失真信源压缩编码有失真信源压缩编码 有失真信源压缩编码理论是原理到技术、产品与市场紧密结合的成功范例，是现代多媒体技术的基础与支柱。技术标准：技术标准：JPEG（Joint Photographic Experts Group）静态图像有损压缩标准 JPEG2000 静态图像有损压缩标准 MPEG-1,-2,-4 动态图像与音频压缩标准32调制解调码调制解调码 在一定通信质量要求下，如何提高通信速度？G.Ungerbock等（1982）：利用格子码和软判决理论，针对高斯（Gaussian）信道，给出了调制解调码的结构与编译码算法。数据传输速度提高了近30倍，使网络通信成为实用性的技术。33Turbo码和码和LDPC码码 与以往的编码方法（代数码和卷积码）相比，其与以往的编码方法（代数码和卷积码）相比，其性能指标已接近香农编码定理的最优解；性能指标已接近香农编码定理的最优解；编码理论与实现的统一，即使香农的最优编码理编码理论与实现的统一，即使香农的最优编码理论在工程中得以实现。论在工程中得以实现。341.3.4 香农简介与学术风格香农简介与学术风格香农简介：3536香农学术风格：37习题：P29:1,3,7