语义通信白皮书.pdf

1/126摘要摘要在过去几十年中，通信领域的研究主要集中在如何准确有效地将符号从发送端传输到接收端，即语法通信。随着无线通信系统的发展，系统容量逐渐接近香农极限。香农和韦弗将语义通信划分为通信的第二个层次。区别于传统通信将符号的准确传输作为目标，语义通信的主要目的是实现语义信息的准确交互。语义通信专注于传递信息的含义和重要性，而非仅仅关注符号本身，主要用于解决如何精准传递发送符号的含义，以及接收方如何以期望的方式影响系统行为的问题。通过对信息语义的提取、编码和传输，语义通信可大幅提升通信效率。随着新一代通信技术和人工智能技术的蓬勃发展，语义通信在人机交互、全息通信、智能制造等领域展现出广阔的应用前景，受到了全球学术界和工业界的广泛关注。本白皮书全面介绍了语义通信的基本原理、技术模块、应用领域以及关键挑战等，旨在为语义通信在下一代无线网络中的应用提供参考和指导。白皮书详细讨论了语义通信的关键模块，包括语义知识库构建、语义信道联合编解码、语义信息传输以及与现有系统的兼容性，为读者提供了深入了解语义通信技术的基础。进一步探讨了单模态和多模态语义通信系统架构，同时研究了抑制语义噪声的方法，为实现多模态多用户语义通信提供了综合视角。白皮书还关注了语义通信与其他网络的结合，包括数字通信网络、认知网络、分布式网络、安全网络以及卫星网络等，旨在实现高效、可靠和智能化的语义传输。最后，分析了语义通信的现有和潜在应用场景，并探讨了相关的挑战，同时展望了语义通信领域的未来发展，为读者提供了对未来研究和创新方向的启示。2/126目 录摘要.11.语义通信概述.62.语义通信关键模块.82.1 语义知识库.82.1.1 语义知识库使能的现代语义通信.82.1.2 面向语义通信的语义知识库结构体系.102.1.3 语义知识库的构建方法.112.1.4 语义知识库对语义通信的支撑示例.122.2 语义-信道联合编解码.142.2.1 语义编解码.142.2.2 语义信道联合编解码.152.3 语义信息传输.162.3.1 语义信息的传输与挑战.172.3.2 应对现代通信挑战：语义信息传输系统的示例.182.4 语义通信与现有系统的兼容性.202.4.1 语义通信与信源编码兼容.202.4.2 语义通信与经典通信系统的分层架构兼容.253.单模态语义通信.283.1 面向文本的语义通信.283.2 面向语音的语义通信.313.3 面向图像的语义通信.353.4 面向视频的语义通信.373.4.1 视频传输背景.373.4.2 语义视频传输.373.4.3 语义视频会议.383.4.4 小结.404.语义噪声抑制.414.1 鲁棒的文本语义通信.413/1264.2 鲁棒的语音语义通信.424.3 鲁棒的图像语义通信.435.多模态语义通信.465.1 多模态语义通信架构.465.1.1 多模态语义通信中的模态融合设计.475.1.2 多模态语义通信中的抗噪性设计.495.2 多任务的语义通信.495.2.1 多任务语义通信系统研究动机.495.2.2 多任务语义通信系统框架.515.2.3 多任务语义通信主要技术和未来展望.525.3 多用户的语义通信.535.3.1 多用户语义通信主要技术.535.3.2 多用户语义通信系统架构.545.3.3 多用户语义通信资源配置.556.数字语义通信与波形优化.576.1 数字语义通信网络.576.2 基于 OFDM的语义通信波形优化.596.3 全双工语义通信.616.4 基于可预测信道的语义通信.647.语义通信中的资源管理.677.1 语义通信中的资源分配模型构建.677.2 资源分配的优化目标.687.3 语义通信中的资源管理策略.697.4 语义混合自动重传请求.707.4.1 传统混合自动重传技术.707.4.2 语义混合自动重传系统.717.4.3 小结.737.5 语义错误检测.747.5.1 传统校验检错方法.747.5.2 语义相似度检测技术.757.5.3 句子语义相似度检测.764/1267.5.4 小结.788.分布式语义通信.798.1 多模态语义中继架构.798.1.1 多模态语义中继架构组成与部署.818.1.2 多模态语义中继架构优势.828.2 分布式协同设备-服务器推理.838.2.1 分布式协同设备-服务器推理组成与部署.838.2.2 分布式协同设备-服务器推理实验性能分析.849.语义通信中的安全挑战与对策.869.1 语义通信中的模型安全.869.1.1 对抗性攻击与防御.879.1.2 投毒攻击与防御.889.1.3 未来展望.899.2 语义通信中的密码技术.899.3 语义通信中的隐私保护.929.4 语义水印安全通信.9410.面向卫星系统的语义通信.9810.1 卫星系统中的高效语义传输.9810.1.1 多星语义传输系统.9910.2 卫星系统中的高可靠性语义传输.10010.2.1 低链路预算下的语义传输.10010.2.2 基于语义传输的卫星波束赋形.10010.2.3 基于信道预测的语义传输.10110.3 卫星系统中的智能语义传输.10111.应用场景.10311.1 全息通信.10311.2 自动驾驶.10511.3 数字平安乡村.10611.4 工业智能制造.10711.5 智慧仪表.10812.关键挑战.1095/12612.1 面向语义信息论的挑战.10912.2 基于大模型的语义通信.11112.3 标准化.11213.总结与展望.11414.参考文献.11515.缩略语列表.1246/1261.语义通信概述语义通信概述香农和韦弗指出，通信可分为语法层、语义层和语用层三个层次。依托于香农经典信息论的传统通信属于语法层，用误比特率、误符号率和传输速率等度量标准评估网络性能，并不考虑符号的含义，主要用于解决比特或符号正确传输的技术难题。语义通信专注于传递信息的含义和重要性，而非仅仅关注符号本身，主要用于解决如何精准传递发送符号的含义，以及接收方如何以期望的方式影响系统行为的问题。虽然语义通信与语法通信同步被提出，但一直以来由于技术水平和场景需求的限制，人们更注重于语法通信。然而，随着通信技术的迅猛进步，传统通信系统的容量已经逐渐接近香农理论的极限。另一方面，随着人工智能技术的发展和 6G 网络中对通信智能化需求的增长，语义通信再次成为热门技术。语义通信是一种全新的通信范式，可以在语义层面解决信息的含义表达与传输问题，将信息含义的理解环节部分或全部移到发送端，从而减少传输量，降低带宽需求。语义通信与传统通信的区别如下：第一是信息的表征方式，语义通信面向通信场景和任务，将符号表征升级为语义特征，使信源内容的语义特征提取和理解移到发送端。第二是服务质量评价准则。语法通信通常以误符号率、丢包率等指标衡量服务质量，无法直接反映用户体验等主观质量。根据场景和任务不同，语义通信采用客观的语义准确性和主观的用户感知质量来共同定义服务质量。与传统通信相比，语义通信系统有更高的传输效率。由于仅传输重要的语义信息而不是全部信息，因此语义通信对传输带宽需求较低，可以提升传输可靠性和传输容量，进而提升无线传输效率。同时，原始信息的重建需要语义解码模型，因此在特定条件下语义通信也可以增强数据安全。语义通信的系统模型如下图所示，语义通信主要关注信源内容的语义表征、传输与重构，以及基于语义的无线传输。关键环节包括知识库构建、语义编解码和信道编解码等。在理论方面，语义通信研究主要受到香农信息论的启发，通过用逻辑概率替代统计概率，7/126定义了语义熵、语义率失真、语义信道容量，进而建立了语义通信的理论体系。另一方面，随着人工智能和数据处理能力的提升，基于深度学习的语义特征的提取、编码和传输等算法已成功应用于不同类型的信源。语义通信在多媒体通信、增强现实、沉浸式通信等领域具有广泛的应用前景。图 1.1 语义通信系统模型8/1262.语义通信关键模块语义通信关键模块2.1 语义知识库语义知识库2.1.1 语义知识库使能的现代语义通信语义知识库使能的现代语义通信图 2.1 语义知识库使能的现代语义通信架构随着移动通信和互联网技术的快速发展，高速率、低时延的无线接入需求急剧增加，传统通信系统已趋近于香农理论极限，因此迫切需要新的通信技术的突破。语义通信作为一种内生智能的新型类脑信息交互机制，其语义元素提取、识别、理解、传输和推理过程与人类间信息传输表达类似。在传统通信中，信源符号将按照预设的编码方式映射到比特码流中，其映射函数基于实践经验与准确的数学模型进行设计。在语义通信中，信源将被基于人工智能算法的编码系统映射到基于语义基（Seb）的语义流中，其映射函数的确立基于数据与模型双重驱动的神经网络体系1。传统通信在符号比特流的基础上进行信号处理，与传统通信方式不同，语义通信在语义基的基础上进行信号处理。语义通信中的最小传输与处理单元为语义基，目前语义基还没有明确的定义。广义上来说，所有从源信息提取的语义相关的特征都可以视为语义基。不过，不同方法提取的语义特征或者不同形式的语义特征，肯定都有其不同的特点，其中9/126一部分可以明显判断其优劣性，而另外一部分就需要根据具体的通信任务和需求来进行判断其优劣性了。这也是语义基具有不确定性的原因之一，因为同一条确切的信息背后所包含的语义元素在不同的通信节点中可能会有不完全一致的理解。因此，关于语义基的定义、获取方式，以及多模态通用统一的语义提取仍是需要深入研究的课题。语义知识库是语义基框架研究的一个方向，其是一种结构化的且具备记忆能力的知识网络模型，可以为数据信息提供相关的语义知识描述。如图 2.1 所示，面向语义通信的语义知识库可分为信源知识库、信道知识库、任务知识库，分别为信源数据（如文本、图片、视频等）、信道传输环境（如传输中障碍物位置与形状信息、智能反射面位置信息等）、任务需求（如图片分类、三维重建、语义分割等）提供多层级语义知识表征1。在端到端的语义通信中，发送端根据所具备的信源、信道、任务知识库，可以高效获取信源数据的多层级语义知识描述、传输环境的信道语义估计、下游任务的具体语义需求，然后对所要发送的信息进行语义信道联合编码；在接收端，则根据在接收端所具备的语义知识库，对接收到的信息进行知识查询与理解，完成语义信道联合解码。语义知识库促进了语义通信的发展。例如，当前基于深度学习的信源-信道联合编解码方法需要针对其面向的特定任务，基于大规模的相关数据，进行大量的训练，以获得合适的通信模型。这种对于数据与时间资源的高消耗特性阻碍了深度信源-信道联合编码的推广。而语义知识库作为一种先验知识，为语义通信提供了高效且规范的语义支撑，能够有效加速信源信道-联合编解码网络的训练，减少为了各具体通信任务进行网络训练时对大规模数据的依赖。下一代无线通信技术面临更复杂多样的通信场景和业务需求，采用不同通信协议的智能体进行互联的场景需求将大量增加。通过语义知识库进行知识共享将有助于人-机-物的高效互联网络建立起统一的知识背景，从而提升异构协议智能体之间的交互效率。配置不同语义通信协议的智能体对语义基的定义与表征存在很大差异，而语义知识库可以一定程度上应对跨协议语义通信时，语义基规范不统一、物理层信号规范不统一等挑战。因为足够大的语义知识库能够涵盖关于各协议对语义基和信号的表征规范。将其分发至跨协议语义通信的异构智能体，可以有效帮助智能体完成面向具体任务的训练。另外，基于语义知识库还可以灵活的更新或增添编解码组件，而无需对智能体已有的语义层和物理层模块进10/126行删改。通常，语义知识库部署在边缘服务器中，异构协议智能体只需在每一次新建连接前从语义知识库中申请加载相应的语义知识即可，通信的过程则无需语义知识库参与。语义知识库为语义通信中语义元素的提取、识别、传输、理解和推理过程提供全局知识背景和存储搜索服务。语义知识库定义了高效的搜索空间，规范了搜索路径，大大增加了语义通信的灵活性，为语义通信在更多通信场景下的应用提供了支撑，是语义通信的关键使能技术之一。2.1.2 面向语义通信的语义知识库结构体系面向语义通信的语义知识库结构体系我们首先介绍语义知识库的结构，包含语义知识库的接口及内部的组织形式（如图2.2 所示）。图 2.2 语义知识库示意图知识库接口设计知识库接口设计考虑简单的信源与信宿共享相同知识库的情形，信源端利用知识库获得信源、任务以及信道的语义知识用于指导编码和传输，信宿端会利用知识库对接收到的信号进行解码。这其中关键的一步是如何从知识库中获取所需的知识，我们将该过程称为知识检索。得益于我们使用语义特征向量的形式表征不同模态信号源的语义知识，我们可以使用统一的接口处理不同模态信号源的知识检索，保证了语义库接口的一致性与拓展性。下面定义了语义知识库的输入与输出。输入输入：语义知识类型（信源、任务、信道三种之一）以及数据源信息（如数字、字符、文本、图像、语音、视频、点云等）；11/126输出输出：一个列表，含有多组语义向量。该列表描述了输入信号的多层级的语义知识，其中列表的长度表示层级个数。例如，对于信源语义知识检索，输入一张图像，返回多组语义向量，每一组向量代表一个层级。对于物体分割任务，返回的语义向量可以刻画、，等。语义知识的组织形式语义知识的组织形式知识库中将包含三类子语义知识库，分别是信源、任务、信道知识库。知识库内部存储了若干组根据数据源与目标任务预先构造的语义基，以及可用于实时动态构建语义基的计算模型。在输入新的数据源进行语义知识检索时，若已有的语义基满足通信任务需求，将直接利用已有的语义基对输入数据源进行表征，返回语义知识向量；若已有语义基无法满足通信任务需求，将利用计算模型实时构造符合需求的语义基对输入数据源进行语义知识表征。2.1.3 语义知识库的构建方法语义知识库的构建方法目前面向端到端语义传输的语义知识库构建方法包括知识图谱、以带标签的训练数据集、特征向量集合以及大语言模型等。第一类方法基于知识图谱构建语义知识库。针对文本传输，文献2使用描述语义信息的三元组（包含头部实体、关系、尾部实体）构建语义知识图谱，并且将此作为收发端语义知识库用于指导文本传输中语义编解码设计。针对语音传输，文献3提出了基于知识图谱的多层级结构的语义知识库基础模型，以及包含语义表达和语义符号抽象两个步骤的语义知识库构建方法。针对图数据传输，文献4提出了由显式语义、隐式语义以及与用户相关的知识推理机制组成的多层级语义表征方法，并且基于模仿学习对接收端用户的语义推理机制进行训练以保证与发送端推理机制一致，有效降低了传输负载。除此之外，文献4进一步针对语义知识库使能的异构网络，基于联邦图神经网络方法提出了各移动边缘服务器协同推理机制，从而使得各服务器可基于分布式语义信息样本构建共享语义解析模型。12/126第二类方法以带标签的训练数据集作为知识库。当需要传输的数据信息与训练数据集的统计特性分布不同时，文献5利用迁移学习中的领域自适应技术，降低了数据差异对模型泛化性能的影响，使得信道编解码方案能够更好的适应目标领域的所需传输的数据。第三类方法基于深度学习模型提取的特征向量作为语义知识库。文献6定义一组有限离散语义基向量集合为语义知识库，通过端到端联合训练获得语义编解码器和语义知识库。文献7设计了一个新型的掩码向量量化自编码器（VQ-VAE）网络，用来同时训练并获得编解码器和离散码本。得益于码本的使用，在减少传输开销的同时，对抗了信道语义噪声。第四类方法基于预训练大模型作为语义知识库。文献8提出了一种基于预训练语言模型的语义重要性感知通信方案，基于量化的语义重要性，他们研究了语义重要性感知的功率分配。文献9提出一个基于大模型的多模态语义通信框架。该方法提出基于多模态语言模型的多模态对齐，并提出了一个个性化的大语言模型语义知识库，允许用户通过大语言模型进行个性化的语义提取或恢复，解决了语义歧义问题。综上所述，基于知识图谱、带标签的训练数据集、特征统计特性、大语言模型的语义知识库已被应用于端到端语义通信中并取得了一定成果。2.1.4 语义知识库对语义通信的支撑示例语义知识库对语义通信的支撑示例随着未来新型智能场景（如自动驾驶、扩展现实、智慧城市等）的发展，远程语义理解将成为无线通信领域的一大新的挑战。以日益增加的自动驾驶场景为例，车辆高速移动的特性导致车辆所处交通场景的持续变化，从而使得车辆感知到的数据集分布也不断变化，进而引发了零样本分类问题的频繁出现。因此，如何轻量高效实现零样本图片分类成为智能简化通信领域至关重要的课题之一。本节将围绕智简通信对于轻量高效的需求，介绍一种基于语义知识库的多层级语义编码和传输机制10。13/126图 2.3 多层级特征编码器如图 2.3所示，设计多层级特征编码器。首先，为了弥合视觉与语义特征分布的差异性，基于条件主标签空间转换方法，将视觉与语义特征投影到一个公共空间中以学习潜在公共低维特征。其次，在潜在公共低维特征监督下，分别设计视觉/语义自编码器，训练得到将视觉/语义特征投影至潜在特征的视觉/语义编码器，以及将潜在特征投影至视觉/语义特征的视觉/语义解码器。最后，基于所得的多层级语义编码器，设计多层级图像分类方法，分别在视觉特征空间、语义特征空间、潜在特征空间进行类别判决。判决的目的是为了确定与当前通信需求最匹配的传输层级。图 2.4 语义知识库驱动的多层级特征传输系统框架示意图在零样本多层级语义编码器基础之上，如图 2.4 所示，考虑语义知识库使能的端到端多层级特征传输系统，其中发送端与接收端均部署有语义知识库与多层级语义编码器。在进行通信任务时，有四个传输层级可供选择，分别为视觉特征传输、潜在特征传输、语义特征传输、估计类别传输。决定最终的发送层级前，发送端与接收端会反复进行交互，根据语义层级的抽象程度，从高到低逐层级进行是否发送该层级语义的判决。在每一层级的发送决策中，都会先进行对应的阈值判决，符合阈值要求则进行当前层级的发送；不符合，14/126则退至抽象程度更低一层级的发送决策，再次进行类似的发送判决，以最终确定发送传输策略。该端到端多层级特征传输的性能主要受以下两方面影响：(1)收、发端的语义解码器不一定基于相同的数据集经过训练得到，故收、发端各自的多层级语义编码器可能不同。因此，收、发端各自对图像样本的多层级语义信息的提取标准可能存在差异。(2)收、发端知识库大小的不同可能会对语义信息传输的结果以及所需要的传输层级造成影响。例如，当接收端知识库包含所有类别语义信息时，发送端只需要传输相应类别的索引；否则，发送端需要将估计到的语义特征或者潜在特征发送至接收端，传输负载被迫提高。由此可见，收、发端语义知识库与编解码器的性能，决定了语义损失与传输时延之间是互相制约的关系。为了实现在传输时延约束下最小化语义误差，在何处提取信息（即利用发送端的还是接收端的多层级语义编码器），提取哪个层级的特征（包括视觉、潜在、以及语义特征），以及在何处进行传输层级判决（即利用发送端的还是接收端的语义知识库）均需要仔细设计。该工作证明了语义知识库驱动下的多层级特征传输方案对远程视觉识别任务的高效实现起到了至关重要的作用。通过该工作，我们也进一步认识到了语义知识库对语义通信的支撑。2.2 语义语义-信道联合编解码信道联合编解码2.2.1 语义编解码语义编解码在传统通信系统中，信源编码和信道编码是两个互相分离的模块。信源编码的目的是把原始数据压缩为比特流，达到去冗余的目的。信道编码的目的是通过增加额外的安全码字来达到抗干扰的目的。在语义通信系统中，传统的信源编码和解码模块被语义编码和解码模块所替代。语义编码器可以提取数据的语义信息，将输入的信号表征为具有语义信息的形式，如语义特征、语义向量等。相比于原始信息来说，传输语义信息所需的通信量大大减少，因此语义编码可以有效提升网络性能。随着人工智能的快速发展，基于深度神经网络的语义编码器的设计以及取得了一定成功，可以广泛应用于多模态数据的语义提取。15/1262.2.2 语义信道联合编解码语义信道联合编解码在传统通信系统中，由于信源编码和信道编码技术已经逐渐达到各自的理论极限，因此信源信道联合编码技术受到了学术界的广泛关注。信源信道联合编码的基本原理是在高信噪比条件下，为信源编码分配更多的码字，用来提高传输效率。在低信噪比条件下，为信道编码分配更多的码字，用来抑制噪声的负面影响。受到信源信道联合编码的启发，语义-信道联合编码成为了语义通信系统中最为关键的技术之一。如图 2.5 所示，语义信道联合编码是由两个深度神经网络实现的。深度神经网络相当于自动编码/解码器，它可以代表各种基于深度学习的神经网络模型，例如：卷积神经网络、生成对抗网络和 Transformer 等。通过联合训练这两个深度神经网络，语义信道联合编码可以同时反映信号的语义特征以及传输信道的特征，因此能够有噪环境中有效提取语义特征。这也意味着和传统的分离式设计相比，在低信噪比条件下，联合编码的方式能够表现出更好的稳定性。图 2.5 语义信道联合编码模型目前，语义-信道联合编解码已成功应用于各种通信系统，包括文本、图片、音频以及多模态数据传输等。具体来说，自然语言处理技术的快速发展为分析和理解信息语义奠定了基础，并促进了面向文本传输的联合语义通道编码。为了更好的评估重建文本与原始文本之间的相似度，面向单词和句子的语义相似性指标相继被提出。以最大化相似度和最小化语义误差为优化目标，基于循环神经网络、Transformer 等模型的语义信道联合编码策略被逐步应用于文本传输中。随着基于文本传输的语义通信系统的成功，面向语音传输16/126的语义通信系统也受到了广泛关注。与文本信号相比，由于音量、语调、背景噪音等因素，语音信号更为复杂，因此也更难被处理和理解。信号失真比（SDR）和语音质量的感知评估（PESQ）是量化重建音频信号质量的主要度量标准。以最大化感知评估质量和最小化失真比为优化目标的编码策略以及应用于音频传输中。图像/视频在多媒体时代是数据流量的主要来源，面向图像的语义信道联合编码策略也受到了大量学者的关注。在图像传输系统中，通信任务可以是图片识别或者图像重建等，其中峰值信噪比（PSNR）是衡量重建图像与原始图像相似性的主要指标。研究表明，语义信道联合编码在加性高斯白噪声信道、瑞利衰落信道和莱斯衰落信道中均比传统编码方式有更好的表现。除了典型的单模态数据之外，用于语义通信的多模态数据传输框架也逐渐发展起来。例如，在与增强现实相关的应用中，不同类型的数据仍然是彼此相关的。通过考虑不同类型数据之间的关联，具有语义感知的多模态数据编码传输可以进一步提高系统性能。例如，在执行视觉问答应用中，查询以文本格式呈现，而答案以图像格式呈现。因此，研究人员设计了多用户多模态语义通信系统，分别使用基于循环神经网络和卷积神经网络的语义信道联合编码方案进行文本和图像传输，然后接收端通过融合语义来预测答案。除了视觉问答应用之外，基于 Transformer 模型的多用户多模态联合编码策略也开始应用到其他智能任务中，包括图像检索和机器翻译等任务。综上所述，与传统的编码方式相比，语义-信道联合编码展现了更好的、更稳定的性能。总的来说，语义-信道联合编码的增益主要来自两方面。一方面，基于深度神经网络的语义编码器能够有效提取语义信息，实现了对原始数据的压缩，进而提高了通信效率。另一方面，语义信道联合编码器同时考虑信号的语义以及无线信道的状态，因此能够对通信环境进行自适应的改变。尤其在低信噪比条件下，语义信道联合编码增强了通信系统的鲁棒性，为重要的语义信息传输提供了保护。2.3 语义信息传输语义信息传输针对通信系统的信息传输，虽然语义通信采用与传统通信不同的编解码方式，但是语义信息传输同样受制于传统通信中普遍存在的约束条件，包括传输信道条件的不可预测性和网络资源的有限性。因此在语义信息传输系统中必须应对现代通信系统带来的挑战。17/1262.3.1 语义信息的传输与挑战语义信息的传输与挑战无线通信环境中的衰落效应具有时变性，因此变化的衰落信道、不确定的信噪比（SNR）和误比特率对信息传输系统的性能产生影响11。传统信道编码通常设计用于静态信道环境，因此缺乏对动态信道环境实时性的考虑。在某些应用中，尤其是对实时性要求较高的场景，这可能会限制传统编码的适用性。为了确保最优性能，目前大多数端到端的语义信息传输系统通常针对特定的信噪比设计，这导致语义信息传输系统需要提供更大的存储空间以容纳多个网络模型，从而引发了设备侧的存储负载和通信延迟等问题。随着通信技术的发展，大规模 MIMO 场景中的基站拥有大量天线，可为多个用户设备提供服务。MIMO 技术为通信领域带来了显著的性能改进，然而，其实现却需要占用大量存储空间和计算资源。大规模 MIMO 系统涉及多个天线和信道，在接收和发送端需分别处理多个输入和输出流，导致对于系统而言需要更多的存储器来存储相关的信道状态信息、矩阵权重以及信号处理算法。同时，面临挑战的还包括计算资源，因为多个输入和输出通道的复杂矩阵运算需要更高的处理能力。在 MIMO 系统的设计和实施中，必须平衡性能提升与存储空间、计算资源的消耗，以满足通信系统的要求。在从 5G 过渡到 6G 的过程中，MIMO 天线数量不断增加，要最大程度地利用这些天线，基站需要实时了解瞬时的下行 CSI。然而，目前采用的通过三步交互获取下行 CSI的CSI反馈机制涉及上行资源的数据传输，而传统的方法存在一些问题，如基于码本的方式反馈开销急剧增加，基于压缩感知的算法迭代过程通常耗时较长，难以在计算受限或对时延要求较高的场景下使用。鉴于新兴应用对通信时延、能耗和算力等方面提出了严格要求，因此引入深度学习进行 CSI 压缩成为一种解决方案。在这方面，传统通信采用分离信源信道编码方式，而基于人工智能的 CSI 压缩假设信道编码模块和调制模块能够保证完美传输，即可以根据反馈信道质量自适应调整调制编码方式，成功传输所有的反馈码字。然而，这种编码方式下的 CSI反馈存在明显缺点，如“悬崖效应”和由信道条件不匹配引起的信道译码错误。相反，联合信源信道编码方案在实际信道条件变得比预期差的情况下，仍能提供平稳的性能下降，使得恢复的 CSI对于基站的后续执行过程仍然具有价值。18/1262.3.2 应对现代通信挑战：语义信息传输系统的示例应对现代通信挑战：语义信息传输系统的示例由于语义信息传输系统与深度学习技术的密切结合，后者能够轻松地利用神经网络的特性，实现信息传输系统信源的自然冗余与信道的统计特性的匹配，从而提高动态信道环境的鲁棒性。图 2.6 级联信源信道编码中的资源分配策略12为了适应变化的信道环境，并针对有限的信道可用传输资源，如图 2.6级联信源信道编码资源分配策略在信道条件不佳时为信道编码分配更多比特，而为信源编码分配更少比特12。分配给信道编码器更多比特增加了待编码信息的冗余度，以对抗强烈的信道噪声，反之亦然。这种级联信源信道编码中的资源分配策略允许在恒定的信道码率情况下接近最佳传输。然而，传统的语法信息传输系统通常采用分离的信源信道编码方法，导致信源的自然冗余与信道的统计特性难以匹配。基于深度学习的语义信息传输系统可以使用注意力机制动态调整与信源编码功能和信道编码功能相关的相应子网的大小。神经网络能够从信源中提取特征组，特征组通道间的关系通过软性注意力机制捕获，并针对不同的通道生成不同的缩放因子，用以增强或减弱该通道的特征与下一层网络的连接13。语义信息传输与深度学习的高度组合性使其能够根据信道的信噪比自适应调整信源编码码率和信道编码码率，以适应各种信道条件。19/126图 2.7 CSI样本在角度时延域的可视化图像14在传统通信中，采用分离信源信道编码方式。因此，引入深度学习的 CSI 反馈方案主要基于分离源信道编码方案的通信系统中的信源编码模块。如图 2.7 所示，该方式下使用的截断二维离散余弦变换会导致一些有用的 CSI 信息被丢弃，并且在后续过程中无法对这部分数据进行补偿14。相比之下，语义通信采用的信源信道联合编码方式可以使用非线性变换网络替代基于信源编码的 CSI 反馈方法中使用的截断二维离散余弦变换，从而大幅降低用户侧反馈 CSI时的功率需求，缓解了“悬崖效应”和延时问题。与传统的编解码方式相比，导致在 MIMO 场景下多发送端占用存储资源的现象，人工智能赋能的语义信息传输系统的编码器可以采用相同的网络结构，并在训练和测试过程中实现相同的参数。在发射端数量不同的情况下，接收端网络结构只需进行微小的调整即可适应，由此降低了模型复杂度，进而减少了存储资源的消耗15。这种灵活性和高度可适应性使得人工智能驱动的语义信息传输系统更为高效且经济，特别是在多发送端的复杂通信环境中。相比于传统的分离信源信道编码，先加密后压缩策略的加解密机制改变了信源的结构信息，可能影响联合信源信道编码在加密域进行编码传输的性能，使得其难以与端到端的语义信息传输系统耦合。因此，传统的加密技术均无法解决深度联合信源信道编码中的信源隐私保护问题，借助特征提取网络度量视觉安全性，设计了保护和去保护网络结构用于端到端的语义信息传输系统信息保护16。与传统的加密方法相比，该保护方法会具有更好的信源重构性能，同时对多种端到端的语义信息传输系统具有良好的泛化性。20/126综上所述，语义信息传输系统同传统通信系统一样面对着无线传输信道条件的不可预测性和网络资源的有限性的问题。同时由于语义通信系统采用联合信源信道的编码方式，导致传统分离信源信道编码的机制中的 CSI 反馈的方式和传输信息保护策略不适用于语义通信系统，但是也正因为语义信息传输系统的联合信源信道编码方式与深度学习方法的高可组合性，使得它可以更方便地融入到神经网络中。通过实际示例，阐述了语义通信系统相比传统通信系统，能更好地自适应各种信道条件，使基站能够更有效地有效利用恢复的 CSI 进行后续处理，使多发送端占用存储资源减少，使端到端信息传输系统具有更为泛化的信息保护方案。2.4 语义通信与现有系统的兼容性语义通信与现有系统的兼容性语义通信可以大幅压缩传输数据带宽，保留数据的语义信息，在未来以“智能体”为通信终端的应用场景中具有巨大的研究价值。但是，如何在现有通信系统中兼容实现语义通信，如何将人工智能（AI）与经典通信系统融合，如何打破数据信息与语义信息之间的壁垒，还需要进一步研究。2.4.1 语义通信与信源编码兼容语义通信与信源编码兼容语义通信系统一般基于人工神经网络（ANN）搭建，直接以图片或文本作为输入，进行语义编码。但是，由于 ANN 架构基于概率模型搭建，利用梯度回传算法进行训练，因此其输入输出一般要求为 0 到 1 之间的浮点数，表示具有概率意义的数据，导致语义通信无法直接与处理二进制比特的经典编码融合。为了探索经典信源编码与语义编码之间的关系，研究从数据空间到语义空间的映射，需要改进现有的语义通信系统，使其能够接受二进制比特作为输入。如图 1 所示，是一种数据编码与语义编码分离实现系统（SDSC）的架构示意图，简称为 SDSC 系统17。该系统在一般的语义编码器前，添加了数据到语义的信源编码转化模块，使得数据编码可以作为语义编码的输入，语义编码可以在分离框架下兼容经典信源编码实现。21/126图 2.8 数据编码与语义编码分离实现系统架构示意图针对文本的信源编码转化模块可以考虑几种不同的方式构建，这里采用一个全连接网络实现转化模块，此时需要将不等长的输入进行填充操作，以便于可以作为一个全连接网络的输入，在后续输入语义编码模块时，可以将语义编码模块中的 Embedding 层替换为全连接层，从而实现信息的最大化传输。此外，需要注意的是，由于网络输入和输出具有概率意义，而信源编码的码字，二进制比特表示一种变化情况，而非概率。因此，在实现信源编码转化模块时，需要采用二进制比特的出现概率代替 01 代表信源编码，这样相当于将比特信息转化为概率信息。之后，经过信源编码转换模块，得到等长码字，且长度为词表大小的编码，进而输入语义编码系统中，最终得到语义特征向量作为输出，语义特征向量经过信道被信宿接收，最后通过语义译码器可以将其恢复为原始消息。其中语义编译码器可以采用 Transformer 模块搭建，其构建参数见表 2.1所示。表 2.1 构建 SDSC系统所采用的 ANN模型参数SDSC 模型模型结构结构参数与设置参数与设置信源编码信源编码Huffman code3780信源编码转化信源编码转化模块模块Dense+Relu3780Dense128Value Normoalization1/128语义编码器语义编码器Position Encoding512Dropout=0.122/126Transformer Encoder3128(8 heads)Dense+Relu256Dense16Power Normoalization/2信道信道AWGNSNR:-68 dB语义解码器语义解码器Dense+Relu128Dense+Relu512Dense128Transformer Decoder3128(8 heads)Dense3780SoftmaxGreed search针对上述 SDSC 系统的实验结果如图 2.9 所示，蓝线表示直接接收文本或图片作为输入的语义编解码器通信性能。红线表示无损 Huffman 编码训练的 SDSC 系统通信性能。黄线表示打乱的 Huffman 码字训练的 SDSC系统通信性能。蓝线和红线的性能非常接近，这表明 SDSC系统能够通过信源编码转换模块，有效地分离信源编码和语义编码。这种能力允许将语义编码实用地集成到通信系统分离框架中。此外，与红线相比，黄线的性能显著下降，这表明保留语义建模信息对于成功地将经典码字转换为语义特征至关重要。这证实了语义通信系统的部分优势源自自然语言建模过程，即自然语言中的文本顺序。23/126图 2.9 采用不同数据训练，语义通信系统的性能对比横坐标代表加性白高斯噪声（AWGN）信道的信噪比（SNR），纵坐标表示双语评估理解（BLEU）度量，用于衡量解码消息与原始消息之间的相似度。展示了以 BLEU1-4 为评估指标的性能曲线。17此外，为了验证部分数据失真不会对语义通信系统性能造成影响，即不会影响语义保真，通过将 Huffman 编码截短的方式来获得数据失真编码。为了确定 Huffman 编码需要截短的长度，对由语料编码获得的所有 Huffman 码字进行了统计，结果如图 2.10 所示。可以看到 Huffman 码字的长度主要集中在 9-12 之间，因此可以将 Huffman 编码长度截短为 9 或者 12。此外，为了进一步说明语言建模信息对语义编码的重要性，还选取了截短为 6 的 Huffman 编码。需要注意的是，当码字由于截短丧失了可译性，其会被译码为。24/126图 2.10 针对语料进行的 Huffman 编码，其码字长度分布。横坐标为码字长度，纵坐标为码字数量17图 2.11 展示了有损信源编码可能导致语义通信系统性能下降程度。蓝线表示用无损Huffman 编码训练的 SDSC 系统的传输性能，红线代表用截短为 12 比特的失真 Huffman编码训练的 SDSC系统的传输性能，黄线展示了用 9 比特失真 Huffman 编码训练的 SDSC系统的传输性能，紫线展示了用 6 比特失真 Huffman 编码训练的 SDSC系统的传输性能。当有损编码仍保留大部分语义建模信息时，如图中展示的 Huffman 编码截短为 12 位的情况，虽然它可能在传统通信系统中造成严重错误，如悬崖效应，但是语义通信系统的性能损失微不足道。这主要是因为语义编解码器可以基于语义建模信息恢复无法解码的编码词，然后将其推断为合理的句子。然而，当有损编码导致大部分语义建模信息丢失时，如图中展示的霍夫曼编码截短为 6 位的情况，它可能导致性能下降，甚至是语义通信系统的完全崩溃。但是，当截短为 9 位时，BLEU 依然能够达到 0.8 以上，这代表即便传输数据被大幅度缩减，但是其具有的语义依然是可以理解的。这说明，在语义