面向智慧交通系统的语义通信框架.pdf

第48 卷总第52 2 期面向智慧交通系统的语义通信框架傅宇舟，程文驰*，王婧青（西安电子科技大学通信工程学院，陕西西安7 10 0 7 1）【摘要】智慧交通系统是物联网的重要应用领域之一，其依靠先进的信息处理和无线通信技术实时回传道路图像数据，以实现各类机器任务辅助城市交通的智能化管理。面向任务的语义通信可将机器任务需求融合进信息处理中，有望成为物联网的新通信范式，并有效地支持智慧交通系统的无线通信需求。然而，现有的语义通信框架以图像的高质量重建为目标，不能紧密地耦合下游机器任务，以实现高效的面向任务通信。因此，提出了一种面向任务的语义通信框架，该框架联合基于神经网络的语义编码和传统的数字化信道编码，以实现数字化的语义传输。此外，所提的语义通信框架基于自适应编码控制器，可根据下游任务需求和当前信道条件进行自适应联合语义-信道编码，从而实现面向任务的高效语义传输。仿真分析表明，相比传统无线通信框架，所提的语义通信框架在不同的信噪比条件下，均能更好地完成智慧交通系统中的下游机器任务。【关键词】语义通信；智慧交通系统；神经网络doi:10.3969/j.issn.1006-1010.20231225-0003中图分类号：TN929.5文献标志码：A文章编号：10 0 6-10 10(2 0 2 4)0 2-0 0 41-0 6引用格式：傅宇舟,程文驰,王婧青。面向智慧交通系统的语义通信框架J.移动通信,2 0 2 4,48(2):41-46.FU Yuzhou,CHENG Wenchi,WANG Jingqing.The Semantic Communication Framework for Intelligent Transportation SystemJJ.MobileCommunications,2024,48(2):41-46.The Semantic Communication Framework for Intelligent Transportation SystemAbstractIntelligent Transportation System(ITS)is one of the important applications of the Internet of Things.It relies on advancedinformation processing and wireless communication technology to transmit road image data in real time to realize intelligenttraffic management assisted by various machine tasks.Task-oriented semantic communication can integrate machine taskrequirements into information processing,and it is expected to become a new communication paradigm for the Internetof Things(loT),thus supporting the requirements of wireless communications in ITS.However,the existing semanticcommunication frameworks aim at high-quality image reconstruction and thus fail to tightly couple downstream machinetasks to achieve efficient task-oriented communications.Therefore,a task-oriented semantic communication frameworkis proposed that combines neural network-based semantic coding and traditional digital channel coding,thus achievingdigital semantic transmission.In addition,based on the adaptive coding controller,the proposed semantic communicationframework performs joint semantic-channel coding according to the downstream task requirements and current channelconditions,thus achieving efficient task-oriented semantic transmission.Simulation analysis shows that the proposedsemantic communication framework can better complete various downstream tasks in ITS than traditional wirelesscommunication framework under different signal-to-noise ratio conditions.KeywordsOSID:FU Yuzhou,CHENG Wenchi,WANG Jingqing(School of Telecommunications Engineering,Xidian University,Xian 710071,China)semantic communication;intelligent transportation system;neural networks扫描二维码与作者交流收稿日期：2 0 2 3-12-2 50引言移动通信*基金项目：国家重点研发计划“灾害复杂现场空中探测载荷自组网和高效信号传输技术装备研制”（2 0 2 1YFC3002102）；陕西省重点研发计划“大规模集群无人机多模态组网及网络化抗千扰技术”（2 0 2 2 ZDLGY05-09）；国家自然科学基金“立体空间甚高频阵列波束构造与容量优化方法”（6 2 341132）*通信作者物联网是互联网的拓展与延伸，其通过无线通信网络将传感器、摄像头、无人机、佩戴式设备等各种智能设备链接起来，实现人、机、物在任何时间、地点的智能互联。智慧交通(ITS,Intelligent Transportation System)是物联网的重要应用领域之一，其将基于先进信息处理与无线412024年2 月第2 期第48 卷“语义通信”专题1总第52 2 期通信技术2 ，通过各类下游机器任务对城市交通系统进行智能化管理和优化。图1是一个典型的智慧交通场景，其可概述为：各种智能设备将收集到的交通数据，通过无线链路将压缩处理后的数据上传至无线接入节点；控制中心通过有线回传链路获得各类智能设备的上传数据；部署在控制中心的云服务器根据上传数据执行各种机器任务，如可视化重建、目标检测、语义分割等，以此辅助城市交通的智慧管理。然而，城市交通场景会产生庞大的回传数据，且智慧交通的机器任务对上传数据的可靠性和实时性有较高的要求3。现以精确传输原数据为目标的传统无线通信框架，将难以支持高效的数据处理及无线回传，导致智慧交通系统无线完成各类下游机器任务。云服务上传数有线回传收集数据可F(9)控制中心无线接入点言一智能设备一A一无线链路图1智慧交通典型场景在智慧交通场景中，实时的道路图像将依靠无线链路回传至控制中心完成各种机器任务4，从而实现城市交通的智慧管理。在通信资源有限的智慧交通网络中，各类摄像头所拍摄的原图像需进行大程度的数据压缩，以适应当前信道传输条件。图像数据的高压缩比将造成严重的图像失真，从而严重影响机器任务的正确执行，甚至直接导致机器任务失败516 。除此之外，由于智慧交通场景下，信道条件复杂，各图像收集设备功率有限，这些因素限制了接收端的接收信噪比（SNR，Si g n a l-t o-Noise Ratio），将进一步限制图像数据的保真度传输7 18 。将语义通信引入智慧交通系统中，可有效解决以上问题。事实上，下游各类机器完成任务只需要获取原数据中任务相关的语义特征9。语义通信以最小化数据的语义失真为目标，可有效地传递完成下游任务所需的语义特征，同时实现较大的数据压缩比10 。此外，语义通信在低信噪比条件下表现出来的鲁棒性，可进一步提升智慧交通系统的无线通信性能。通过语义通信，智慧交通系统移动通信422024年2 月第2 期可根据下游机器任务的需求，传递下游机器任务所需的信息，在控制中心重建可正确执行机器任务的数据。即使重建的数据相对于原数据像有一定的差异，也不会降低各类机器任务的性能12 113O然而，现基于语义通信的图像传输框架往往是根据信道条件或图像内容进行压缩传输，无法紧密耦合下游机器任务的需求。因此，这些语义通信框架用于以完成下游机器任务为目标的智慧交通系统时，存在着一些的缺点。例如，这些基于联合信源信道编码（JSCC，Jo i n tSource-ChannelCoding）的语义通信框架将图像像素直接映射到模拟信道传输符号，并通过神经网络（NN,NeuralNetworks）学习噪声鲁棒性的编解码方式14。这种基于JSCC的语义通信框架侧重于图像的高质量重建，并没有考虑下游机器任务需求，且与基于数字化符号传上传数据/输的标准化无线网络不兼容15。为实现语义通信框架在智慧交通中的实际应用，本文提了一种面向任务的语义通信框架，该框架将基于NN的语义编码和传统数字化信收集数据有线回传收集数据上传数据道编码结合，以便于部署至标准化无线网络中。此外，所提的语义通信框架通过一种新的自适应编码控制器，将下游任务需求和信道条件一同耦合至编码方案中，以实现面向任务的高效语义传输。本文首先分析智慧交通系统中的无线通信需求及呕需解决的问题，并提出一种新颖的面向任务的语义通信框架，旨在为智慧交通系统提供高效的无线传输。然后，介绍所提的语义通信框架的构成及设计思路，包括数字化语义编码方案和自适应编码控制器。最后，将所提语义通信框架和传统无线通信框架应用于一些智慧交通系统常见的机器任务中，进行仿真性能分析。1面向任务的语义通信框架机器完成下游任务本质是分析输人数据的语义特征，以此确定任务结果的过程。因此，可设计一种面向任务的语义通信框架，以提取、压缩、传输收集到的数据的任务相关的语义特征为目标，从而提高智慧交通系统的通信效率，并可保障下游机器任务的正确执行。如图2 所示，所提的面向任务的语义通信框架由数字化语义通信模块和自适应编码控制器组成。在发射端，数字化语义通信模块由语义编码器和信道编码器组成；语义编码器负责提取并压缩输入数据的语义特征，然后将压缩后的语义特征量化为数字化符号，以便于后续的数字化传输操作；信道编码器采用传输的信道编码方案，通过为量化后的语义特征符号序列添加穴余码字，组成具有纠错能力的传输块。自适应编码速率控制器可根据信道状态信息（CSI,第48 卷总第52 2 期傅宇舟，程文驰，王婧青：面向智慧交通系统的语义通信框架ChannelState Information）、下游任务模型参数、输人数据指导语义编码器和信道编码器的编码策略，包括语义压缩和编码速率，以保证接收端可根据接收到的语义信息完成下游任务。在接收端，数字化语义通信模块由信道解码器和语义解码器组成；信道编码器先根据接收到的信号符号估计发送的语义信息；语义解码器通过估计的语义信息重建一个输出数据用于执行下游任务。下面将分别详细介绍数字化语义编解码器和自适应编码速率控制器的架构设计。1.1数字化语义编解码器本部分将介绍所提面向任务的语义通信框架中数字化语义编解码器的设计。所提数字化语义编码器的神经网络架构如图3所示，数字化语义编码器由数据嵌入层、掩码层、Transformer编码层16 、量化层组成。下面对语义编码器网络架构中的各子层进行介绍：（1）数据嵌人层：输人数据首先通过数据嵌人层，对输人数据进行预处理操作；数据嵌人层主要由多个卷积神经网络构成，以实现数据的分割，归一化处理，卷积操作；从而将输人数据转换为便于后续神经网络操作的数据类型。（2）掩码层：可根据自适应编码速率控制器所提供的参数，将对下游任务贡献较小的输人数据区域压缩为统一的二值化表征序列，该序列仅用于保存这些被压缩的数据区域的位置信息；并且这些对于下游任务不重要的数据区域将不会被进一步处理和传输。（3）T r a n s fo r m e r 编码层：由多个Transformer神经网络组成，用于提取对下游任务贡献较大的输入数据区域的语义特征；掩码层在数据域方面压缩了数据，而输入数据Transformer编码层可将高维的源数据压缩为低维语义特征表式，从语义域的角度进一步地大幅度压缩了数据。（4）量化层：采用量化感知训练（QAT,Quantization-aware training）技术，将Transformer编码层的高精度连续幅值输出序列映射为离散幅值序列，以便于后续的信道编码和数字化传输；QAT技术可通过学习训练，最小化量化操作带来的固定误差。在接收端，所提数字化语义编码器的神经网络架构如图4所示，器由重塑层、Transformer解码层、全连接层组成。下面对语义编码器网络架构中的各子层进行介绍：（1）重塑层：可使用一个共享的语义特征表示替代在掩码层中被丢弃的输入数据区域，从而将信道输出序列映射成全局语义信息，以匹配下层神经网络输人的数据维度；该共享语义特征表示是可学习的向量，从而最小化有损压缩带来的误差。（2）T r a n s fo r m e r 解码层：基于Transformer的多层神经网络，可根据重塑层输出的全局语义信息，估计下游任务所需的语义特征。（3）全连接层：将估计的全局语义特征结果映射回输人数据的维度，从而获得最终输出数据，用于支持不同的下游任务。1.2自适应编码控制器本部分将介绍本文所提的自适应编码控制器，如图5所示。所提自适应编码控制器首先根据接收端反馈的下游任务模型参数构建其中间神经网络层，该神经网络层可根据输人数据生成下游任务模型的注意力映射；这些下游任务映射参数可反映下游任务感兴趣的输人数据部分，从而可以指导语义编码器压缩任务不相关的数据部分及自适应编码控制器-反馈信道-反馈信道.数字化H语义编码器数字化语义通信模块发射端信道状态信息信道编码器无线信道图2 面向任务的语义通信框架下游任务模型参数下游任务信道解码器语义解码器数字化语义通信模块接收端模型011101.输入数据一离散幅量化层值序列掩码层数据嵌入层Transformer编码层图3数字化语义编码器的神经网络架构信道解码输出一重塑层图4数字化语义解码器的神经网络架构输出数据Transformer解码层全连接层移动通信2024年2 月第2 期43第48 卷“语义通信”专题！1总第52 2 期其语义特征。具体来说，根据下游任务模型参数，可计算出原数据应用于下游机器任务时，下游任务模型的中间层特征图的梯度。通过将这些梯度值进行全局平均化，可得到输入数据的各语义特征相对于正确执行下游任务的权重值。本文将输人数据的第t个语义特征的权重值定义为，则获得,可由如式表示：aY,=GAP0A.其中Y表示输入数据应用于下游任务模型的输出结果，A,指下游任务模型的第t个中间层，GAP()表示全局平均化操作。然后，自适应编码控制器会将权重值,和中间层A,进行加权组合后，送入线性激活层（ReLU,Rectified LinearUnit），以进一步突出对下游机器任务结果有积极影响的语义特征。该过程将会输出一个下游任务映射向量w=(wi,W2.w.)，其中w,代表第t个语义特征对正确执行下游任务的贡献度。获取下游任务映射向量w可由如式表示：W=ReLUZ.4通过以上操作，语义编码器的掩码层可压缩对下游任务贡献度低于预设阈值的语义特征，自适应编码器可确定语义编码器的压缩率RsE和语义信息位长。然后自适应编码控制器可根据接收端反馈的信道状态信息，计算在任务容忍时间和当前信道条件下的最大传输块长。在已知语义信息所需位长和当前传输块长约束下，可得到传输块剩余可用位长。然后，自适应编码控制器根据传输块剩余可用位长，选择适当的信道编码速率RcE从而最大化传输块的纠错能力。通过所提的自适应编码器，发射端可在保证下游任务性能下限的同时，最小化因信道噪声造成的语义失真。2仿真分析本节将所提的语义通信框架应用于智慧交通场景中的常见机器任务，包括目标检测和语义分割，以此进行性能仿真分析。在本文所提的语义通信框架中，采用LDC信道编码，在自适应语义编码器中信道编码可选码率为1/2、2/3、3/4、5/6。下游任务模型采用YOLOv517模型(1)作为智能服务模型，该模型可同时用于目标检测及语义分割任务。本文采用ImageNet-1Kl181数据集训练本文所提的数字化语义编解码器，使用Citycapesl19数据集进行所提语义通信框架的仿真测试。在仿真中，使用的是慢衰落信道。在客观性能仿真中，本文使用平均精确率2 0（m A P，M e a n A v e r a g e Pr e c i s i o n）作为衡量目标检测和语义分割的性能指标。原数据直接用于下游任务模型的输出结果作为本文性能仿真的上限。其次，使用JPEG2000的图像压缩编码和LDPC信道编码的传统无线通信框架作为对比方案。2.1主观性能仿真(2)图6 给出了本文所提语义通信框架和两个对比方案在不同SNR下目标检测任务结果对比。本文所提语义通信框架在较差的信道条件下（SNR=5dB和SNR=10dB），均可以达到接近原数据为下游任务输入的性能；而传统通信框架因其传输符号被信道噪声严重扭曲，导致重建数据失真，目标检测正确率大幅度下降。在信道条件就好的条件下（SNR=15dB），本文所提的语义通信框架在高压缩率下，依然可以保证检测目标较好的被重建，从而被下游任务模型检测到；而传统通信框架能最小化数据的全局失真，在背景方面重建比所提语义通信框架好，但无法保存检测目标的语义信息，从而导致部分目标未被成功检测出来。下游任务模型参数信道状态信息当前信道条件下的传输块长约束输入数据语义信息位长剩余位长下游任务中间层44移动通信2024年2 月第2 期下游任务映射自适应编码控制器RSE语义编码器图5自适应编码控制器的架构信道编码可选检验位长RcE信道编码器第48 卷总第52 2 期傅宇舟，程文驰，王婧青：面向智慧交通系统的语义通信框架信道条件SNR-5dBSNR-10dBSNR=15dB图6 所提语义通信框架和对比方案在不同SNR下的目标检测任务结果图7 给出了本文所提语义通信框架和两个对比方案在不同SNR下语义分割任务结果对比。本文所提语义通信框架在较差的信道条件下（SNR=5dB和SNR=10dB），相比传统通信框架可以实现更好的语义分割性能，进一步说明了所提框架较好的噪声鲁棒性。而在信道条件就好的条件下（SNR=15dB），本文所提语义通信框架可以较好的保存数据目标区域的信息，大幅度压缩无用的背景信息，即使其重建后严重失真，也不会影响下游任务的正确执行。信道条件原数据SNR-5dBSNR=10dBSNR-15dB图7 所提语义通信框架和对比方案在不同SNR下的语义分割任务结果2.2客观性能指标图8 给出了所提语义通信框架和两个对比方案在不同SNR下的mAP性能。其中，mAP的值越高意味下游任务性能越好。本文所提语义通信框架和传统编码通信框架在相同的SNR下，均取得了更好的mAP性能。特别是在低信噪比条件下，传统编码通信框架出现了严重的断原数据传统无线通信框架所提语义通信框架传统无线通信框架所提语义通信框架崖效应，而本文所提的语义通信框架具有较好的鲁棒性。因此，本文所提的语义通信框架可以更好的适用于信道条件多变的智慧交通场景。0.94444440.80.70.60.5dvu0.40.30.20.102468101214161820SNR/dB图8 所提语义通信框架和对比方案在不同SNR下的mAP性能3丝结束语本文提出了一种高效的面向任务的语义通信框架，为语义通信在标准化网络中的应用提供了一个有效的方案。但是，将语义通信部署至基于数字传输的标准化网络的研究还需进一步完善。具体来说，由于量化的语义特征对信道噪声的敏感性，数字化语义通信框架相比模拟语义通信框架，在低信噪比条件下其性能将有所降低。此外，由于语义特征量化操作造成的信息损失，数字化语义通信框架相比模拟语义通信框架，会出现更严重的饱和效应，即语义通信性能在信噪比达到一定阅值后无法继续提升。为进一步提高语义通信在标准化网络中的性能，学术界应更进一步探索数字化语义传输的方案，如数字化语义-信道联合译码方案和数字化语义通信协议等。参考文献：1 You L,J.He J,Wang W,et al.Autonomous Transportation Systemsand Services Enabled by the Next-Generation NetworkJJ.IEEENetwork,2022,36(3):66-72.2 Fu Y,Cheng W,Zhang W,et al.Scalable Extraction BasedSemantic Communication for 6G Wireless NetworksJ.IEEECommunications Magazine,2023.3 Zhang Y,Cheng W,Zhang W.Multiple Access IntegratedAdaptive Finite Blocklength for Ultra-Low Delay in 6GWireless NetworksJ.IEEE Transactions on WirelessCommunications,2023.4 Bilal,Jan,Haleem,et al.Designing a Smart TransportationSystem:An Internet of Things and Big Data ApproachJJ IEEEWireless Communications,2019,26(4):73-79.5 Li Q,Wang F,Wang J,et al.LSTM-Based SQL InjectionDetection Method for Intelligent Transportation SystemJ.IEEETransactions on Vehicular Technology,2019,68(5):4182-4191.45e一所提语义通信框架日一传统无线通信框架4一下游任务性能上限母移动通信2024年2 月第2 期第48 卷“语义通信”专题总第52 2 期6Zhang C,Zhu Y,Markos,et al.Toward CrowdsourcedTransportation Mode Identification:A Semi supervised FederatedLearning ApproachJ.IEEE Internet of Things Journal,2022,9(14):11868-11882.7Figueiredodesouzasoares E,Quintella C A D M S,Campos CA V.Smartphone-Based Real-Time Travel Mode Detection forIntelligent Transportation SystemsJ.IEEE Transactions onVehicular Technology,2021,70(2):1179-1189.8Xiao Z,Deng X,Lu H,et al.Tensor and Confident InformationCoverage Based Reliability Evaluation for Large-Scale IntelligentTransportation Wireless Sensor NetworksJ.IEEE Transactionson Vehicular Technology,2023,72(10):13461-13473.9Kang X,Song B,Guo J,et al.Task-Oriented Image Transmissionfor Scene Classification in Unmanned Aerial SystemsJ.IEEETransactions on Communications,2022(8):5181-5192.10 D.Huang,F.Gao,X.Tao,Q.Du,and J.Lu.Toward SemanticCommunications:Deep Learning-Based Image SemanticCodingJ.IEEE Journal on Selected Areas in Communications,2023(1):55-71.ll Dai J,Wang S,Tan K,et al.Nonlinear Transform Source-Channel Coding for Semantic CommunicationsJJ.IEEE Journalon Selected Areas in Communications,2022(4):2300-2316.12】鲁延鹏，戴金晟，牛凯，面向工业网络的语义通信关键技术.移动通信,2 0 2 3,47(4):18-2 4.13 王碧舶，罗倩雯，下志强，等.面向6 G的语义通信系统.移动通信,2 0 2 3,47(4):2-6.14 Bourtsoulatze E,Kurka D B,Gindiz D.Deep Joint Source-Channel Coding for Wireless Image TransmissionJ IEEETransactions on Cognitive Communications and Networking,2019,5(3):567-579,15王寅楚，马啸，LDPC 陪集码的可区分性及其在语义通信中的应用J.移动通信，2 0 2 3,47(4):54-59.16 Vaswani A,Shazeer N,Parmar N,et al.Attention is all youneedJ.Advances in neural information processing systems,2017(30),17 Zhu X,Lyu S,Wang X,et al.TPH-YOLOv5:Improved YOLOv5Based on Transformer Prediction Head for Object Detection onDrone-captured ScenariosC.2021 IEEE/CVF InternationalConference on Computer Vision Workshops(ICCVW).Montreal,BC,Canada,2011:2778-2788.18 Deng J,Dong W,Socher R,et al.ImageNet:A Large-ScaleHierarchical Image DatabaseC.2009 IEEE Conference onComputer Vision and Pattern Recognition.Miami,Florida,USA:IEEE,2009:248-255.19 Cordts M,Omran M,Ramos S,et al.The Cityscapes Dataset forSemantic Urban Scene UnderstandingJ.2016:3213-3223.20Wang J,Duan Y,Tao X,et al.Semantic Perceptual ImageCompression With a Laplacian Pyramid of ConvolutionalNetworksJ.IEEE Transactions on Image Processing,2021:4225-4237.傅宇舟（orcid.org/0009-0006-4532-7287）：西安电子科技大学通信工程学院在读博士研究生，主要研究方向为人工智能通信应用、语义通信、海上宽带无线通信。程文驰：教授，工学博士，博士生导师，现任职于西安电子科技大学，西安电子科技大学2030信息技术实验室执行主任，ISN国家重点实验室信息传输理论与技术中心主任，教育部”长江学者奖励计划”青年学者，应急管理部应急通信重点实验室副主任，陕西省应急通信专委会主任委员，中国通信学会青工委委员，IEEE Senior Member,IEEE Systems Journal,IEEE Wireless Communications Letters,IEEECommunicationsLetters编委。主要研究方向为同时同频全双工无线通信、应急通信、涡旋电磁波无线通信、人工智能通信应用。王婧青：菁英副教授，博士毕业于美国德克萨斯农工大学计算机工程专业，目前任职于西安电子科技大学。在IEEEJOURNALONSELECTED AREAS IN COMMUNICATIONS,IEEE MAGAZINE、I EEE T RA NSA C T I O NS、IEEE INFOCOM、G L O BEC O M、W C NC 和ICC等期刊和会议上发表超过6 0 篇国际论文。分别于2 0 2 0 年和2 0 14年在IEEEGLOBECOM上获得最佳论文奖。主要研究方向为下一代移动无线网络技术、统计延迟和误码率有界的QoS提供、6GmURLLC、FBC 的信息论分析以及新兴机器学习技术。作者简介移动通信编辑部2 0 2 3年度新闻记者证核验公示根据国家新闻出版署关于开展2 0 2 3年度新闻记者证核验工作的通知和广东省新闻出版局关于开展2 0 2 3年度新闻记者证核验工作的通知的文件要求，现对移动通信编辑部拟通过2 0 2 3年度新闻记者证核验的名单予以公示。公示期为2 0 2 4年2 月15日一一2 月2 4日。拟通过新闻记者证核验名单如下：移动通信编辑部序号12本单位监督举报电话：[phone]，省新闻出版局监督举报电话：[phone]。姓名刘宗祥陈雍君记者证号K44130166000002K441301660000032024年2 月15日46移动通信2024年2 月第2 期