基于扩展SMT协议的8K播放器视频互动方案及实现.pdf

广播与电视技术 2023年 第50卷 第6期38内容制播 Content Production&Broadcasting基于扩展SMT协议的8K播放器 视频互动方案及实现【摘 要】本文首先简要介绍了我国自主研发的智能媒体传输协议（SMT），为实现超高清视频互动应用，提出了一套SMT信令扩展方案，定义了8K播放器与云服务器的接口，并在自研的8K播放器上实现了利用外置摄像头和8K播放器进行视频流自适应匹配。本文不仅为8K电视提供了一种多用户互动的使用场景，也完善了SMT信令结构，扩展了SMT协议的应用范围，对于推广和发展8K产业和自主的SMT协议具有积极作用。【关键词】SMT协议，8K播放器，摄像头【中图分类号】TN919.82 【文献标识码】B 【DOI编码】10.16171/ki.rtbe.20230006007【本文献信息】李明昊.基于扩展SMT协议的8K播放器视频互动方案及实现J.广播与电视技术，2023,Vol.50(6).Video Interaction Scheme and Implementation of 8K Player Based on Extended SMT Protocol Li Minghao(Shanghai Digital TV National Engineering Research Center Co.,Ltd.,Shanghai 200125,China)Abstract This article first briefly introduces the smart media transmission protocol(SMT)independently developed in China.For the interactive application of ultra-high definition video,a set of SMT signaling extension scheme is proposed,the interface between the 8K player and cloud server is defined,and the adaptive matching of video stream using external cameras and 8K players on the self-developed 8K player is realized.This paper not only provides a multi-user interaction usage scenario for 8K televisions,but also improves the SMT signaling structure and expands the application range of the SMT protocol,which plays a positive role in promoting and developing the 8K industry and independent SMT protocol.Keywords SMT protocol,8K player,Camera李明昊(上海数字电视国家工程研究中心有限公司，上海 200125)0 引言传统的数字电视采用 TS 传送格式1-3，随着互联网电视的发展，基于 IP 的各类内容封装协议不断涌现，具有代表性和广泛应用的是 HLS 标准4和 DASH 协议5。我国以上海交通大学与数字电视国家工程研究中心为代表的研发团队经过近十年的研发，也提出了“智能媒体传输协议”（SMT）6，该协议已经成为我国 AVS2.0 标准第 6 部分7，IEEE 和 ITU分别在 2021 年和 2022 年都采纳了该标准89。SMT 是一种针对下一代多媒体融合服务的智能传输协议，具有分层传输结构、媒体感知传输、智能调度策略等特点，可以为下一代多媒体融合服务提供高效、稳定、灵活的传输保障。同时随着人们对超高清画质有了更高的需求，8K 播放器也已经慢慢走入市场，为人们带来了极具震撼的画质 体验1011。然而，目前 8K 播放器通常提供的是一个本地视频播放器的功能，缺少多用户线上互动体验。考虑到各个 8K 播放器与云端的接口协议12，本文提出了一套 SMT 信令扩展方案定义了 8K 播放器与云服务器的接口，并在自研的 8K 播放器上实现了利用外置摄像头和 8K 播放器进行远端 SMT 视频流自适应匹配，不仅为 8K 电视提供了一种多用户互动的使用场景，也完善了 SMT 信令结构，扩展了 SMT 协议的应用范围，对于推广和发展 8K 产业和自主的 SMT 协议具有积极作用。广播与电视技术 2023年 第50卷 第6期39Content Production&Broadcasting 内容制播1 SMT的数据模型介绍Smart Media Transport（SMT）是一种专门用于视频的传输协议。SMT 将编码后的视频码流数据封装到 SMT 协议的数据包中，按照特定的格式进行组织和打包。SMT 协议支持对各种常用的编码格式（如 H264、H265、AAC）进行封装，同时还添加一些控制信令，如时间戳、序列号、数据类型等信息，以保证传输的可靠性和时序性。从 SMT 数据模型（图 1）中，可以看到 SMT 数据包主要由媒体资源和信令信息组成。其中媒体资源包含两种：一种是时序媒体，即常说的实时音视频流，另一种是非时序媒体，如弹幕、图片信息等。这些媒体资源会被分割为通用封装单元（CEU），作为传输格式中媒体最小的分割单元。而信令信息包括前向信令和反馈信令，可以分为两种类型：消费信令和传输信令。其中消费信令关联着某个媒体资源，用于标识该资源的构成、类型、存放位置等信息。而传输信令主要包含传输中的控制信息，如缓冲器设置、QoS 参数等。2 SMT的信令扩展方案SMT 协议本身支持多个并行的数据流来传输视频数据，并在每个SMT 包打上了时间戳，这个时间戳同时包含了每个 SMT 包的序号以及PTS，要求视频流在设备上的呈现时间保持一致。这样在播放器端，用户就可以动态、个性化地请求各个视频资源，并保证画面的同步性。为了实现对多个直播视频流的自适应匹配，本文基于 SMT 信令格式，提出了一套信令的扩展方案，具体如下。2.1 消费信令消息的扩展消费信令消息主要是用来描述媒体视频信息。此类消息利用 SMT 的信令消息（signalling_message）。在终端接入系统后，服务器就会周期性地广播发送消费信令消息给终端。其一般语法和语义定义如表 1 所列。而SMT采用PA（Package Access）消息，通过包含不同表的方式来进行关联。其中PA消息包含了一个PA表、一个 MP（Media Package）表和一个媒体呈现层信息表。其中 PA 表标识了服务接入信息，MP 表包含着媒体资源的信息，而媒体呈现层信息表则用于画面呈现时的大小、位置、翻转等信息，如图 2 所示。为了支持云服务器进行多路视频流的自适应匹配，本文提出在 SMT 信令消息的“设备性能信息表”（DCI 表）中添加每个视频流的调节能力字段，包括视频流对应的摄像头可支持的分辨率、码率或者帧率信息等。这样在播放器接入系统后，可以通过云服务广播的消费信令消息，来获得各个设备的能力，进而在直播过程中请求变更视频流分辨率。所添加的字段如表 2 所示。表 2 中所添加的 camera_abilities 关键字段说明如下：camera_abilities:提供每个视频流资源的摄像头控制能力信息。camera_abilities_length：该字段表示字节数量的计算，从下一字段开始，到控制能力信息语句循环结束。图1 SMT数据模型图2 信令消息与信令表表1 信令消息一般格式的语法语法值比特位数signalling_message()message_idversionif(message_id!=PA_message)lengthelselengthextension message_payload 1681632广播与电视技术 2023年 第50卷 第6期40内容制播 Content Production&Broadcastingcamera_abilities_flag：表明是否提供“asset_abilities”信息。如果该标记设为“1”，则包含资源时间量程字段，如该标记设为“0”，则表示此资源不能进行任何控制。reserved：保留字段。同时也是为了进行字节对齐。asset_resolution_info：资源分辨率能力信息。8 位定义如表 3 所列。表2 DCI表语法语法值比特位数备注DCI_table()table_idversionlengthnumber_of_assetsfor(i=0;iN1;i+)asset_id()mime_type()reservedcodec_complexity_flagif(codec_complexity_flag=1)if(top_level_mime_type=VIDEO)video_codec_complexity video_average_bitratevideo_maximum_bitratehorizontal_resolutionvertical_resolutiontemporal_resolutionvideo_minimum_buffer_size else if(top_level_mime_type=AUDIO)audio_codec_complexity audio_average_bitrateaudio_maximum_bitrateaudio_minimum_buffer_size else download_capability required_storagecamera_abilities camera_abilities_lengthfor(j=0;jN7;j+)camera_abilities_flagreserved if(camera_abilities_flag=1)asset_resolution_infoasset_fps_infoasset_bitrate_infoasset_brightness_infoN11111111N71111111881671161616168161616161617881616uimsbfuimsbfuimsbfbslbfbslbfuimsbfuimsbfuimsbfuimsbfuimsbfuimsbfuimsbfuimsbfuimsbf uimsbf bslbfbslbfuimsbfuimsbfuimsbfuimsbfuimsbf表3 资源分辨率能力信息表reservedreservedreserved8K4K1080p640p320p广播与电视技术 2023年 第50卷 第6期41Content Production&Broadcasting 内容制播如一个资源支持分辨率 640p+1080p，则此字段设为：00000110。asset_fps_info：资源帧率范围信息。8 位定义如表 4 所列。asset_bitrate_info：资源码率能力信息。两个字节分别定义最小和最大码率，高位放最大码率，低位放最小码率。asset_brightness_info：摄像头亮度调节范围，两个字节分别表示最小和最大尼特。2.2 资源请求响应消息的扩展SMT 提供了资源请求响应消息（Resource Request/Response Message），用于 SMT 服务器与客户端之间的请求与响应格式，当客户端与服务器之间需要交互请求与响应信息时，使用此消息进行会话。然而其原始结构只支持对于新的 URL 请求。为了完成对远程资源自适应调节的功能，需要对其内容进行扩展，完成对摄像头的控制。所添加的字段如表 5 3R 消息所示。将 extention_flag 设置为 1，启用扩展字段。在此扩展字段中添加request_serial_number 和 command_code 字段，定义如下：request_serial_number：指 示 客户端发送请求的序列号，用于标识每个命令的唯一序列号。当发送消息时，使用模 256 的方式来递增序列号。command_code 的值定义如表 6所列。本地将此资源请求信令发送给云服务器。再通过云服务器对远程的播放器发送相同的资源请求信令来进行控制，使其能够根据实际网络情况动态更改远程摄像头的视频输出，比如提高分辨率、降低码率等信息。这些控制内容需要根据远表4 资源帧率范围信息表表5 3R消息语法120100756050302524语法值比特位数备注3R_message()message_idversionlengthreservedmethodextention_flagmessage_payload if(method=REQUEST_GET)request_serial_numberurl_lengthfor(j=0;j N1;j+)url_byteelse if(method=REQUEST_POST)request_serial_numbermime_type()data_lengthfor(j=0;j N2;j+)data_byte111111N1N21681652181688168uimsbfuimsbfuimsbfbslbfbslbfuimsbfuimsbfuimsbfuimsbfuimsbfuimsbfelse if(method=RESPONSE)response_serial_numberstatus_numberif(status_number=0 x02)mime_type()content_lengthfor(j=0;j N3;j+)content_byte if(extention_flag=1)request_serial_numbercommand_codeif(command_code=0 x01)resolution_valueelse if(command_code=0 x02)fps_valueelse if(command_code=0 x03)bitrate_valueelse if(command_code=0 x04)brightness_valueN388168883232323232uimsbfuimsbfuimsbfuimsbfuimsbfuimsbfuimsbfuimsbf uimsbfuimsbfuimsbf广播与电视技术 2023年 第50卷 第6期42内容制播 Content Production&Broadcasting表6 请求命令值表值描述001分辨率调整002帧率调整003码率调整004亮度调整005-0FF保留图3 系统方案连接图端摄像头的实际能力来进行发送。在完成请求操作后，云服务器需要通过资源响应消息反馈结果给发送端。3 在8K播放器上实现视频互动基于 SMT 协议的 8K 播放器视频互动系统整体结构如 图 3 所示。从图 3 的系统方案中可以看到，8K 播放器已经不仅仅是本地的播放设备，还是一个互联网的终端节点，用户 1 和用户 2 可以进行视频互动。外置摄像头拍摄的视频流通过 SMT协议进行封装，并且能通过云端服务器的 SMT 控制信令调整各个终端摄像头的码流输出。我们的 8K 播放器软件开发基于 Android10 操作系统，为了能支持 SMT 协议的解析，在安卓的 Framework 中添加相应的服务组件 SMTParser Service，为上层视频互动 APP提供 SMT 控制信令接口。其中 SMT 的编解码需要根据上述的信令扩展，移植在 FFmpeg 中，来完成对视频互动中的信令及媒体资源的封装和解封。其整体软件架构如图 4 所示。图4 8K播放器软件架构图广播与电视技术 2023年 第50卷 第6期43Content Production&Broadcasting 内容制播在国家 863 计划“数据驱动的媒体内容动态自组织及封装技术研究”课题的支持下，上述基于 SMT 的封装系统已完成了协议栈开发工作，并在 FFmpeg 中完成了开发和集成，形成了 SMT 封装与解封的库文件。我们研发的 8K 播放器复用了这部分工作，并根据扩展的方案，对协议栈进行补充，完成系统组件，如图 5 所示。其中对于视频流的播放复用安卓自带的 MediaPlayer 接口，用于对网络视频流的播放。而对于 SMT 的信令消息，如广播消息、指令消息，则在 Framework 中增加了 SMT Signal Service，用于对 SMT 的信令消息处理。同时在应用层中增加 SMTParser 类，为上层提供 SMT 信令处理接口。这样在 APP 收到 SMT 信令后，就可由上层应用调用摄像头的组件调节摄像头，以及通过 MediaPlayer 对视频的显示进行 控制。8K 播放器与云服务器基于 SMT 的消息交互时序如图 6 所示。8K 播放器在完成摄像头初始化后，通过上报DCI 表（包含了本文提出的扩展信令）将本地的设备能力通知给云服务器；云服务器通过广播 SMT 信令消息，将互动对象的设备能力通知给本地播放器；摄像头的视频流同时进行 SMT 协议封装，打包成媒体资源流传输到云服务器。当 8K 播放器在解析 SMT 包时发现出现丢包等网络恶化情况，即通过本文提出的“资源请求响应消息”来请求云服务器将对端的媒体资源分辨率降低（或通过降低码率、帧率的方式），来保证视频互动链路的通畅。而在网络状况恢复条件后，8K 播放器则可以通过请求提高对端的视频流码率，来达到最佳的视频互动效果。至此，基于SMT 协议可实现视频自适应的 8K 播放器视频交互系统构建 完成。4 结束语基于如今人们对于视频质量和个性化网络服务需求的不断提高，本方案提出了一个 8K 播放器进行多用户视频互动的方案，尝试从8K播放器通过增加外置摄像头这类外部设备，再经过云服务器，将 8K 播放器的单一功能扩大，以实现多用户视频互动的目的。此方案充分利用了 8K 播放器的实时编解码能力，引入扩展的智能媒体传输协议 SMT，统一封装图5 SMT应用系统组件图广播与电视技术 2023年 第50卷 第6期44内容制播 Content Production&Broadcasting了自适应匹配视频流，使得用户能够丰富灵活地进行互动体验，为 8K 产业的发展推广抛砖引玉。本文基于国家 863 计划“数据驱动的媒体内容动态自组织及封装技术研究”课题部分研发成果，受上海数字电视国家工程研究中心有限公司“NERC 8K 行业用户 8K 播放器”项目资助完成。参考文献：1 Information technology-Generic coding of moving pictures and associated audio information-Part 2:Video:ISO/IEC 13818-2S.ISO,2013.2 Alberto Morello,Ulrich Reimers,et al.DVB-C2-the second generation cable transmission systemJ.IEEE Communications Magazine,2015,57(2):210-217.3 A.D.Saltarin de Arco,J.E.Allnutt,et al.Digital terrestrial television broadcasting using COFDMJ.IEEE Transactions on Broadcasting,1995,41(1):1-28.4 RFC 8216.HTTP Live StreamingS.IETF,2017.5 Information technology-Dynamic adaptive streaming over HTTP(DASH)-Part 1:Media presentation description and segment formats:ISO/IEC 23009-1:2019S.International Organization for Standardization iso,2019.6 XU Y L,CHEN H,ZHANG W J,et al.Smart media transport:a burgeoning intelligent system for next generation multimedia convergence service over heterogeneous networks in ChinaJ.IEEE MultiMedia,2019,26(3):79-91.7 GB/T 35012-2018.信息技术 新型多媒体编码第6部分:智能媒体传输S,北京:中国标准出版社,2018.8 IEEE/ANSI P1857.12.IEEE Approved Draft Standard for Smart Media TransportS.IEEE and ANSI,2019.9 ITU-R BT.2074-1.Service configuration,media transport protocols and signaling for broadcasting systems based on MMTS.ITU-R,2022.10 管云峰,熊伟,王尧,等.超高清及后超高清时代媒体网络技术发展趋势J.广播与电视技术,2020,47(6):12-16.11 毕江,王立冬,王麒,等.8K超高清技术系统建设与应用J.广播与电视技术,2022,49(6):41-46.12 Youngkwon Lim,徐异凌.美国新一代数字电视ATSC 3.0标准技术体系S33协议层介绍J.广播与电视技术,2015,42(S2):38-49.第一作者简介：李明昊（1981），男，上海数字电视国家工程研究中心有限公司高级工程师，硕士。主要从事视频编解码、流媒体网络传输协议及数字电视与媒体网络方面的研究，曾参与国家 863 计划“数据驱动的媒体内容动态自组织及封装技术研究”课题、中科院“基于广播网与 5G 移动网融合的超高清全媒体内容协同分发关键技术研究”等重大项目。图6 SMT消息交互时序图