基于5G+媒体融合新型智慧广电探索及应用.pdf

随着通信与移动互联网行业的不断发展，新媒体行业相较于传统媒体行业也有了翻天覆地的变化。5G 技术的快速发展以及广电媒体的不断推陈出新，让广电媒体获得更加广阔的发展前景。站在技术变革的十字路口，5G+媒体融合不仅为广电媒体提供更丰富的内容和更加快捷的传输方式，促进传统媒体的升级与创新，同时也给广大人民群众带来更加便利、高效的媒体消费体验，从而推动媒体行业进入全新的发展时代。2 5G+媒体融合新型 智慧广电发展2.1 5G 技术特点与发展现状5G 是第五代移动通信技术，国际电信联盟（ITU）定义了 5G 技术的三大应用场景，分别是增强移动带宽（eMBB）、超高可靠低延时通信（uRLLC）以 及 海 量 机 器 类 通 信（mMTC）。5G 技术为许多行业的产业发展带来了难以想象的升级空间，5G 专网推动完成高速自动采集、高实时高可靠性信息传输、内容自动剪辑编辑、实时内容加载等多种工作，推动产生更多商业模式和落地应用。随着国家 5G 技术的成熟和普及，5G 与媒体行业的融合经历了开拓期、发展期、成熟期、进阶期，在各个阶段的探索与发展中，诞生了如 5G 融媒体演播室、5G VR/AR 制播、5G 全息制播、5G 8K 裸眼 3D 等应用产品，越来越多基于 5G 技术的应用结合传统媒体投入新媒体的节目制播中。2.2 “5G+4K/8K+AI”技术与应用“5G+4K/8K+AI”技术融合了5G、4K/8K、AI 技术。2019 年 11 月，我国首个国家级基于“5G+4K/8K+AI”技术的 5G 新媒体平台“央视频”正式上线，不仅第一个通过云服务打通传统媒体生产环节和物理空间，技术和流程上彻底实现内容数据和用户数据的共享互通，还成为国内首个 5G 智能化媒体中台的主流媒体。并且，平台也采用“5G+8K”技术对北京 2022 年冬奥会赛事进行转播，首次实现了在不同场景下的跨屏融合传播。2.2.1 “5G+4K/8K+AI”关键技术2020 年 5 月，国家广播电视总局发布4K 超高清电视节目制作技术实施指南（2020 版），规定了 4K 超高清视频技术相关参数，解决了 4K超高清多种技术参数的配置问题，有助于电视台、有线、卫星电视以及IPTV、互联网电视的 4K 超高清电视直播和点播业务的开展。国际电信联盟（ITU）规定的 5G 性能指标中明确了 5G 的各项指标，5G 峰值上行速率能达到 10Gbps，下行可达 20Gbps，端到端的时延理论上可以达到毫秒级别，并且空口时延为 4G 网络的 1/10。根据 3GPP 中 TR22.863 标准，5G 网络的eMBB 用户上行速率为 500Mbps，下行速率为 1Gbps，其高速率能够很好地满足 4K 乃至 8K 视频承载网的性能需求。将 4K/8K 技术引入视频行业，可以使视频具有更高的分辨率、更加细腻的画面；在色域方面，4K/8K 画面具备更广泛的色彩范围，能为观众提供最贴近真实画面的视觉体验。超高清视频的制播分为 3 大环节：超高清视频采集回传、视频素材云端制作、超高清视频节目播出。相较于传统媒体的传输介质，通过 5G CPE 将视频数据转发给 5G 基站或通过 5G 模组的编码推流设备传送给 5G 基站的新方式更加灵活。5G 关键技术中，网络切片和边缘计算技术对 4K/8K 电视节目的制播有重要影响。网络切片是一种新型网络架构，基于 5G+媒体融合新型智慧广电探索及应用都浩 江苏省广播电视总台 摘要：本文介绍了基于 5G+媒体融合的新型智慧广电拓展探索与应用实践。同时，结合当下 5G 技术的特点与优势和发展现状，重点阐述了“5G+4K/8K+AI”与“5G+VR/AR+三维立体声”的关键技术以及应用实践。关键词：5G 4K/8K 三维菁彩声 VR/AR 智慧广电24广播电视网络 2023 年第 7 期 总第 403 期5G应用在同一个共享的网络基础设施上提供多个逻辑网络，每个逻辑网络服务于特定的业务类型或行业用户；边缘计算是指在靠近物或数据源头的网络边缘侧，通过融合网络、计算、存储、应用核心能力的分布式开放平台，就近提供边缘智能服务。因此，可以将网络切片和边缘计算技术与 5G 相结合，将大部分的电视业务部署在边缘云侧，通过提供相应的网络处理、存储计算以及视频制作等服务，丰富用户对电视业务的应用体验。视频技术高速发展的同时，音频技术也“不甘落后”。三维声是超高清视频“六维技术”的重要组成部分，根据世界超高清视频产业联盟正式发布的三维菁彩声（Audio Vivid）技术白皮书，三维菁彩声相对于传统声音，不仅增加了空间感和方位感，而且能够解决声音从构建到还原的完整环节，适用于家庭影院、大型演唱会、体育赛事以及 AR/VR 的多元场景。三维菁彩声的编解码与渲染技术非常重要，需要针对不同信号的类型采用不同技术工具进行编解码，能够有效解决信息冗余的问题。例如，采用多声道编码技术能够去除多声道信号间的信息冗余，最终能够渲染出“声”临其境的感觉。三维菁彩声集成场景流程如图 1 所示。三维菁彩声也是全球首个基于 AI技术的音频编解码标准，能够兼顾主流三维声编码和单声道、立体声、环绕声等音频，能够使声音在三维空间的任何位置精准放置与移动，可以准确描述每一个声音的位置、电平、音轨、时间与长度。2.2.2 “5G+4K/8K+AI”应 用 探索与展望在媒体融合时代，大到中央广播电视总台，小到县级融媒体中心，都能结合基于“5G+4K/8K+AI”等技术为媒体内容赋能，创新视听产业，共同推进地方广电媒体融合向纵深发展。“5G+4K/8K+AI”超高清视频实时回传能够全面升级智慧化直播体验。2022 年中央广播电视总台中秋晚会实现了 3 大创新：首次采用“8K 超高清+三维声”制作；通过“百城千屏”超高清公共大屏传输体系，能够实现全国 70 多个城市 270 余块超高清户外公共大屏同步直播；首次将三维菁彩声技术投入节目应用。其中，三维菁彩声作为音频技术的又一创新备受关注。中央广播电视总台 2023 年春节联欢晚会的成功举办充分展现构建“5G+4K/8K+AI”战略格局的累累硕果，在技术创新应用方面实现多个“首次”，利用自研的智能伴随技术实现高清/4K/8K 多版春晚同步制播，并且充分运用 XR、AR 等前沿技术打造惟妙惟肖的虚拟演出舞台，为观众提供极致的体验。北京 2022 年冬奥会的比赛过程中也投入了许多“黑科技”：采用 AVS3标准，助力实现奥运史上首次通过 8K视频技术直播开幕式和转播重要赛事的目标；基于 5G 大规模覆盖，超高清视频、短视频以及 VR/AR 设备的加持，同时借助 AI 智能合成视频技术对运动员动作瞬间进行 360捕捉，给观众带来全新的沉浸式感受，成为“科技冬奥”的一大亮点；火炬传递作为整个赛事的重要看点备受瞩目，整个项目前场由 4K 超高清摄影机完成录制，将基带信号传输给5G+4K便携式背包，并对其进行超高清视频压缩编码，之后通过 2 个移动+2 个联通的 5G/4G 网络完成实时传输，总台内部通过超高清聚合网关收到 4 路传输的数据并进行汇聚和传输协议转换，最终以 UDP协议传输至集成发布平台进行分发，后续工作人员即可实现本地实时监看以及混合岛制播。2.3 “5G+VR/AR+三维立体声”技术与应用随着信息技术的不断发展，虚拟现实（VR）技术已经悄无声息地融入日常生活中，不仅在游戏影视、旅游与演唱会等方面丰富人们的体验，而且在建筑设计、外科手术模拟等高精尖领域有变革式的发展，在媒体制作领域也能够成为融合传输的重要方式。增强现实（AR）是将真实世界信息与虚拟世界信息“无缝”集成的新技术，能够将原本在现实世界一定时间和空间范围内很难体验的实体信息，包括视觉、听觉、触觉等，通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官图 1 三维菁彩声集成场景流程25广播电视网络 2023 年第 7 期 总第 403 期5G应用所感知，不仅展示了真实世界信息，还同时展示了虚拟信息，2 种信息相互补充、叠加，从而达到超越现实的感官体验。2.3.1 “5G+VR/AR+三维立体声”关键技术中央广播电视总台陆续结合 VR行业发展的最新技术，不断进行可适配广电制作系统的研究与应用实验，并针对 VR 节目的制作形成了 2 个工艺流程：一个是基于传统演播室的 VR 直播视频系统，另一个是以拍摄和精编制作为主体的后期制作系统。与传统媒体制播相比，5G 加持下的 VR 制播技术主要体现在 3D、360全景和交互方式，因此可以给观众带来更加沉浸式的体验。目前，我国主要城市和热点区域已经实现大规模组网，可以有效推动VR 终端服务产业的发展。参考中央广播电视总台 5G 媒体应用白皮书（2020 版），基于 5G 的媒体应用体系可以由以下部分构成：在外场配置多机位的 VR 音视频采集，通过用户使用 5G 终端设备接入 5G 网络，网络能够提供包括服务质量（QoS）、切片服务、边缘云平台等在内的保障服务以及相关云端服务，收集到的信息通过 5G 接入网、承载网与核心网进行传输，台内在已有的组网基础上部署好 5G 网络，信号与数据通过网络就可以进入台内总控、融媒体演播室以及新媒体制作平台等制播系统。5G+VR/AR 制播应用流程如图 2 所示。音频合成环节可以采用沉浸式三维菁彩声模式，将上述 VR 摄影机录制的全景影像与三维音频完美结合，通过 VR 成品与演唱会、大型晚会相结合，在央视频、荔枝新闻、抖音等新媒体客户端中打造独特的全景沉浸式视听盛宴。2.3.2 “5G+VR/AR+三维立体声”应用探索与展望5G 技术和 VR/AR 技术、三维立体声 3 种技术相结合，将会极大地丰富人们的生活娱乐和工作方式。近几年的大型晚会引用全息投影技术，在有限预算成本的前提下打造出了美轮美奂的舞台舞美效果。例如，2023 年江苏卫视跨年演唱会将 VR、AR 等技术融入表演，创作出单人虚拟乐队、虚拟人物互动、自然场景叠加等多元视觉效果。未来，“5G+VR/AR+三维立体声”技术相结合将会改变各行各业，使得世界更加互联互通、更加智能。例如，5G 与 VR/AR 应用结合，可以实现超高清的视频流和无延迟的音频流，同时，三维菁彩声的加持模拟人类的听觉系统，能创造出更加真实的音效和环境音乐，让用户身临其境；在游戏和娱乐领域将这 3 类技术相联合，将为玩家带来更加逼真的游戏体验；在工业生产领域中，使用 VR 和 AR 将可以帮助工人更好地理解和控制复杂的机器和设备。3 结语在广电行业发展的过程中，5G、4K/8K、AI、VR/AR 以及三维菁彩声技术的应用与发展是相辅相成的，有助于推进智慧广电建设。首先，5G 技术的普及能够为 4K/8K 视频的传输提供更快捷、更稳定的网络环境，保证视频的传输质量，同时能够为 4K/8K视频的衍生应用提供更多的可能性；其次，AI 技术的发展与应用将进一步提高超高清视频的处理与制作效率，同时也可以为用户提供更加智能化的体验；最后，将 5G 和 VR/AR 技术融合能带来更多的商用机会，如大型晚会以及演唱会引入 VR/AR 以及三维菁彩声技术，能够大大提升舞台视听效果。这些都将成为未来媒体行业的重要突破点。参考文献1 尹利,齐翼.北京冬奥会、冬残奥会火炬传递 5G+4K 回传应用实践 J.现代电视技术,2022(3):45-47+117.2 张杨菁.虚拟植入技术在电视节目制作中的应用分析J.中国传媒科技,2022(2):134-136.3 栾卫东.5G 技术在 4K 电视节目直播领域的应用 J.电视技术,2022,46(11):141-143.4 郝晓燕.电视媒体 5G+4K+AI 应用分析 J.新闻研究导刊,2020,11(23):245-246.5尹宏宇.“5G+4K+AI”模式下的智慧广电发展策略思考 J.广播电视网络,2022,29(3):23-25.6 范晓轩.5G+VR 融合制播技术应用 J.影视制作,2021,27(6):20-25.7 周 薇.2021 世 界 智 能 大 会“5G+VR”直播系统设计及应用实践 J.西部广播电视,2022,43(3):214-217.8候倍倍.智能配网运维 5G+VR/AR 的融合创新研究 J.无线互联科技,2021,18(24):7-8.RTN图 2 5G+VR/AR 制播应用流程