XR扩展现实系统在超高清演播室中的应用.pdf

50影视制作高新视频Advanced Format VideoXR扩展现实系统在超高清演播室中的应用文/北京广播电视台 苏卓涛 梁爽随着超高清视频和虚拟制作的不断发展，XR 扩展现实技术正成为演播室制作的新方式。通过 LED 屏幕组成三维空间，同时加入实时渲染技术，可以将虚拟场景与现场拍摄的内容无缝结合，打造精细逼真又充满想象的沉浸式环境。这项技术运用了视觉透视重现和图像矫正融合的方法，让大屏内外形成一个完整、统一的三维拍摄环境。通过 XR 扩展现实系统制作内容不仅能够极大提升制作效率，还能够借助 UE 渲染引擎灵活性强、二次开发便捷的特点，为节目增添更多的趣味性与互动性。在 XR 扩展现实演播室环境中，主持人和嘉宾能够在 LED 屏幕构建的栩栩如生的“实景”中自由互动，避免了长时间面对纯色背景可能引发的视觉疲劳和表达僵硬的问题，从而显著提升节目的制作质量，为观众提供更加真实、引人入胜的观看体验。此外，XR 扩展现实系统带来的“后期前置”工作模式，确保了超高清节目内容的快速产出。数字内容制作团队能够将多种类、多层次的素材实时整合，并且进行动态光影加持下的精细渲染，甚至在拍摄现场就能够对节目成品进行同步监看，根据需求马上进行细节的修改和各项参数的调整。这种“即拍即得”的制作方式，节省了大量渲染超高清数字化内容和特效的后期时间，同时也让拍摄过程变得更加灵活多变，为节目制作提供了更加丰富的选择。摘要：本文介绍了北京广播电视台超高清实验室 XR 扩展现实系统的具体情况，详细说明了建设和调试过程中使用的新技术和新方法。关键词：超高清；节目制作；XR 扩展现实；沉浸式虚拟环境 图1 北京广播电视台XR扩展现实系统拓扑结构图1.系统概况北京广播电视台超高清演播室视频系统支持超高清 8K 节目以及超高清 4K+XR 扩展现实节目的制作。演播区搭建P1.5 弧形立屏和P2.5 矩形地屏各一块，配合 XR 扩展现实控制系统、大屏渲染引擎、XR 扩展植入渲染引擎和超高清 4K/8K 跟踪拍摄系统等设备，建立超高清沉浸式演播区域。通过对摄像机拍摄到的视频内容进行处理，结合摄像机位置跟踪数据使各类虚拟资产通过 UE 引擎（Unreal Engine）进行渲染输出。系统可以依托 LED 大屏幕开展常规节目制作，也可以运用 XR 技术完成扩展现实节目的录制。XR 扩展现实系统拓扑结构如图 1 所示。系统结构设计中主要以大屏幕点对点渲染为基础要求，部署了四台 XR 扩展现实渲染引擎，其中三台大屏渲染引擎，两台对应渲染立屏内容，一台对应渲染地51影视制作高新视频Advanced Format Video屏内容。还有一台 XR 虚拟扩展植入渲染引擎，用于LED 屏幕外的扩展现实内容和虚拟植入内容的渲染。系统使用机械摇臂+红外光学跟踪的方案为摇臂机位提供跟踪定位支持，跟踪数据可同时传输到 XR 扩展现实系统所有硬件工作平台中。该跟踪设备主要由一个红外摄像头和对应的数据处理主机组成，红外摄像头安装在摄像机顶部。在演播室的顶棚预先安装好红外反光点，构成跟踪设备识别所用的反光点阵，跟踪设备的摄像头通过拍摄并计算这些反光点的相对位置关系来实现自我空间位置的确认。摇臂摄像机能够在演播室内自由移动并与虚拟空间进行数据同步，在大范围的运动过程中均能够实现准确跟踪定位。一个渲染组由三台大屏渲染引擎组成，使用 UE 引擎中的 nDisplay 技术来进行拼接，并且使用 NVIDIA SYNC 技术达到多台渲染引擎同帧、画面同步、减少撕裂的效果。渲染引擎结合实时摄像机姿态数据计算出准确的映射画面，通过大屏渲染引擎传递给对应区域的LED 屏幕。最终三块屏幕组合形成一个完整的 XR 场景画面，现场的主持人、嘉宾便可以沉浸在这一神奇、多变的三维虚拟空间中。摄像机捕获的图像会被传送回系统进行处理。系统不仅会实时智能地填补画面中超出大屏幕显示区域的部分，还会融入虚拟植入的内容。通过这种方式，整个系统创造出一个既包含实体场景又融入虚拟内容的无缝视觉体验，实现了视觉效果的无限延伸和拓展。2.应用案例该系统已在台内正常运行并很好地完成了一系列的节目制作任务。其中在二十大胜利召开之后进行了 启航新征程北京百姓宣讲团的录制工作，节目主要以“老百姓讲述”的方式通过小故事展示学习二十大精神的大成果。整体设计紧扣二十大红色主题，选择最有代表性的北京元素，设计风格更为简约鲜明，主要凸显演讲者本身。设计中兼顾全景机位和中特写机位的取景来规划元素排布，实现包裹感和围拢感，演讲主题和演讲人所处的环境高度吻合，引导观众的视觉和感觉更快地进入节目想要表达的氛围中。节目制作效果如图 2 所示。该系统也在“文化中国水立方杯”中文歌曲大赛的歌唱比赛类节目制作中首次进行了长时间的直播节目制作，大赛全程仿佛是在北宋王希孟的传世之作千里江山图中的某一处山水之间进行，整个赛程画面流光四溢，青山起伏，宛如现实中的仙境。场景设计主要针对“文化中国”的精神进行表达和展开，选取“绿水青山”作为场景元素的主题，以新时代的语言表达好中国故事。最终通过 XR 扩展现实呈现的效果外化人们对山水美的体验、对中国园林的畅想加上对于节目功能的需求，形成一份最终设计方案。屏幕中呈现的事物既凸出于画面之外，又能隐藏在屏幕之中。通过虚实结合的场景，呈现出在有限的真实空间里延伸出无限可能的沉浸式节目环境。节目实际拍摄效果如图 3 所示。3.新技术新方法在系统调试中的应用要实现完美的拍摄效果，精细化的技术准备是必不可少的。通过项目的建设和节目录制发现，XR 扩展现实制作系统对于技术的要求非常细致和严格，如果某一项完成得不够好，就会造成最终画面的瑕疵和拍摄中的遗憾。台内的技术人员也和厂家工程师一起摸索出了一套新技术和新方法，加速技术调试过程，同时提高技术调试精度。3.1 现场大屏幕MESH程序化生成大屏幕 MESH 是现场 LED 大屏幕的三维模型，这 图2 启航新征程北京百姓宣讲团 制作效果 图3“文化中国 水立方杯”中文歌曲大赛节目实拍效果52影视制作高新视频Advanced Format Video个三维模型不仅会用在 nDisplay 的拼接上，而且会在扩展植入引擎识别扩展内容和屏幕边缘的范围上起到非常关键的作用。XR 扩展现实制作系统是通过将拍摄 LED 屏幕呈现的画面输入扩展植入引擎，将 LED 模型也就是“大屏幕 MESH”在空间中的截面作为遮罩进行抠除，通过对真实屏幕与虚拟渲染内容进行准确的空间匹配，使渲染的扩展部分图像能够与现场大屏中的图像对应。在系统调试和使用中我们发现，由于现场使用的是 Fujinon富士HA14x4.5BERM BERD广角变焦镜头加上带轨道的摇臂，造成了摄像机活动范围较大，拍摄的范围也相应较大。这对 LED 屏幕内外的拼接精度就提出了极高的要求，例如画面中的树枝、旗杆、成排的线条装饰等，如果拼接精度不够高，就会发现画面中 LED 大屏和扩展画面连接的部分有明显的错位瑕疵。经过反复对比分析发现，其中一部分误差的原因是大屏幕 MESH 的建模精度不够准确。原有的建模方式是测量大屏的长宽高并且按照弧形的弧度建立弧面的模型，但是现场的弧形立屏是由 20 列大屏模组拼接而成，每一列通过转动一定的角度来组成最终的弧形，除了不是完美的弧形以外在安装时不免会有一定的偏差，每一列的转动偏差也不均匀，这个不均匀的偏差参数需要详细测量并且在大屏 MESH 制作时还原出来。最终我们和厂家一起在三维模型制作软件中编写了一个插件，通过激光测距仪测量出从原点（地屏前沿中点）到每列大屏和地屏交界点的距离参数，加上大屏高度、地屏宽度和长度等信息，把这些数据均输入插件中，程序就会生成现场大屏一比一的模型文件，准确度和制作速度均有大幅提高。MESH生成的操作界面如图4所示。3.2 镜头文件的精细化标定和调整在之前的虚拟植入类设备的调试过程中，对于镜头中心点偏离和畸变参数 K1、K2 的标定已经有了充分的认识，但是将经验应用在 XR 扩展现实制作系统时发现完全不足以满足精度要求。需要调整的参数还包含 K3、P1、P2、Nodal Offset、Pitch、Yaw 等。这些参数原本是通过镜头文件标定程序取得，但是一般使用标定板来标定一支镜头的时间在 46 小时不等，这完全不能满足更换镜头、更换机位的拍摄需求。通过不断地学习和摸索，最终完成了一套能够快速制作镜头文件的自动化标定软件，在保证精度的情况下，将单焦段的标定时间控制在 10 分钟以内。镜头文件标定采集和识别画面如图 5 所示。软件主要通过现场大屏显示标定识别码，摄像机获取画面后通过和真实 LED 屏幕箱体的尺寸和排列顺序进行比对，使得每个真实 LED 屏幕箱体都有其对应的识别码标记。随后通过识别码将真实 LED 屏幕箱体的二维坐标转换为三维坐标，以获得每个真实 LED 屏幕箱体的具体位置，最后根据校对结果通过一定的算法生成当前使用环境和当前角度下的镜头参数。通过移动摄像机的位置，根据拍摄到的画面，结合红外传感器传回的位置数据，最终形成该焦段下的镜头畸变参数。该方法操作简便，得到标定文件的速度也满足要求，为拓宽系统应用场景提供了坚实的基础。3.3 多区域颜色矫正技术除了拼接精度，颜色还原也很重要。系统内还有一套 LED 大屏多区域颜色矫正软件，专为解决多块不同角度拼接的 LED 屏幕色差问题而设计，可以消除同一观看点观察不同屏幕存在的色差问题，大幅提升了屏幕的显示效果。软件首先在屏幕上显示 Aruco 码对待校色区域进行精准定位，这样可以在画面内精准地控制颜色识别区域，方便完整覆盖屏幕区域的前提下避免大屏周围不必要的反光和颜色干扰。多区域颜色矫正软件使用时画面识别和校色文件生成界面如图 6 所示，图中左边的点状标记区域为设定的待调色范围。图4 大屏幕MESH生成工具界面 图5 镜头文件标定采集画面示例 图6 多区域颜色矫正识别生成界面53影视制作高新视频Advanced Format Video在对实际显示区域进行准确标记后，每台渲染引擎负责的大屏渲染按顺序显示 LUT 表中的色彩，软件对拍摄后的色彩进行识别和处理，生成对应大屏校色参数的 LUT 文件。在实际的播出中，控制软件中可以控制大屏渲染引擎套用校色参数。3.4 基于Git的场景文件版本管理UE 中的 Git 版本控制功能建立在 Git 分布式版本控制系统的基础上。它通过记录项目资产的版本快照而非完整副本，实现了高效的资产管理。此外，Git 允许创建多个分支，使设计和技术团队可以并行开发不同的功能或修复不同的问题。同时，它支持在本地和远程服务器上保存项目的不同版本，让团队成员能够在本地进行独立设计，并在需要时同步到共享的远程播出存储库，节省存储空间、降低全局拷贝次数的同时增强资产的灵活性。我们在控制软件内对于 Git 功能添加了图形化的操作界面，现场的技术操作人员可以在不同的版本之间进行灵活切换，Git 的“分支”功能保证了基础版本正常播放的前提下，对于增项功能以及各种测试版本同时存在的可能性，并且操作会更为直观和简洁。扩展现实控制软件中Git 版本管理分支查看和切换操作界面如图 7 所示。Git 版本控制功能为设计制作团队带来了显著的收益。例如在实际的项目执行过程中总会出现场景资产需要更新或者回退版本的情况，在现场技术人员、技术美术设计师、场景美术设计师之间会产生多个版本的场景资产，通常会通过 UE 内的“资产迁移”功能或者直接拷贝文件的方式进行合并。如果同时调试的项目较多，每个项目又包含多个场景，那么从制作环境到播出环境的美术资源更换、代码更新、参数更新就会显得复杂无比且容易发生错误覆盖的情况。Git 版本控制功能在一定程度上缓解了这个问题，首先，该功能紧密集成于虚幻引擎的开发工具链中，使技术人员能够有效地追踪、管理和比较各个版本的场景。其次，UE 的版本控制功能对于团队协作至关重要，多名不同侧重的设计师可以同时在项目中工作，每个工种可以拥有自己独立且易于同步的场景版本。这使得团队可以在尽量少占用存储空间的前提下高效、并行地对各自负责的部分进行制作和修改，从而加速了项目的开发进度。图7 Git版本管理分支查看和切换界面4.结语随着扩展现实技术的不断发展，它将在设计制作领域发挥更大的作用。以 XR 扩展现实为代表的 LED 显示技术的应用为节目制作带来了更多可能性，使得数字化场景内容能够更好地与现实环境融合。然而，我们仍需要不断努力解决技术与艺术结合的问题，以实现更加完美的沉浸式体验。在未来，可以期待扩展现实技术的进一步创新和突破，为设计制作领域带来更多的创意和惊喜。行业的发展离不开技术的推动和创新的引领，随着技术的不断进步，相信“8K+XR”或 AIGC 场景生成等技术将在未来持续发展，为设计制作领域创造更加出色的作品和体验提供技术支撑。【参考文献】1 郭淼.关于XR扩展现实虚拟制作系统的思考J.现代电视技术,2022,(06):89-92.2 周建.浅析XR技术在中国诗词大会(第六季)中的应用J.现代电视技术,2021,(05):70-73.