面向超高清视频分发的新一代视频编码标准.pdf

视音频技术Video&Audio1 引言随着 5G 技术与边缘计算的发展，流媒体的视频技术也将越发精湛。而支撑使用者有良好使用体验的网络、编码、协议等技术，都将成为实现超低时延需要的关键技术。在数字视频应用产业链快速发展的背景下，视频应用不断向超高清晰度、大于 60 帧的高帧率、超高压缩率的方向发展，在这样的应用需求下，当前使用的一些主流视频压缩标准的局限性不断凸显。平均每隔七八年，ITU/MPEG 的联合视频团队就会开发一个新的视频压缩标准。通常，在相同质量的情况下，新标准的视频码率会比此前标准的压缩率有了 50%左右的提升。2020年，该组织推出了 3 个全新的视频标准，即通用视频编码（VVC）、基本视频编码（EVC）、低复杂度增强视频编码（LCEVC）。本文对 VVC、EVC等视频编码进行详细的说明，以便相关从业者对新一代编码标准有所了解。2 H.266/VVC 视频编码通用视频编码，英文简称 VVC，即行业内通常说的 H.266，是上述 3 个标准中最复杂的视频编码标准。在新标准 VVC 下，预计视频压缩率会有50%左右的提升。举例来说，如果采用 VVC 标准，现有标准下一部 1GB的电影，大概会变成 500MB，画质依旧保持不变。对于用户的直观感受就是，新标准同等画质体积减少一半，同等体积画质大幅提升。对于视频服务商来说，网络带宽以及服务器的成本上都会有不少节约。而且 VVC标准成为国际通用的标准，用它进行编码和解码，最后得到的还是熟悉的“MP4”“MKV”“AVI”格式。VVC 追求为专业视频压缩场景提供最佳的视频压缩效率，与此前的MPEG 和 ITU 标准都有着相同的基础结构和理念，这个传统可以一直追溯到 H.261 和 MPEG-1。该标准下每一帧视频都会被分解成多个像素块。每个区块都可以是来自其他参考区块的预测可能是来自前面帧的图像块，可能是邻近的像素上方和左侧的区块等。当前要编码的块和它的参考块之间的差异称为残差信号。这个残差信号经过变换（在旧标准中使用余弦变换，在新标准中使用整数变换），能够达到媒体信息压缩的目的（大部分信息都包含在几个变换系数中）。变换后的残差再通过量化器以及熵编码器，后者的输出是压缩后传送给解码器的字节流。编码器还包括 1 个解码环路（反转量化和变换函数）来重建已编码的帧，以便它可以作为未来帧编码的参考。在新的标准中，环内去块状滤波器（In-loop-Deblocking）和 其 他功能（如 HEVC 中的样点自适应补偿SAO）也可以包含在解码器环路中。虽然所有的标准都有这样的基本结构，但是这些构成组件的细节却因标准不同而变化。由摩尔定律带来的硬件进步（速度更快的 CPU 和更多的面向超高清视频分发的 新一代视频编码标准文/安徽广播电视台 罗晓彬摘要：本文介绍了新一代视频编码标准 VVC、EVC、AV1、LCEVC 视频编码，希望为相关领域的研究及编码压缩系统的规划与设计提供参考和借鉴。关键词：VVC EVC AV1 LCEVC 视频编码超高清 Ultra High Definition 2023年7月 月刊 总第375期核心，更大更快的内存等）随着时间的推移使得更复杂和高精度的算法变得实用。下文将说明其带来的性能提升和复杂性的增加。3 H.266/VVC 编码器工具介绍图 1 显示了 AVC、HEVC 和 VVC 3 种不同标准的视频帧的分块方式。在AVC 中，最大允许的块尺寸比较小，为 1616；在 HEVC 中，最大的块尺寸是 6464。请注意天空的同质区域（图 1 的左上角）。现在可以更有效地进行编码，信令开销也少得多。这一概念在 VVC 中得到了扩展，允许块尺寸达到 128128。此外，VVC 中的块可以是正方形或矩形，而 HEVC 中的块只能是正方形（四叉树结构），这为微调编码过程提供了更大的灵活性。最大块尺寸的增加对于 HD、4K、8K 或 360视频等高分辨率视频尤其有利，因为这些视频更容易包含大面积的同质区域。更大的编码单元在减少信令开销的同时，也允许使用更大的变换，从而实现更大的视频压缩。AVC 只限于使用 44 和 88 变换，HEVC 允许 额 外 使 用 1616 和 3232 变 换。VVC 不仅扩展了这一趋势，还包括6464 变换，并提供了初级变换和次级变换的选择。编码算法可以逐块选择提供更大内容压缩的变换。这些都使编码过程的微调更加灵活，最大限度地提高了压缩效率。对于不同的标准而言，帧内编码也变得越来越复杂。图 2 对 AVC、HEVC、VVC 3 种标准的帧内编码工具进行比较，AVC 中有 9 种不同的帧内编码模式；HEVC 提供了 35 种帧内编码模式；VVC 允许 67 种不同的帧内编码模式。每一种模式（在图 2 中用箭头表示）都代表了利用待编码块左边或上面的像素来合成预测块的机制，即这些模式中的每一种模式实际上是上述像素的加权平均。在 AVC 和 HEVC中，只有紧靠当前块上方的行和紧靠其左侧的列的像素可以用于平均过程。VVC 允许使用除这两种模式以外的其他行和列的像素。上述对比说明了 VVC 中基础构件的复杂性特点，图 3 中也说明了这一点。在早期的标准中，运动估计是在方形或矩形形状的块上进行的，以从先前编码帧中类似形状的块中预测它们。VVC 允许将块体进一步细分为2 个区域（导致三角形或梯形形状的子分区）。然后，2 个不同的运动向量可以用于每个子分区，两者之间的边界区域使用 2 个预测的混合版本。如图 3 所示，这种技术适用于对象边界为弧形或既非水平也非垂直的边缘但接近 45或 30角的情况。这些高级算法提高了压缩效率，但图 1 AVC、HEVC 和 VVC 中的视频帧分块图 2 帧内编码模型分别体现在 AVC、HEVC 和 VVC图 3 VVC 中的帧间预测分块 视音频技术Video&Audio复杂度更高。表 1 和表 2 的数据来自于实验室，分别展现了 VVC与HEVC，EVC 与 AVC 在编码效率、编码复杂性、解码复杂度方面的对比。由于 VVC 中引入的许多工具对更高分辨率的视频更为有效，因此对4K 视频压缩效率的提升最大。同样质量的情况下，UHD 的平均码率节省（以 PSNR 衡量）约为 40%、HD 约为35%，较低分辨率则略低于 30%。需要注意的是，这些数字根据内容的不同会有很大的差异。主观测试的结果是 VVC 带来更高的节省（UHD 接近50%）。编码的复杂性增加了约 10 倍，但解码器的复杂性只增加了 23 倍。解码器的复杂性影响到机顶盒和其他播放设备的成本以及用于流媒体内容的移动设备的电池寿命。考虑到 HEVC比 VVC 早 7 年 左 右，自 那 时 以 来，硬件能力已经提高了 10 倍。这意味着VVC 解码器相对于当前硬件的复杂度要比 HEVC 和 2013 年的硬件复杂度低得多，按照目前的硬件水平，不会造成编解码影响。也就是说，目前VVC 编码解码的实现难度、设备负荷与 HEVC 刚推出时不相上下。4 EVC 与 AV1 的出现HEVC 广泛部署的最大障碍是混乱的许可规则。在 MPEG-2 和 AVC 的情况下，一个单一的实体（MPEG-LA）负责管理和许可与这些标准中的技术有关的专利池。这为这些标准的用户提供了简单的、一站式的购买体验。对于 HEVC 来说，情况要模糊得多，有 3 个不同的授权机构，每个机构都有自己的条款和条件。更糟糕的是，有些专利持有人不属于这些机构中的任何一个，而 HEVC 用户将不得不分别与它们中的每一个机构谈判条款。为 了 防 止 VVC 出 现 类 似 情 况，媒体编码行业论坛（MC-IF）成立了。MC-IF 的目标是从新的 VVC 标准开始，确保 MPEG 标准被广泛接受并为消费者和行业的利益而被广泛使用。通过在专利和 VVC 中的特定工具之间建立更紧密的联系，用户可以选择根据关联的许可条款打开或关闭某些工具。4.1 MPEG-5/EVC 视频编码为了应对混乱的 HEVC 专利许可问题，一个被命名为 EVC 的编码标准（也称为 MPEG-5 Part1）被创建出来。该标准于 2019 年 1 月开始编撰，2020 年 5 月定稿，其主要目标是提供一个免除专利许可费用的 MPEG/ITU标准。我们可以将 EVC 视为复杂的HEVC 许可的一种简化方法。它提供了 2 个配置文件：一个是免费的基线；另一个是带有需要许可证增强工具的主配置文件。其编码效率的目标是至少与 HEVC 一致，低的复杂度使其适用于实时编码场景。EVC 包括 2 种 Profile，即 Baseline和 Main。Baseline Profile 中使用的技术大多数是一些老旧的专利和已过期技术，还有一部分是已提交书面声明明确免除专利费用的技术。Main Profile 包括了部分可带来显著编码效率提升的编码工具，这些额外的工具可能会产生专利费用，因此每个工具都可以独立于其他工具开启或关闭。如表 2 所示，将 EVC 与 AVC 进行比较。表 2 说明了 EVC 在压缩效率和复杂度方面的性能数据来自实验室。平均而言，在相同质量下，比特率降低了 30%以上（以 PSNR 衡量）。同样，较高的分辨率比较低的分辨率的增益更为显著。在比特率降低的同时，编码器的复杂度也显著降低（尽管其中有一部分原因是由于 AVC 参考软件的次优实现，其解码器的复杂度略高于 AVC。结果表明，EVC 视频编码为需要在压缩效率和复杂性之间取得平衡的用例提供了一种选择，同时最大限度地减少或完全避免了专利费用。表 1 VVC 与 HEVC 编码效率、编码复杂度、解码复杂度对比视频格式编码效率编码复杂度解码复杂度UHD-39%850%165%HD-34%900%160%较低分辨率-28%900%170%表 2 EVC 与 AVC 编码效率、编码复杂度、解码复杂度对比视频格式编码效率编码复杂度解码复杂度UHD-30%413%167%HD-23.1%4910%142%较低分辨率-26.5%459%154%超高清 Ultra High Definition 2023年7月 月刊 总第375期4.2 AV1 视频编码同样因为上述 HEVC 的许可问题，开放媒体联盟（AOM）于 2015 年成立，目标是提供免版税的视频编码标准。2018 年，AOM 发布了第一个视频编码规范 AV1。一些研究机构曾经比较 AV1 和HEVC 之间的压缩效率，一部分人认为 HEVC 略占优势，另一部分则认为AV1 占优势。一方面，由于 AV1 是在 HEVC 之后几年开发的，它能够从HEVC 所没有的创新中获益；另一方面，AV1 不得不放弃使用为 HEVC开发的某些编码工具，以避免专利费。AV1 得到了微软、Facebook、谷歌、英 特 尔、亚 马 逊、苹 果、IBM、Mozilla 等诸多行业巨头的支持，但最引起大众重视的还是 2020 年 Netflix公司宣布全面部署 AV1 流媒体服务。值得争议的是，AV1 编码复杂度明显高于 HEVC。因此，商用实时AV1 编码器（用于更高的视频分辨率）并不实用。VVC 的压缩效率优于 AV1，而其编码器的复杂度在同一数量级。相反，EVC（Main Profile）承诺的压缩效率至少与 AV1 一样好，但编码器复杂度较低。因此对运营商而言，选择 AV1 阵营或 ITU/MPEG 将会是下一阶段的重点。5 低复杂度增强视频编码（LCEVC）低复杂度增强视频编码（Low Complexity Enhancement Video Coding，LCEVC）是一种新的 MPEG视频编解码器。LCEVC 并不是一个独立的视频编码器，它是对任意其他编码器的增强（AVC、VP9，HEVC、AV1、EVC、VVC 等），目的是降低计算负荷，并比在给定分辨率下单独使用增强编码器达到的压缩效率更高，尤其是在视频传输相关码率的情况下。它的核心思想是使用常规视频编解码器作为较低分辨率的基本编码器，并通过将解码后的低分辨率视频与使用专用低复杂度编码工具编码的最多 2 个残差增强子层进行组合来重建全分辨率视频。LCEVC 是 MPEG-5 标准的一部分，但编码方式有所不同。基于 LCEVC 只是个附加编解码器，使用 LCEVC 时，实际文件大小不会变化。它的主要目标是直播流媒体领域的用户，如现场直播、体育、新闻、户外直播、沉浸式视频等对延时敏感的应用。LCEVC 的工作原理是采用较低的分辨率获取基本编解码器，并添加多达两层的编码残差，以校正基本视频编解码器创建的伪像。这些层增加了额外的分辨率和质量。测试表明，LCEVC 为最终输出的视频增加了细节和清晰度，同时减少了整体处理负荷和内存。这样就可以在以前只有高清的地方使用 4K 超高清。此外，测试表明，LCEVC 的编码时间比 AVC、HEVC 和 VVC 的全分辨率版本快得多，从而使得观众体验感觉延时更小。6 结语时间更迭、新老交替、推陈出新是社会发展的客观规律。目前，电视发展已由高清向 4K 超高清转变，媒体服务的技术基础=信号编码+信号传输协议+基础 ICT 网络技术。这些技术中涉及众多普遍应用的网络技术，专属于媒体技术的部分并不多。因此，相关从业者需要学习新一代编码技术原理及传输协议之间的不同。制作域低延时编码选择有助于更好地了解当下主流编码技术及其应用背后的逻辑，相信新的视频编码标准将拥有更广阔的发展空间和前景。参考文献：1陈嘉敏,冀瑜.HEVC/H.265 标准中的专利许可问题及其对策J.标准科学,2019(10):46.