编码器时间戳功能检测与编码延时测量.pdf

为满足观众在观看“百城千屏”公共大屏节目时听到同步高质量音频的需求，中央广播电视总台“百城千屏”传播系统在采用专线传输 8K 超高清视音频流的同时，使用互联网额外传输一路节目伴音（以下简称“独立传输伴音”），在公共大屏不宜播放声音的情况下，大屏前的观众可通过随身携带的移动终端听到同步高质量的节目伴音。由于大屏播放的 8K 超高清视频与移动终端播放的“独立传输伴音”分别通过不同传输网络传输，在系统实现的过程中，如何让专线网络传输的视频与互联网传输的“独立传输伴音”实现声画同步至关重要。“百城千屏”传播系统采用在视频传输流中嵌入时间戳的方式实现了上述目的。关键词8K 超高清 时间戳 编码器延时编码器时间戳功能检测与编码延时测量 作者 中央广播电视总台许春蕾国家广播电视总局广播电视规划院崔俊生“百城千屏”传播系统在面向大屏终端传输节目流的同时，使用异构网络额外传输一路节目伴音，通过在大屏传输流中携带时间戳来实现视音频同步。本文重点阐述了“百城千屏”传播系统中时间戳携带方式及检测方法，并在此基础上提出了一种测量编码器延时的方法。摘要 一 时间戳携带方式 1.系统架构“百城千屏”传播系统整体架构如图 1 所示。主要由前端系统、传输网络、解码终端 3 个域组成。（1）前端系统“8K AVS3 编码平台”负责将 8K 播出信号编码压缩为传输流；“8K 集成分发管理平台”负责传输流的集成分发及大屏端信息管理；“云服务平台”负责“独立传输伴音”向移动终端的推送。（2）传输网络传输网络由专线传输网络和互联网传输网络组成。前者主要负责传输编码后的 8K 超高清视音频流至各个“百城千屏”解码终端，同时传输解码终端的控制消息和上报信息；后者主要传输“独立传输伴音”，同时传输移动终端配对大屏信息以及相关延时参数。（3）解码终端“百城千屏”解码终端从专线传输网络接收并解码 8K 超高清视音频流，由大屏播放，在大屏不宜播放声音的场所，用户可以使用移动终端播放声音，配合大屏视频进行收看。移动终端是指手机、Pad 等随身携带的移动设备。无压缩视音频流压缩视音频流音频压缩流双向网络传输数据无压缩音频流8K播出信号8KAVS3编码平台传输网络百城千屏解码终端终端控制、信息上报音频编码推流、分发云服务平台户外大屏侧移动终端互联网前端系统域传输网络域解码终端域8K集成分发管理平台数据对接1系统整体架构示意图标准与测量STANDARD&TEST124在使用过程中，使用移动终端 App 或微信小程序扫描大屏展示的二维码，获得移动终端需要配对的大屏信息，“云服务平台”获知上述信息后可以推送准确延时的“独立传输伴音”至移动终端，从而实现大屏视频与移动终端音频同步播放。2.时间戳嵌入8K 超高清频道视频帧率为 50fps，每帧持续时间为 20ms，视频编码后通过 GB/T 17975.12010 定义的传输流传输，每一个编码后的视频帧打包在一个PES 中，因此 PES 是嵌入时间戳的最佳位置。UTC 时间戳由“8K AVS3 编码平台”中的编码器按照 T/UWA 012.22022“百城千屏”超高清视音频传播系统视音频编码：系统标准要求嵌入。T/UWA 012.22022 标 准 沿 用 了 GB/T 17975.12010 标准中 PES 的语法，扩展了 PES 中 PES_private_data 保留字段的语法、语义，定义了新语法结构TimeStamp。编码器使用 PTP 协议与时钟源同步，充分保证了嵌入 UTC 时间戳的准确性。二 检测方法 检测的目的是检测编码器嵌入 TimeStamp 语法结构中 UTC 时间的准确性。现阶段通常采用的方法是通过“百城千屏”解码终端上报的本地时间和所携带的时间戳差值来粗略估测编码器是否准确嵌入了 UTC 时间。但随着“百城千屏”的进一步推广，该方式存在以下问题：解码终端上报时间信息需要全链路的配合，不宜在运行系统全链路上频繁地进行测试；编码设备选型有了更多的选择，针对独立编码器端进行该项功能检测非常必要；解码终端的品牌更加多样化，不同品牌终端的接收缓冲、解码模型和图像后处理实现方式可能不同，造成上报的嵌入 UTC 时间存在差异，从而影响了测试的准确性。因此，需要一种精度不受解码终端影响，可以对独立的编码器进行测试而不需要全链路系统配合的测试方法。本文所介绍的测试方法主要思路是先录制后分析，能够在独立的编码器端进行，测试框图如图 2 所示。在录制设备的系统时钟源选择上，为便于部署，本测试选择了与系统PTP时钟同源驯服的NTP时钟。录制设备的系统时钟通过 NTP 协议与时钟源同步，下文中的“系统时间”均指与时钟源同步后的系统时间。编码器 1、编码器 2 分别代表不同品牌的编码器。“IP 基带信号录制”设备录制通过 SMPTE ST 2110 协议传输的视频，并保存为“YUV 文件”；同时记录每一帧视频录制的系统时间，并把录制每一帧视频的系统时间记录为“YUV 帧录制时间文件”。使用“TS 流录制”设备中的一个线程接收组播UDP 包，并记录每一个 UDP 包的接收时间；另一个线程把接收到的TS流存入文件，分析接收到的TS流，解析每一个 PES 包头中的 TimeStamp 语法结构、提取出其中的 utc_time 字段值，根据 T/AI 109.22021标准分析该PES中封装编码视频帧的类型（I帧、B帧、P 帧）。“TS 流录制”设备输出 3 个文件：保存接收到 TS 流的“TS 文件”；保存 TimeStamp 语法分析结果的“语法分析文件”；保存 PES 包头所在 TS 包的接收时间、该 PES包头 TimeStamp 语法结构中提取的 utc_time 字段值、该 PES 封装的编码视频帧帧类型的“PES 时间文件”。2时间戳功能测试图8K信号源信源交换机PTP信号源（锁定GPS）8K编码器18K编码器2TS流输出交换机IP基带信号录制TS流录制被测试系统测试用设备图示：被测试设备测试设备PTP、NTP时钟4路4K SMPTE ST 2110信号TS over UDP录制点a录制点bNTP服务器（锁定GPS）Advanced Television Engineering1251.语法语义符合性检测由“TS 流录制”设备接收解析 TS 流，打开“语法分析文件”，分析嵌入在PES中的TimeStamp语法、语义是否符合T/UWA 012.22022 标准的相关规定。2.嵌入时间戳准确性检测首先分析“语法分析文件”中解析的 TimeStamp语法语义是否正确。如果语法语义正确，通过以下步骤进行嵌入时间戳准确性检测：解析“TS 文件”找到第一个 I 帧，提取该 I 帧后所有帧的 AVS3 编码的基本流保存到文件，解码该基本流文件为 YUV 视频序列；使用 YUV 播放软件逐帧播放解码后的 YUV 视频序列，找到有明显场景切换的帧（以下称为“关键帧”），并记录该帧在 YUV 视频序列中的序列号，根据该序号在“PES 时间文件”中寻找该帧所封装 PES 包头TimeStamp语法结构中utc_time字段值（记为“ST”）；使用 YUV 播放软件逐帧播放“IP 基带信号录制”设备录制的“YUV 文件”，找到与上一步中关键帧内容相同的一帧视频图像，并记录该帧在“YUV文件”中序列号，根据该序号在“YUV 帧录制时间文件”中找到该帧录制时的系统时间（记为“T1”）。Ta=T1-ST 可以表征编码器嵌入 TimeStamp 语法结构中时间戳的准确性。3.编解码延时测量在采用上述测试方法时我们发现，由于在上述“TS 流录制”中记录了 TS 包录制时的系统时间，“IP基带信号录制”也记录了每一帧系统时间，从以上数据可以准确分析出编码器的编码延时，这在传统编解码测试中是不容易实现的。同时鉴于“百城千屏”大屏解码设备的品牌也不尽相同，不同品牌的解码器在接收缓冲、解码模型实现上可能存在一定程度上的差异。因此，明确编码器的编码延时指标、解码器的解码延时指标，探究设备有无运行累积误差，可对“百城千屏”业务整体应用提供重要参考，也对常规编解码器性能测量具有重要意义。在编解码延时测量方面，一般按照如下方式制定方案：测试信号具有逐帧变化的时码（即每帧画面上的时码能够表征当前帧的帧序号），时码长度尽量在1 分钟以上，画面内容无特殊要求；监视器 1 和监视器 2 应摆放在一起，监视器需要能看清楚画面上的时码；首次测试，信号连通后，在监视器 1 和监视器2 上观看解码图像是否正常，如果正常，同时拍摄监视器 1 和监视器 2 上的画面，保证可以看清楚 2 个屏幕上的时码，通过时码计算两个信号之间的延时差，记为 t1；第二次测试，在解码图像正常的情况下，再次同时拍摄 2 个监视器画面，计算时码延时差，记为 t2；可根据需要，在不同时间进行抽测，通过 t来分析编解码总延时是否稳定。上述测试方法需要 2 台监视器同时监看测试信号和解码器输出信号。在总台“百城千屏”传播系统中，由于 8K 信源是 SMPTE ST 2110 格式的无压缩信号，对监看设备要求较高，测试中尚不具备能直接监看基于 SMPTE ST 2110 的 8K 无压缩全 IP 信号的分析设备；如果使用 IP/SDI 网关转换后进行监看会引入转换延时误差。另外，图 3 测试方法只能测量编解码的总延时，无法单独测量编码器的编码延时、解码器的解码延时。为解决上述问题，本文在图 3 测试方法的基础上，增加了基于解码器输出的 SDI 基带信号录制环节，如图 4 所示。图 4 中，解码器 1、解码器 2 分别代表不同品牌的解码器。SDI 基带信号录制设备的系统时钟通过NTP 协议与时钟源同步。编码器输出 TS 流通过解码器解码为 412G SDI 信号，SDI 基带信号录制设备录制解码器 SDI 接口输出的信号，并记录每一帧录制时的系统时间。由于编码后 B 帧和 P 帧的传输顺序和播放顺序不一致，因此编码延时测量时只测量 I 帧的编码延时，但在上一步找到的关键帧不一定是编码的 I 帧，这里需要做进一步处理。为了表述方便，进行如下定义：3常规编解码延时测试图监视器1编码器解码器监视器2 测试信号标准与测量STANDARD&TEST126解码延时：录制点 c 录制到同步帧的主机UTC 时间减去该同步帧在录制点 b 录制时的主机UTC 时间所得差值；编解码总延时：在录制点 c 录制到同步帧的主机 UTC 时间减去该同步帧在录制点 a 录制时的主机UTC 时间所得差值。根据需要，可在不同时间点进行抽测，多次测量分析相关延时时间是否稳定。三 小结 第一，编码器时间戳的携带使得“百城千屏”大屏侧用户使用的移动终端有了统一的时间参考，面对异构、复杂的网络环境所带来的传输延时，起到了避免“声画不同步”现象出现的关键作用。第二，在本文所述时间戳功能的应用中，支持T/UWA 012.22022 规定的 TimeStamp 语法解析功能的解码设备，可以识别TimeStamp并正常解码输出；不支持该语法解析功能的解码设备，如果没有自定义的 PES_private_data，则不会识别 TimeStamp 字段，理论上也不会对视音频解码功能产生影响；但如果有自定义的其他 PES_private_data 语法，则可能会出现兼容性问题。因此在实际应用中，为了保证解码器对该时间戳功能的兼容性，需要明确解码器是否有自定义的 PES_private_data 处理功能。第三，本文提出的检测方法通过对不同传输环节的视频信号及系统时间的实时记录和离线分析实现了编码器编码延时、编解码延时的测量，该方法区别于传统测试方法，具有普适性，适用于超高清及高清系统，尤其符合 4K/8K 超高清系统应用实践的特点，解决了现阶段超高清信号尤其是基于 SMPTE ST 2110无压缩全 IP 8K 超高清信号不便于直观监看对比测试的困难。主机 UTC 时间：录制设备使用 NTP 时钟源同步后的 UTC 时间；时间戳时间：按照 T/UWA 012.22022 标准要求写入 PES 头中 utc_time 字段的时间戳；关键帧：在视频序列中有明显场景切换的帧；同步关键帧：在录制点 a（“IP 基带信号录制”设备）、录制点b（“TS流录制”设备）、录制点c（“SDI基带信号录制”设备）录制的视频中定位到的视频内容相同的关键帧，其序号分别记为 Ai、Bi、Ci；同步帧：如在录制点 b 定位到的同步关键帧为I 帧，则录制点 a、录制点 b、录制点 c 的同步关键帧即为同步帧，同步帧的序号分别为 Ai、Bi、Ci。如录制点 b 定位到的同步关键帧为非 I 帧，记该帧的 PTS为 Pn，找到最近一个 I 帧，记该 I 帧的 PTS 为 Pi、序号为 Bix，令：D=(Pi Pn)90 20（PTS 时钟周期为 90kHz，帧频为每秒 50 帧，一帧持续时间为20 毫秒），则录制点 a、录制点 b、录制点 c 同步关键帧的序号分别为 Ai+D、Bix、Ci+D。录制点 a、录制点 c 中同步帧的“时间戳时间”与录制点 b 中对应的同步帧的“时间戳时间”相同。根据如上定义，则：编码延时：在录制点 b 录制到同步帧所在 PES的 PES 头所在 TS 包的主机 UTC 时间减去该同步帧在录制点 a 录制时的主机 UTC 时间所得差值；参考文献：1T/UWA 012.22022“百城千屏”超高清视音频传播系统视音频编码：系统 S.2GB/T 17975.12010 信息技术 运动图像及其伴音信息的通用编码 第 1 部分：系统 S.3T/AI 109.22021 信息技术 智能媒体编码 第 2 部分：视频 S.4编解码延时测试图8K信号源信源交换机PTP信号源（锁定GPS）8K编码器18K编码器2TS流输出交换机IP基带信号录制8K解码器18K解码器2TS流录制SDI基带信号录制被测试系统测试用设备图示：被测试设备测试设备PTP、NTP 时钟4路4K SMPTE ST 2110信号TS over UDP4路12G SDI信号录制点a录制点b录制点cNTP服务器（锁定GPS）Advanced Television Engineering127