智能家居音视频质量评价方案研究与应用.pdf

电视技术第47 卷第6 期（总第57 1期）215215-219.homeJJ.VideoEngineering，2 0 2 3,47（6)YUAN X X,YANG C,HUANG T,et al.Research and application of audio and video quality evaluation scheme for smart文献引用格式：袁小霞，智能家居音视频质量评价方案研究与应用 J.电视技术，2 0 2 3，47（6）：2 15-2 19.杨珠MARTHOME&CTY电视技市ideoEngineering智慧家庭与城市中图分类号：TP311.1文献标识码：AD0I:10.16280/j.videoe.2023.06.055智能家居音视频质量评价方案研究与应用袁小霞，杨琛，黄挺，孙越，刘超（中移（杭州）信息技术有限公司，浙江杭州311121)摘要：随着智能家居的广泛应用，面向智能家居的音视频产品形态越来越多，硬件产品包含安防摄像头、猫眼门铃、智能门锁等，软件能力方面，包含固话对讲、视频通话、视频直播、告警及回放等。由于智能家居产品的形态多样和网络环境复杂，产品的音视频质量无统一评价的标准，因此，提出智能家庭安防设备的音视频能力评价方案，针对不同的场景设计测试方案，同时研发针对智能家居设备的视频能力评价的自动化测试工具，可以覆盖多场景的音视频质量测试和评价。关键词：智能家居；多场景；音视频；质量评价Research and Application of Audio and Video Quality Evaluation Scheme for Smart HomeYUAN Xiaoxia,YANG Chen,HUANG Ting,SUN Yue,LIU Chao(China Mobile(Hangzhou)Information Technology Co.,Ltd.,Hangzhou 311121,China)Abstract:With the wide application of smart home,there are more and more audio and video products for smart home.Hardwareproducts include security camera,cateye doorbell,intelligent door lock,etc.,and software capabilities include fixed-line intercom,videocall,video live broadcast,alarm,playback,etc.Due to the diverse forms and complex network environment of smart home products,there is no unified evaluation standard for audio and video quality of products.Therefore,this document proposes an audio and videocapability evaluation scheme of smart home security equipment,designs test schemes for different scenarios,and develops automatedtest tools for audio and video capability evaluation of smart home equipment,can cover multi-scene audio and video quality test andevaluation.Keywords:smart home;multi-scene;audio and video;quality evaluation0引言智能家居结合物联网、人工智能等技术，集成了家居生活有关的设备并升级，不仅可以远程控制设备，还可以对设备进行集中管理，保持实时通信和视频回看，创造了便捷、舒适、健康、安全、环保的智能居住环境。过去几年，由于疫情远程办公和居家娱乐的双轮驱动以及智能技术的加持，智能家居产品及服务广泛应用于智能家庭中。在智能家居设备中，音视频通话、视频监控查看和回放是产品的重点功能，但由于产品种类、形式和所处环境多样，以及复杂的网络环境，家居音视频质量无统一的评价标准。在目前的音视频产品质量评价中，国内外主流评价方法分为主观质量评价和客观质量评价两种方法。主观质量评价观察者根据预先规定的评价尺度或经验对待测图像给出质量判断，应用于各种静态和动态的场景，判断者对音视频质量给出平均意见分（MeanOpinionScore，M O S），但判断结果与判断者的经验有很大关系 2 。客观质量评价方法通过有参考、无参考或半参考的方法，采用专业测试设备，结合算法对图像视频质量进行评价，不受测试环境的限制，测试结果客观公正。但主观和客观质量评价方法都未考虑复杂网络场景对音视频产品质量的影响。文献 3 根据国际电信联盟无线电通信部门（ITU-Radiocommunication Sector，IT U-R）制定的主观视频质量评估标准，开发了基于MFC的主观视频质量评估软件，同时研究了基于HVS视觉加权的视频质量客观评估方法，在文献的两种评估方电视技术第47 卷第6 期（总第57 1期216MARTHOME&CITYideoEngineering智慧家庭与城市法中，测试指标MOS没有考虑到帧率、冻帧、音画同步等其他指标对音视频质量的影响。以用户满意度为标准的视频质量评价方法，主要采用基于服务质量（QualityofService，Q o S）4的评价方法和基于用户体验质量（QualityofExperience，QoE）的评价方法。QoS从客观角度，只考虑音视频在网络层的时延、抖动、丢包等性能指标。QoE是以用户为中心，反映的是用户对服务或产品的整体感受，包括对设备、网络、系统、业务质量、业务性能以及业务内容的综合评价，既要考虑主观因素，又要考虑客观因素，因此，QoE是目前应用于音视频质量较全面的评价方法。针对以上的问题和分析，结合智能家居音视频的质量要求，本文提出一种基于QoE的针对智能家庭安防设备的音视频能力评价方案，根据不同的业务测试场景，考虑网络因素设计测试方案，同时研发适用于智能家居设备音视频能力评价的自动化测试工具，可以覆盖多场景的音视频质量测试。1音视频质量评价体系智能家居业务场景的音视频质量测试，集合了行业PESQ、PO LQ A 等音频算法和PEVQ、NIQ E等视频算法，音频参考MOS、时延、抖动等关键业务指标，视频通过全参考或无参考评分，参考MOS值、顿率等关键业务指标，同时结合了专家打分、专家仪表和软件工具，构成一整套完整音视频质量评测体系，如图1所示。2业务场景和网络方案设计智能家居常见的设备有安防摄像头、猫眼门铃及智能门锁等。这些设备的音视频通常包含视频通话、视频直播、对讲、告警及回放，场景包含静态、动态及动静切换。为了全方面地测试智能家居产品的音视频质量，本文设计了无参考源测试和有参考源测试两种场景的测试方法。无参考源测试是指智能家居设备采集随机视频源，编码后发送给接收端；接收端收到视频后解码，再通过测试设备分析每帧画面质量，对解码后视频做出整体评价。有参考源测试是指智能家居设备采集被处理过视频帧的视频源，编码后发送给接收端；接收端收到视频后解码，通过测试设备与原视频源每帧对比，通过对比结果评价解码后的视频质量。通过以上这两种方案，可以有效验证智能家居设备音视频的质量。根据智能家居产品真实用户的网络使用场景分析，本文设计了适合智能家居设备的网络场景方案，如表1所示。音视频质量评测体系业务场景实时视频通信视频直播视频点播云存储云游戏其他评测平台自动化测试平台评测内容音频视频评测类型主观评价客观评价主观评价客观评价专家音频实验室专家图像实验室评测方法打分打分软件专业软件工具专业仪表11工具仪表（MOS时延全参考无参考唇音1业务指标评分评分同步抖动1MOS破损率1基础能力PESQPOLQAPEVQPSNRSSIMNIQEVMAF图1音视频质量评测体系电视技术第47 卷第6 期（总第57 1期迪视技ideoEngineeringS智慧家庭与城市MARTHOME&CITY表1网络场景方案网络模型网络带宽限制/（Mbs-）丢包率/%抖动/ms无限制网络00常规带宽限制网络200低带宽限制网络100轻度拥塞网络3550中度拥塞网络220100高度拥塞网络135100通过以上分析，结合业务场景和网络方案，测试仪器采用思博伦网络损伤仪器Attero和音视频质量测试设备ChromaticUmetrix，本文设计了针对智能家居设备音视频质量的业务场景和网络测试方案，架构如图2 所示。3音视频质量评价模型3.1音视频质量评价指标参考QoE音视频质量评价方法，本文设计了音视频的客观测试指标，定义如下。(1）M O S（G ED）。G ED（G r o s s Er r o rDetection）提供基于顿的针对音视频业务质量的MOS评分。GED从用户感知角度对流媒体点播、音视频通话等音视频业务的音视频流畅度进行分析，通过计算获得整个音视频的MOS（1=差，5=优）。同时提供其他实用的KPI指标，对影响音视频质量的因素进行量化，用来评估音视频流畅度性能、音频音视频同步（需要结合音频评估算法）等。无参考源MOS（NR）服务器USBCalnexAtterochromatic接收满umetrix有参考源MOS(GED)发送端图2业务场景和网络测试组网（2）M O S（NR）。M O S（NR）基于机器学习的人工智能（ArtificialIntelligence，A I）无参考音视频图像质量分析，无须预设音视频源，模拟人眼对音视频图像质量进行MOS打分（1分=差，5分=好），同时无参考检测音视频TI（T e mp o r a lInformation）时间复杂度、SI（Sp a t i a l In f o r ma t i o n）空间复杂度、缓冲，卡顿等状况，结合各种指标如（不同压缩比及分辨率下）音视频图像质量MOS分，给出一个用户感知体验（QoE）分值。（3）顿率。音视频的帧率（Frame rate）是用于测量显示顿数的量度，一帧代表一副静止的图像，测量单位为每秒显示顿数（FramesperSecond，FPS）。（4）冻顿率。冻顿率即音视频冻屏百分比，通过测试过程中识别出的音视频画面冻结时长测试音视频总时长得出。（5）破损率。破损率即音视频破损百分比，通过测试过程中识别出的音视频画面破损顿数量测试音视频总帧数得出。（6）音画同步。音画同步指音频与视频画面的时间戳一致性，测量单位为毫秒（ms）。各个指标的计分方法和参考依据如表2 所示：3.2音视频质量评分方法根据上述关键指标，依据音视频流畅度、清晰度指标对实际音视频体验影响权重，得出最贴近用户真实体验的得分评价算法：单个场景得分（总分10 分）=音视频流畅度得分（总分5分）+音视频清晰度得分（总分5分）=MOS（G ED）2 0%+率10%+冻顿率10%+音画同步10%+M0S（NR）30%+破损率2 0%;综合得分（总分10 分）=无限制网络场景得分（总分4分）+带宽限制网络场景得分（总分3分）+拥塞网络场景得分（总分3分）=无限制网络场景得分40%+低带宽限制网络场景得分15%+常电视技术第47 卷第6 期（总第57 1期）218电视装重ideoEngineeringS智慧家庭与城市MARTHOME&CITY智慧家庭与城市表2 音视频质量评价指标指标计分方法参考依据Mos(CED)0,5之间按照 0，10 线性评分ITU-T建议MOS值的评分范围为 1，2，3，4，5：45分为优秀（excelent），34分为良好（good），Mos（NR)0，5 之间按照 0，10 线性评分23分为一般（fair），12 分为差（poor），1分以下为很差（bad）30帧以上得满分，在 0，30 之间顿率依据行业经验手机端应用实时通信软件顿率普遍在30 以内按照 0,10 线性评分冻顿率100，0】之间按照 0，10 线性评分视频画面冻顿率越高，视频质量越差破损率100,0)之间按照 0，10 线性评分视频画面破损率越高，视频质量越差音画同步音频超前在-10 0 ms，+2 5ms 之间，参考ITU-RBT1359-1定义：音频和视频的时间戳差值在音画同步得10 分，在-6 0 0 ms，+52 5ms 之间按照-100+25ms，为无法察觉；音频滞后10 0 ms以上，或者超前2 5ms以上0，10 线性评分，超出-6 0 0 ms，+52 5ms 不得分为能够察觉；音频滞后18 5ms以上，或者超前9 0 ms以上，为无法接受规带宽限制网络场景得分15%+轻度拥塞限制网络场景得分10%+中度拥塞限制网络场景得分10%+重度拥塞限制网络场景得分10%。3.3评价算法分析单个指标评分范围为 0,10 ,8 10 分为优秀，68 分为良好，46 分为一般，2 4分为差，2分以下为很差。单个场景得分中，音视频流畅度指标和音视频清晰度指标得分评分范围为 0,5，45分为优秀，34分为良好，2 3分为一般，12 分为差，1分以下为很差 5。综合得分评分范围为 0,10 ，8 10 分为优秀，68 分为良好，46 分为一般，2 4分为差，2分以下为很差。4系统设计和实现4.1系统设计与实现通过以上研究，结合智能家庭安防设备的音视频能力评价方案，集成硬件测试设备网络损伤仪器Attero和音视频质量测试设备ChromaticUmetrix能力，本文设计了针对智能家居设备的音视频能力评价的自动化测试工具。本工具基于springboot+vue+mysql实现用例管理、测试执行、测试结果自动获取和分析等功能，主要分为硬件层、服务层及网页层三层，如图3所示。硬件层由测试仪器及测试设备构成，硬件设备向外提供可扩展的应用程序编程接口（ApplicationProgramming Interface，A PI）和能力。通过对API和测试能力进行二次开发和封装，使得各硬件设备可实现远程自动化运行。服务层基于springboot框架开发，由多个负责解析和处理自动化测试参数、用例执行的jar包组成，以对应的功能模块分为音频处理模块Voice.jar、视频处理模块Video.jar、网损处理模块Attero.jar及设备处理模块Device.jar。测试管理控制节点（Co n t r o l l e r）负责将所有测试指令进行整合分析，并WebTest PlanTest ModelTestSuiteTestCaseTest Result数据库ControllerServerVoice.jarVideojarAttero.jarDevice.jarAPI食HardwareUmetrix VoiceUmetrix VideoCalnexAtteroTest Device图3音视频质量评价自动化测试框架电视技术第47 卷第6 期（总第57 1期）219编辑：张玉聪电视技重ideo EngineeringS智慧家庭与城市MARTHOME&CITY有序地调度和分发给服务层的各处理模块。网页层基于Vue框架开发，主要提供自动化测试的图形化界面，给测试人员提供方便快捷的用例集管理、测试模型设置、测试用例配置、测试任务执行以及测试结果查看功能。其中，测试结果的保存和展示均通过数据库来进行存储和读取。网页层同时为音视频通信能力自动化测试提供浏览器访问网址，对音视频测试进行统一规范的测试管控，提供的服务能力为测试用例配置、测试任务管理、测试执行和结果自动分析并打分。通过前端界面（Web）模块的配置，测试任务及用例参数被下发至测试管理控制（Controller）模块，经过控制模块处理调度后将测试参数及指令通过HTTP请求发送至后端测试能力集成（Server）模块。该模块通过调用经过二次开发和封装的各测试设备API进行最终测试用例的执行，执行结果同步至数据库。Web模块通过轮询数据库的方式获取测试进度并展示测试结果4.2音视频质量测试结果与分析为了验证评价模型，本文选取行业前三的智能家居摄像头产品，在模拟用户正常网络和损伤网络环境下，采用客观和主观的方法对产品音视频质量分别进行打分，表3是部分测试数据统计。表3测试数据统计客观评价得分对标评价得分网络场景产品1产品2产品3产品1产品2产品3无限制网络8.779.549.634.004.504.50常规带宽限制网络8.297.456.294.004.004.00低带宽限制网络8.539.028.634.004.304.40轻度拥塞网络8.579.369.663.504.204.60中度拥塞网络8.358.745.833.503.504.40高度拥塞网络7.645.785.433.003.204.10总分50.1649.8945.4722.0023.7026.00在6 种网络场景下，客观测试结果与主观测试结果一致，说明本文提出的网络场景方案、评价指标和算法能够客观地对智能家居产品的音视频质量进行评价。55结语本文根据行业音视频质量评价标准和测试方法，建立适合智能家居设备的音视频能力评价方案，提出了适合智能家居设备音视频的6 种网络测试方案和6 个视频能力评价模型指标，填补了全面评价智能家居设备音视频质量的空白。同时，结合行业先进音视频质量测试工具，整合网络损伤仪，研发出多场景音视频自动化测试工具，通过简单操作用例管理和执行，即可自动设置网络损伤仪器的网络参数，通过选择测试类型自动化执行音视频质量评价测试，自动搜集测试结果并生成测试报告。通过评测给出真实、可靠的测试指标数据，适用于多场景的智能家居设备的音视频质量测试。参考文献：1覃春花.图象稳定技术研究与实现 D.哈尔滨：哈尔滨工程大学，2 0 10.2蒋慧雅.基于小波变换的图像压缩改进算法研究 D.南京：南京邮电大学，2 0 0 9.3李健.视频质量的主客观评估方法研究 D.西安：西安电子科技大学，2 0 0 9.4陈希宏，金跃辉，杨谈.3G网络中移动视频质量评估模型的研究 .计算机科学期刊，2 0 15，42（9）：8 6-9 3.5 王华明.MPEG-2AAC编解码器的实现方法研究 D.上海：上海交通大学，2 0 0 1.