自研新闻媒资智能化标签系统.pdf

内容本义，反而会进一步造成检索的难度。三是编目成本比较高。人工编目采用按时按层的工作量计价方式，编目的层级越多，编目的信息越细，则编目的成本越高，实际中编目成本的支出要远远超出媒资系统的建设成本，这是资金紧张的单位所无法承受的。四是实际效果不明显。花费了大量的人力、财力对新闻素材进行编目，在实际工作中难以看到明显的效果，巨额的资金投入产出效果不如播出系统、非编系统等生产系统那样直接。基于以上客观原因，积极探索新的编目方式势在必行。目前，云计算、大数据、人工智能技术的发展以及在实际工作中的普遍应用为新闻素材的编目提供了有效的解决方式。通过语音识别技术将语音转化成文本，并且通过语义分析技术对文本信息进行提取、分类，然后通过大数据分析技术对内容进行标签化提取，此种方式不仅可以极大提高编目效率，而且可以达到客观、精准的目的，势必有助于提高检索的效率和精准性。一 语音识别技术 本项目的语音识别技术采用深度学习预训练模型 Wav2vec2.0 技术，基于卷积网络（Convoluational Neural Network，CNN）的特征提取器将原始音频编码转为潜在音频表示（Latent Speech representations，X），通过量化表示（Quantization representations，Q）构造自建监督训练目标。同时，潜在音频表示做掩码（Mask）操作后进入变形金刚（Transformer）模型得到上下文表示（Context representations，C），最后通过对比学习损失函数（Contrastive Loss）拉近掩码位置的上下文表示与量化表示的距离。通过该语音识别技术，对江西新闻联播的一段内容进行识别，分析后的结果如图 2，准确率高达90%以上，依据本台新闻素材的特点进行针对性热词和标点预测训练，达到实际应用的程度。自研新闻媒资智能化标签系统关键词语义分析 多模态 语音识别 文字识别 标签提取 江西广播电视台的媒资系统保存了建台以来的新闻素材，这些素材记录了江西省几十年的重大发展历程，具有珍贵的历史价值。虽然，新闻素材已经被数字化存储在媒资系统，但是由于没有被详细编目，所以面临着难以检索的重大难题。如何能够快速、精准地检索有价值的新闻素材是我们目前迫切需要解决的问题。多年以来，所有单位都在探索可行性的解决方案，比较常用的做法是按照国家广播电视总局编制的广播电视音像资料编目规范，采用人工方式对新闻素材进行编目，一定程度上能够解决新闻素材的管理和检索问题，但是该种方式具有明显的缺点：一是编目效率比较低。人工编目的过程是首先对整期节目进行审看，然后提取关键信息，依据编目规范的四层规则进行信息录入，效率低下是显而易见的，无法满足日常的工作要求。二是主观意识比较强。人工在编目过程中通常带有主观性，对没有标题的内容或者对内容进行概要时，对同一内容的理解和要点把控各有不同，甚至会偏离原作者的意图，导致编目的结果难以真正体现出 作者 江西广播电视台孙春华郑雨轩阚言亮 本文介绍了江西广播电视台利用人工智能技术，自主研发的媒资系统智能化标签系统。系统通过语音识别和 OCR 识别技术，将新闻媒资内容转化成文本内容，然后通过语义分析算法对文本内容进行标签化提取和归类，客观提取出“人物标签、地点标签、事件标签”等关键标记性标签内容，辅助内容编目和智能化检索，提高编目效率和检索准确率。摘要Advanced Television Engineering1372语音识别技术分析结果技术，是一种基于分割的文本检测算法。在各种文本检测算法中，基于分割的检测算法可以更好地处理弯曲等不规则形状文本，因此往往能取得更好的检测效果。但分割法后处理步骤中将分割结果转化为检测框的流程复 杂，耗 时 严 重，因 此 提出一个可微的二值化模块（Differentiable Binarization，简称 DB），将二值化阈值加入训练中学习，可以获得更准确的检测边界，从而简化后处理流程。DB 算法最终在数据集上达到了state-of-art 的效果和性能。接着，我们使用 CRNN（Convolutional Recurrent Neural Network）即卷积递归神经网络，是 DCNN 和 RNN 的组合，专门用于识别图像中的序列式对象。与 CTC loss 配合使用，进行文字识别，可以直接从文本词级或行级的标注中学习，不需要详细的字符级的标注。OCR 文字识别能够有效提取视频中的字幕信息以及视频中场景包含的文字信息，在编目系统中，提取的字幕内容往往作为片段层的标题信息，提高片段层的编目效率，场景中的文字内容能够帮助检索重要的场景内容。OCR 字幕识别在问题官员的识别上尤其重要。三 标签提取技术 标签提取技术对内容进行视频抽帧、语音转换、语义拆解等转换任务，通过多模态预训练模型推理垂 二 OCR 文字识别 OCR文字识别采用深度学习预训练模型PPOCR3.03OCR 文字识别模型图1语音识别模型训练结构图新媒体新业务NEW MEDIA&BUSINESS运行与维护OPERATION&MAINTENANCE138域标签与内容标签，涵盖业务共 79 个垂域标签，上万量级内容标签，能够对多模态内容标签精准分类，有效地提高了视频分类的准确率。四 实际应用效果 智能化标签系统通过采用语音识别技术和语义分析技术把新闻素材翻译成文本，并对文本内容进行归类、提取，客观提取出“人物标签、地点标签、物品标签、事件标签”等关键性标记性标签内容，辅助内容编目和智能化检索。依据以上技术，通过将模型推理生成的垂域标签和内容标签发送到运营后台，由标签体系团队对内容标签分类进行审核。保证人工可干预的前提下，极大地提高了团队效率，详细多模态内容标签智能审核流程如图 5 所示。五 应用前景“自研新闻媒资智能化标签系统”具有针对性、实用性，该系统的研制成功能够取得良好的社会效益和经济效益。江西新闻媒资的智能化标签系统有助于台内新闻素材有效利用，提高新闻素材开发的效率。同时，该系统具有地方性特色，具有较好的移植性，能够将该项目的先进成果移植到江西省内各地市的电视台，一旦成功，能够取得较好的经济效益。“自研新闻媒资智能化标签系统”以地方政治、经济、社会等特色为主线，以先进技术为支撑，具有鲜明的特色和实用性，通过针对性的模型训练能够取得极佳的效果。针对该项目的研制和应用成果，可以申请著作权专利。六 总结 媒资智能化标签是媒资智能管理第一步，但是依然没有改变媒资系统被动检索的方式。通过媒资素材标签化之后，有效结合智能推荐算法，对媒资用户进行人工画像采集，实现主动向媒资用户推荐相关内容，提高检索效率，启发用户创作，才是媒资智能化标签的更高展现。6智能标签系统分析结果图参考文献：1 Yuning Du,Chenxia Li,Ruoyu Guo,Xiaoting Yin,Weiwei Liu,Jun Zhou,Yifan Bai,Zilin Yu,Yehua Yang,Qingqing Dang and Haoshuang Wang.“PP-OCR:A Practical Ultra Lightweight OCR System.”arXiv preprint arXiv:2009.09941(2020).4OCR 文字识别结果5多模态内容智能标签流程图Advanced Television Engineering139