基于支持向量机的视频字幕自动提取方法.pdf

0ct.2023Journal of XianNatural Science Edition2023年10 月No.4Vol.26西安文理学院然科学版）第2 6 卷第4期文章编号：10 0 8-556 4(2 0 2 3)0 4-0 0 49-0 6基于支持向量机的视频字幕自动提取方法林嵩，宫大成（福建技术师范学院文化传媒与法律学院，福州350 30 0）摘要：视频字幕的尺寸大小经常发生变化，原有提取方法只考虑字幕本身固有特征，在自动提取过程中难以保证字幕的运动状态，不能精准地进行视频中字幕与非字幕的分类，导致字幕提取的正确率较低.对此本研究基于支持向量机的视频字幕自动提取方法，以提高字幕提取正确率.以角点检测法为基础，提取视频字幕特征，基于支持向量机分割字幕特征集合，二值化区域理想阈值自动提取视频字幕，完成基于支持向量机的视频字幕自动提取方法设计.实验结果表明：以四组不同形式的视频为测试对象，对其中包含的字幕组进行提取，在本文方法应用下没有出现漏检情况.对提取完成的字幕进行正确率计算，本文方法的提取正确率平均为99.6%，而深度学习提取方法的正确率平均为94.4%，主要成分分析提取方法的正确率平均为96.5%，较之分别提高了5.2%和3.1%，具有实际应用意义关键词：支持向量机；视频字幕；自动提取；提取方法；线性浏览中图分类号：TP311.52文献标志码：AAn Automatic Video Subtitles Extraction MethodBased on Support Vector MachineLIN Song,GONG Da-cheng(School of Law and Culture Media Studies,Fujian Polytechnic Normal University,Fuzhou 350300,China)Abstract:The size of video subtitles often changes,and the original extraction methods onlyconsider the inherent characteristics of the subtitles themselves.It is difficult to ensure the mo-tion state of the subtitles during the automatic extraction process,and cannot accurately classifysubtitles and non subtitles in the video,resulting in a low accuracy of subtitle extraction.Basedon corner detection method,extract video subtitle features,segment the subtitle feature setusing support vector machine,and automatically extract video subtitles using binary region idealthreshold.Complete the design of a support vector machine based automatic video subtitle ex-traction method.The experimental results show that using four different forms of videos as thetest subjects,the subtitle groups included in them were extracted,and there were no misseddetections in the application of this method.The accuracy calculation of the extracted subtitlesshows that the average extraction accuracy of the method in this paper is 99.6%,while the av-收稿日期：2 0 2 2-0 6-2 2基金项目：教育部高教司产学合作协同育人项目（2 0 2 10 2 18 0 0 0 6）作者简介：林嵩（1996 一），男，福建福州人，福建技术师范学院文化传媒与法律学院助教，主要从事网络与新媒体研究；宫大成（1991一），男，山东烟台人，福建技术师范学院文化传媒与法律学院助教，主要从事广播电视编导研究.50第2 6 卷西安文理学院自然科学版erage accuracy of the deep learning extraction method is 94.4%.The average accuracy of themain component analysis extraction method is 96.5%,which is 5.2%and 3.1%higher thanthat of the previous method,respectively,and has practical application significance.Key words:support vector machine;video subtitles;automatic extraction;extraction method;linear browsing现代社会网络技术发展较快，在各种媒体视频中蕴含的信息较多，为了实现对媒体设备的高效访问，需要对媒体中的信息数据进行处理.随着短视频媒体的迅速发展，在各类型视频软件中产生海量数据，如何对视频中的信息进行提取，已经成为现阶段研究者谈论的重点.为更好地对视频进行分析，人们设计了视频字幕的提取技术，即对视频中出现的文字进行定位和检索，通过提取字幕进行内容定义和注释.在视频处理过程中，实际上包括多个方面的事物分类和检索，以字幕为主要研究对象，赵洁等 1 设计了一款视频字幕的转换软件.由于视频属于视觉形式中的图像合集，为一种没有结构的图像流，如想要对其中的确切字幕进行提取，则需要对其浏览方式进行转换.高文昀等 2 提出了支持向量机的理论，能够对大量数据进行分类和加权，从而在海量数据中提取到有效信息.数字视频中对字幕的提取方法，仍以传统的线性浏览作为主要依据，其中张小康等 3 提出了一种去噪方式，能够快速对目标信息进行定位，以此完成数据资源的提取.但字幕本身为一个动态的变化结构流，若只考虑其自身固有的特征，难以保证精确定位和信息提取.对此，本文提出基于支持向量机的视频字幕自动提取方法，将视频内容进行结构化分析，以此保证清晰且有效的数据读取.1基于支持向量机的视频字幕自动提取方法1.1角点检测法提取视频字幕特征视频中的字幕多为人工添加文字，具有较高的对比度和色彩统一度，以此利用角点检测方法，对视频中的字幕进行特征提取，能够快速地进行字幕定位 4（图1）.图1角点检测示意图(a)(b)(d)图2角点检测中图像分类效果根据图中内容所示，直接采用圆形的窗口模板，将空心圆表示为中心点，设置为角点检测的核心点，实心圆表示其余可覆盖区域.在角点检测中存在一个固定的图像亮度值，设置核心点周围的亮度值，与相似区域内圆点，均为核点相似区域 5-6 ,分出四个基本区域(图2).根据图中的图像分类效果所示，图2(a）表示在角点检测过程中当图像无角点边缘时，能够完全覆盖核心区域；图2（b）表示当图像在核心范围时，窗口模板覆盖区域大于50%；图2（c）表示图像边缘出现在核心范围时，覆盖区域刚好为50%；图2（d）表示只有角点在核心区域时，覆盖区域小于50%.以核心点的灰度值和窗口内各个点的灰度值进行比较，判断图像是否存在覆盖区域，建立判别函数公式，中心点设置为m，窗口中心设置为m，表达式如下：(1,lp(m)-p(mo)/on(m,mo)=(1)(0,lp(m)-p(mo)/01051第4期林高量机的视频字幕自动提取方法式(1)中,判别函数用n来表示，主要是对核心点和窗口中心点进行判断，其中两个点的像素值分别为p（m）和p（mo）【7 .以灰度像素值为判断基础,需要对所在区域设定一个合理阈值，用。来表示.将判断函数放置在字幕分割过程中，通过支持向量机对不同特征进行所在集合分类，以此确定出最合理的阈值，完成视频中的字幕提取，1.2基于支持向量机分割字幕特征集合支持向量机可以在高维数据空间内，找到一个可以被分割的平面，以此获取平面到数据之间的距离 8 .进行不同数据特征之间的分类，将分割的平面两侧数据进行标记，设置为如下形式，表达式为：a=+1(2)(a=-1式（2）中，表示两侧标记临值.以假定字幕展示出的数据在二维平面为标准，将数据进行完全分割，直接通过线性方程函数进行分割支撑，并将对应函数作为分割标准，表达式如下：f(s)=ds+h(3)ds+h=-1(4)ds+h=+1(5)式(3）式(5)中，f(s）表示对应函数，ds和h均为函数的约束参数 9)将超平面设置为j，对分割完成的两侧数据进行定义，分别为j和j2.分别计算支持向量到两个平面的距离，以此找到符合的约束条件，表达式为：(s）j iIds+h1(6)kIdIII dIf(s)ji2Ids+h2(7)kdIIdl式（6）式（7）中，分别用k，和k分别表示超平面ji和jz到支持向量的距离，d表示区域间隔.根据上述公式,对所选择的限定数据集合进行区域划分 10 .以=【1，+1的设定来看，直接将满足条件的约束参数，设定为视频字幕特征的划分区域间隔即可.1.3二值化区域理想阈值自动提取视频字幕由于视频中的图像文本基本采用同一种颜色进行设定，在同样条件下需要选定合适的值，以此作用于视频的文本图像全局.设置视频图像的分布率为qw，则视频被分为两个部分,其初次阈值选定为e1.将像素大于e的图像个数设置为w1,像素小于e的图像个数设置为w2，分别计算两组像素点占据图像的比例，表达式如下：W1(8)XWW2(9)2xw式（8）式(9)中，r表示w1占视频图像分布率的比例；T2表示w2占视频图像分布率的比例 12 .因为与w，的数量等于gw，可以得到下列公式，表示为：Wi+W2=qXw式（10)中,受两组像素分类的情况限制，假定图像中的像素以平均灰度值为标准进行提取,用t来表示，通过两个类别像素的灰度值变化，计算视频图像的类间方差，表达式如下：u=w,(t,-t)+w(t2-t)2(11)其中，t,表示所有大于阈值的像素值图像产生的平均灰度值，t表示所有小于阈值的像素值图像产生的平均灰度值，u表示视频图像的类间方差.当类间方差最大时，能够获取到合理的图像阈值，以此划分视频中的图像表示区域，对产生的字幕进行提取即可.52第2 6 卷西安文理学院自然科学版）至此,在建立动态分类矩阵的基础上，聚类视频区域内的字幕，以角点检测法提取视频字幕特征，基于支持向量机分割字幕特征集合，二值化区域理想阈值自动提取视频字幕，完成基于支持向量机的视频字幕自动提取方法设计2实验测试与分析本文以支持向量机理论为基础，设计了视频字幕的自动提取方法，为验证新方法的实际应用意义，采用实验测试的方法进行论证.选择深度学习提取方法与主要成分分析提取方法作为对照组，从三种提取方法的有效性和准确性两个方面进行比较2.1实验环境和测试数据准备此次设计的视频字幕提取方法，主要为解决视频字幕分类难点问题，旨在保证能够通过新的提取方法，改善视频动态字幕提取过程中的效果.以视频字幕提取的数量为基准，在视频转换镜头下获取全部字幕数量为标准，对提取到的字幕准确率进行测试.以不同类型的视频片段为测试对象,选择四组视频为测试数据,其中包括CCTV的新闻联播和今日说法两组视频，片段时长分别为30 min和45min，另外再选择一组电影片段和综艺片段，视频时长分别为 6 0 min 和 40 min.对待测试的视频片段进行分析，上传至MATLAB测试平台中，直接对视频包含的内容进行分类，以镜头数量和字幕数以及非字幕数为标准，结果见表1.根据表1中内容所示，直接对选择的测试视频进行有效分类，将视频片段中的镜头，按照含有字幕和非字幕的情况进行统计，并将结果保存在MATLAB测试平台中.从分类结果看，此次选择的视频片段符合测试条件，能够比较不同方法在视频动态变化过程中对字幕提取的效果表1视频测试片段中内容分类结果测试视频镜头数量/个字幕数量/个非字幕数量/个CCTV新闻联播567242325CCTV今日说法723341382电影片段1021423598综艺片段895356539为保证实验测试环境的统一，按照如下的配置，对测试环境进行设定：（1）测试平台操作系统：为MicrosoftWindows XPProfessional.(2)操作系统CPU:为AMDProcessor3100+.将上述所有待测试视频以原版模式，保存在测试平台之中，以此连接三组提取方法进行测试，对不同方法下的视频字幕提取的准确性进行比较，2.2比较不同方法下视频字幕的提取结果以选择的试验测试数据为样本，首先进行提取有效性测试，即在不同方法下，对字幕的有效检出数量和误检数量以及漏检数量进行比较.提取过程中保证视频的镜头切换，按照原版格式进行展示，在不同方法下对测试视频的字幕提取结果（图3）.40深度学习提取方法35主要成分分析提取方法国本文方法4803060口深度学习提取方法口深度学习提取方法主要成分分析提取方法主要成分分析提取方法字幕检数量一个50字幕误检数量一个400本文方法本文方法4022401530160102080510000新闻联播今日说法影视片段综艺片段新闻联播今日说法影视片段综艺片段新闻联播今日说法 影视片段综艺片段测试视频片段分类测试视频片段分类测试视频片段分类（a）字幕检出数量对比图（b）字幕误检数量对比图（c）字幕漏检数量对比图图3不同方法下测试视频字幕提取结果专统53林高机的视频字幕自动提取方法第4期由图3知，不同方法下对视频片段中字幕数量、误检数量与漏检数量的提取结果有所不同.分别对三种方法的提取结果进行分析，结果如下：（1)深度学习提取方法：CCTV新闻联播中检出字幕数量为2 50 个，误检数量为30 个，漏检数量为45个；CCTV今日说法检出字幕数量为352 个，误检数量为2 8 个，漏检数量为2 0 个；电影片段检出字幕数量为440 个，误检数量为36 个，漏检数量为58 个；综艺片段检出字幕数量为37 2 个，误检数量为2 9个，漏检数量为16 个（2）主要成分分析提取方法：CCTV新闻联播中检出字幕数量为2 52 个，误检数量为15个；CCTV今日说法检出字幕数量为350 个，误检数量为2 0 个；电影片段检出字幕数量为430 个，误检数量为2 5个；综艺片段检出字幕数量为36 2 个，误检数量为2 0 个，并且漏检数量在2 个以内.（3）本文方法：CCTV新闻联播中检出字幕数量为2 45个，误检数量为4个；CCTV今日说法检出字幕数量为343个，误检数量为3个；电影片段检出字幕数量为42 4个，误检数量为3个；综艺片段检出字幕数量为36 0 个，误检数量为5个，并且漏检数量在1个以内.通过对不同方法下的字幕提取结果统计，能够发现本文方法和主要成分分析提取方法，其字幕漏检数量较低，能够较高程度的完成字幕数量提取，只有深度学习提取方法，会出现大幅度字幕漏检的情况.并且由图3（b）可以看出，本文方法字幕提取的误检数量明显低于对比方法.表明本文方法能够完成全部字幕数量的提取，并且具有较好提取效果.达到了提取方法的设计标准，具有一定的技术水平与实际的应用效果2.3不同方法下视频字幕提取准确率对比分析根据上述结果可知，三组方法的提取结果均含有误检数量，本文方法的误检数量最低.表明每一种视频字幕自动提取方法的设计，都无法保证能够完全地做到百分百正确提取，一般情况下,对字幕的误检数量越少,产生的准确率越高，以正确提取到的字幕数量，和实际视频中含有的字幕总数进行对比，能够得出不同方法下提出的准确率，计算公式为：一C 100%(12)Z式（12)中，z表示测试视频中字幕的提取正确率，正确提取的字幕为实际检出字幕数量与误检字幕数量之差，其中检出字幕数量用x表示，误检字幕数量用c表示，视频中已知的字幕总数用表示，分别将上述数据结果，代人公式（12)计算字幕提取的正确率，结果见表2.表2不同提取方法下视频字幕准确率对比结果测试视频深度学习提取方法/%主要成分分析提取方法/%本文方法/%CCTV新闻联播90.997.999.5CCTV今日说法95.096.799.7电影片段95.595.799.5综艺片段96.396.099.7如表2 示，以本文方法进行视频字幕提取，对四组测试视频的提取准确率，平均为99.6%，两组方法的平均准确率，分别为94.4%和96.5%，本文方法提高了5.2%和3.1%，具有实际应用意义.3结束语本文在分析支持向量机的理论基础上，重新设计了视频字幕的自动提取方法.实验结果表明：在将四组视频短片作为测试对象的前提下，利用本文方法进行字幕提取，没有出现漏检情况，且提取的正确率平均为99.6%.但本人时间有限，在此次研究过程中,对选择的视频测试种类较少，所得结果具有一定偏差性.后续研究中会针对此项不足，选择较多的数据样本作为支撑，为更好的进行视频字幕提取做出理论指导.圆仲【责任编辑上接第2 6 页）责任编辑张蓉珍54第2 6 卷西安文理学院生自然科学版）参考文献1赵洁，郑时，孙涤生，等.基于Electron-Vue的电视台字幕转换软件实现 J.信息与电脑（理论版），2 0 2 2,34（1：150-152.2高文昀，戴胜，涂丽萍，等.基于允余数据消除的不平衡样本加权支持向量机方法研究 J.长江信息通信，2 0 2 2,35(1):46-50.3张小康，钟双莲，黄身钦，等.基于声暴露级向量的海洋工程噪声信号自动提取方法 J.海洋开发与管理，2 0 2 2,39(2):34-38.4孔祥魁.灰色关联分析和支持向量机的运动视频图像分类研究 J.现代电子技术，2 0 2 0,43（18）：12 8-131.5王鲁明，李再炜，赵彦旭，等.无碓道床板间相对位移测量中感兴趣区域自动提取方法J.铁道科学与工程学报，2022,19(2):310-318.6赵建慧.语境顺应视域下短视频字幕隐喻汉英翻译策略研究 J.湖北第二师范学院学报，2 0 2 1,38（11）：10 0-10 4.7张菊玲.基于粒子群算法和支持向量机的大学英语教学效果评价模型 J.微型电脑应用，2 0 2 1,37（10）：53-56.8李晓蕾，刘昊，牛斌斌，等.基于改进二叉树支持向量机的低压台区用户拓扑关系识别 J.电子器件，2 0 2 1,44（4)：959-964.9李春芳，刘永久，王楷翔，等.一种多模态跨媒体检索的融媒体影视系统 J.中国传媒大学学报（自然科学版），2021,28(4):63-71.10】刘凌，司杰文，林起联.支持向量机预测可变参数的永磁同步电机快速终端滑模控制 J.西安交通大学学报，2 0 2 1，55(6):53-60.11】陈文，向罗勇.深度学习关键技术在广电音视频节目制作中的运用探索 J.电声技术,2 0 2 1,45（12)：31-33.12 刘伟鹏，张国钢，刘亚魁，等.基于主成分分析和支持向量机的高压断路器机械状态识别方法 J.高压电器,2 0 2 0，56(9):267-272+278.2 3钱方明.基于NVC的长三角传统制造业升级机理研究 J.科研管理,2 0 13,34（4）：7 4-7 8.【2 4谷方杰，沙秀娟，张文锋.国内价值链对接全球价值链：中国省域出口增加值获取路径分析J.中国软科学，2 0 2 2(3):164-172+182.2 5余丽丽，彭水军.国内价值链分工位置、增加值收益及产业链分解J】.经济科学.2 0 2 1（2）：96-10 7.【2 6 韩博，郑宇轩.提升沿边开发开放在国内国际双循环中的嵌人度、贡献度和价值链地位 J.学术探索，2 0 2 2（1）：10 9-115.27黎峰.增加值视角下的中国国家价值链分工基于改进的区域投人产出模型 J.中国工业经济.2 0 16(3）：52-6 7.28黎峰.中国国内价值链是怎样形成的？J.数量经济技术经济研究.2 0 16,33（9）：7 6-94.29 文刘宝全，段文奇，季建华.权重国际贸易网络的结构分析 J.上海交通大学学报，2 0 0 7（12）：1959-196 3.【30】刘军.社会网络分析导论M.北京：社会科学文献出版社：2 0 0 4.31 子孙天阳，肖皓，孟渤，等.制造业全球价值链网络的拓扑特征及影响因素一基于WWZ方法和社会网络的研究 J.管理评论,2 0 18,30(9)：49-6 0.32 HUMMELS D L,ISHII J,YI K-M.The Nature and Growth of Vertical Specialization in World TradeJ.Journal of Inter-national Economics,2001,54(1):75-96.33谢锐，王振国，陈湘杰.中国省级出口国内增加值及其变动机制研究 J.管理科学学报，2 0 2 1,2 4（1）：8 9-10 8.【34】国家发改委.推动长江经济带高质量发展系列宣传文章塑造创新驱动发展新优势EB/0L.（2 0 2 1-12-2 1）.https:/ 陆江源.地方参与国内国际循环水平测度研究 J.当代经济管理,2 0 2 2,44（5）：8-13.【36】李敬，刘洋.中国国民经济循环：结构与区域网络关系透视 J.经济研究，2 0 2 2,57(2）：2 7-42.