基于特征点的电影字幕提取.pdf
《基于特征点的电影字幕提取.pdf》由会员分享,可在线阅读,更多相关《基于特征点的电影字幕提取.pdf(8页珍藏版)》请在咨信网上搜索。
1、第卷 第期沈 阳 化 工 大 学 学 报.收稿日期:基金项目:辽宁省教育厅科学研究项目()作者简介:路鑫()男山西晋中人硕士研究生在读主要从事图像处理的研究.通信联系人:杨硕()男吉林通化人讲师博士主要从事图像处理、模式识别的研究.文章编号:()基于特征点的电影字幕提取路 鑫 杨 硕(沈阳化工大学 计算机科学与技术学院 辽宁 沈阳)摘 要:电影字幕作为电影图像的解释文本可以帮助观众更好地理解电影剧情.针对在复杂背景下提取字幕困难的问题提出基于特征点、颜色等多特征融合的电影中英文字幕同时提取算法.该算法首先通过帧间差分算法进行运动目标检测提取电影图像中的字幕帧然后通过运用 特征点检测技术、启发式
2、筛选、形态学处理等方法定位字幕对准确定位的文本区域通过颜色聚类提取字幕文本实现文本分割最后通过 文字识别技术实现对字幕帧文本的识别.实验结果表明:该方法将处理帧数减少到与字幕条数相同将字幕提取的准确率提高到 提高了字幕检测效率验证了多特征融合技术的有效性.关键词:字幕定位 文本提取 颜色聚类 多特征融合:./.中图分类号:文献标识码:随着计算机技术的发展和互联网的普及大量的电影在网络上传播而电影字幕作为电影信息输出的媒介是其不可缺少的一部分.因为字幕中包含着重要的电影内容所以可以通过字幕检索电影.此外标准的电影字幕以中英文双语的形式呈现这也使得英语爱好者可以通过电影中的英文字幕学习英语.所以提
3、取电影中的字幕不仅可以检查字幕内容使编辑更加容易还提高了电影的检索效率更方便了英语爱好者学习英语.获得影片中的字幕文本需要先从视频帧中提取二值文本图像然后使用光学字符识别软件 对其进行识别具体步骤包括字幕帧提取、字幕定位、文本分割、文本识别.如今字符识别技术已经非常成熟但在识别过程中由于电影字幕的背景非常复杂并且 只能识别二值化文本这就给检测和识别带来了很大的困难.所以如何快速准确地定位分割电影字幕仍是一个值得深入研究的课题.为了解决上述问题近年来一些学者提出许多新算法:()基于单特征的文本检测算法.该算法主要用到的特征和技术有边缘、纹理、角点、笔画宽度变换等.如基于边缘的视频文本检测算法该算
4、法在背景复杂度不高的情况下有良好的效果但对于电影字幕复杂的背景会出现字幕边缘周围噪声多的问题单独提取出字幕的边缘非常困难基于纹理的方法判定像素点或像素区域是否为文本区域相较于非文本区域文本区域含有丰富的纹理特征对复杂背景下的电影字幕有很好的识别定位效果但是算法复杂度高计算时间长面对长达数小时的电影视频帧检测速度慢难以实现实时性检测基于颜色的算法字幕文本具有相同的颜色根据文本颜色与背景颜色的差异性可以实现文本的分割但面对文本与背景颜色相似的情况下颜色并不是一个很好的特征背景会被当作文本提取出来对识别结果造成一定的误差基于笔画宽度变换算法该算法具有对文字的高敏感度但面对复杂背景会产生严重的虚警如背
5、景中的 第 期路 鑫等:基于特征点的电影字幕提取 房屋、树叶等都会作为文本候选区域抗干扰能力差.()基于深度学习的算法.作为机器学习深入发展的新领域深度学习大幅提高了图像中字符识别的准确率并且效率有了很大的提高.但深度学习需要选取大量样本进行训练如果测试集与训练集的差别很大图像中文本的识别率将下降很多.()基于多特征融合的算法.通过对各种方法的分析发现单独利用文本的某项特征进行提取会出现不同类型的问题.针对以上各个方法的优缺点该类型算法在各个阶段融合了至少两种特征两种特征互相补充互相影响在一种特征对文本不敏感的情况下另一种特征可以补充文本提取的不足提高了文本的定位效率和文本分割的准确度.本文算
6、法的特点是运用帧间差分算法提取字幕帧后在字幕定位阶段融合了文本的空间特征和边角特征运用了特征点检测算法、形态学处理和启发式规则筛选等技术.在文本分割阶段融合了文本的边角特征和颜色特征运用了基于文本区域特征点的颜色聚类算法.最终通过 识别技术完成字幕识别.区别于单特征字幕提取特征点与颜色特征融合避免了单特征字幕提取算法可能出现的问题.充分运用字幕区域的特征点、聚类特征点及其领域的颜色不但可以节省时间而且提高了颜色聚类的准确性从而可以更加快速准确地提取字幕.算法描述处理具有中英双语的电影字幕图 为该算法的流程图.算法共分为 个部分:字幕帧提取、字幕定位、字幕分割和字幕识别.算法融合的特征和使用的技
7、术如下:()视频对象运动特征:电影由具有连续性特点的视频帧组成如果目标运动则连续的帧和帧之间会有明显的不同运用帧间差分算法可以快速筛选字幕帧()文本的边角特征:字幕的笔画具有特殊的纹理运用基于曲率和纹理特征技术可以检测到丰富的特征点而其他区域相对较少利用特征点检测技术可以检测到字幕区域内密集的特征点()文本的颜色特征:标准字幕的颜色以白色为主且在电影中保持不变因此主要研究白色标准字幕为了让观众看清字幕其颜色亮度很高不会因复杂的背景而使字幕淡化或模糊利用字幕区域的特征点颜色聚类可以提取字幕颜色()文本的空间特征:字幕中字符之间的距离相同且中英文字幕之间按规定距离上下排列标准字幕的中英文字幕都不会
8、超出一行具有明显的空间特征利用字幕特征点区域的高宽比、面积范围、特征像素点占比率等启发式规则可以滤除非文本区域.图 字幕提取流程 沈 阳 化 工 大 学 学 报 年 字幕帧提取由于输入的电影是由数量庞大的视频帧组合而成视频帧中有含字幕的帧和不含字幕的帧如果对电影中的每一帧进行处理将会耗费大量时间所以要先从视频帧中提取含有字幕的帧.采用帧间差分算法与字幕显示特征相结合的方法可以快速提取字幕帧.帧间差分算法是利用电影连续两帧图像之间的像素做差获取运动目标轮廓的方法.当电影视频中的目标出现运动时相邻两帧图像之间会出现较为明显的差别将两帧相减以求得图像对应位置像素值差的绝对值判断其是否大于某一阈值进而
9、提取具有运动特性的字幕候选帧.()()().()其中:()为连续两帧之间的差分图像各像素点的像素值()时为前景()时为背景()和()分别为第 帧和第 帧的图像 为对差分图像进行二值化时选取的阈值.经过帧间差分后的图像如图 和图 所示.图 字幕帧 图 无字幕干扰帧 与图 相比帧间差分算法提取出字幕候选帧的同时还提取了因图像中其他的目标运动而产生的干扰帧(如图 所示)所以需要进一步筛选字幕候选帧.分析字幕帧发现有如下特点:()为了满足人眼在有限的时间里识别电影字幕同一内容的字幕会出现在连续的视频帧中持续 且位置固定处于视频帧下方的/处()电影中字幕的颜色、亮度、形状、字体都是统一的但电影图像在不断
10、变化即字幕背景复杂多变 ()为了能让人眼观测到字幕中文字符高度通常不小于 像素英文字符高度通常不小于 像素.基于以上特点可知字幕的出现和消失可引起该区域像素的大范围变化所以对经过帧间差分算法提取的字幕候选帧可只检测候选帧的固定区域.具体做法为:将所有字幕候选帧的大小归一化为 分别删除距左右边缘个像素点的像素列删除距上边缘 个像素点的像素行删除距下边缘 个像素点的像素行.其中:代表字幕候选帧的宽 代表字幕候选帧的高.由于一般的字幕笔画都比较多所以如果字幕出现和消失时其字幕区域的像素变化会很集中当密度超过一定阈值时判定此区域含有字幕.用式()计算固定区域像素密度:()/().()其中:/()表示固
11、定区域像素为 的密度 表示动态密度阈值.经过反复试验为避免过多干扰点影响字幕帧提取取值为该固定区域像素级为 的像素点的总和并乘以固定区域密度如果大于 说明此区域为有字幕区域否则为无字幕区域删除当前字幕候选帧.字幕定位 特征点检测在字幕帧中字幕具有比较稳定的边缘和纹 第 期路 鑫等:基于特征点的电影字幕提取 理特征可以运用特征点检测算法定位字幕.特征点检测算法分为两类:()角点检测如 角点检测、角点检测、()等()斑点检测如尺度不变特征转换()加速稳健特征()高斯差分算子()独立、可靠的二进制基础特征()等.本文运用支持 方向和 旋转不变性()算法检测字幕帧中的特征点.特征点检测是一种快速特征点
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 特征 电影 字幕 提取
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。