视频与音频特征融合生成动作指令组的方法研究.pdf
《视频与音频特征融合生成动作指令组的方法研究.pdf》由会员分享,可在线阅读,更多相关《视频与音频特征融合生成动作指令组的方法研究.pdf(8页珍藏版)》请在咨信网上搜索。
1、第 卷第 期计算机应用与软件 年 月 视频与音频特征融合生成动作指令组的方法研究林大润陈俊洪王思涵钟经谋刘文印(广东工业大学计算机学院广东 广州 )收稿日期:。国家自然科学基金项目(,);广东省引进创新科研团队计划项目();广东省科技创新战略专项资金项目()。林大润,本科生,主研领域:语音识别,计算机视觉。陈俊洪,硕士生。王思涵,硕士生。钟经谋,本科生。刘文印,教授。摘要为了提高人与机器人的语音交互能力,提出一个基于视频特征与音频特征融合的动作三元组分类的神经网络框架,其本质是从音视频中提取高度概括动作的指令组。该框架包含三个模块,分别是视频特征提取网络模块、音频特征提取网络模块、特征融合模块
2、。视频特征提取网络模块使用 网络结构提取视频特征;音频特征提取网络模块使用卷积神经网络以及双向长短期记忆网络提取音频特征;特征融合模块将视频特征和音频特征进行融合并输出动作三元组的分类。通过在制作的动作音视频数据集上的实验证明,所提出的音视频特征融合网络能达到 的准确率,且具有较强的鲁棒性。关键词动作三元组特征融合 卷积神经网络中图分类号 文献标志码 :(,),;,引言近年来随着人工智能技术和智慧城市的快速发展,服务机器人逐渐走入人们的生活中,在餐饮、家居、物流等各行业都得到广泛的应用,其可以辅助人类高效完成一些具有重复性、复杂性、娱乐性等特性的任务。这使得人们对于良好的人机交互体验有着更高要
3、求,但传统机器人控制通常依赖于专门的指向设备和特定的操作流程,这不仅耗费大量的资源,而且对于普通用户特别是特殊人群则具有较高的使用难度。语音技术的出现使得人机交互领域有了极大的发展:只需要直接说出自己的需求,机器人就能完成相应的动作。虽然现有的语音交互技术已经有了很大的进展,但在现实应用场景中,语音识别准确度的提升主要依靠网络的深度以及海量的数据集去支撑的。人们提出了许多已经比较成熟的语音识别的方法:第 期林大润,等:视频与音频特征融合生成动作指令组的方法研究 等 提出了一个 模型并在 数据集上取得了 成果;等 提出了一个在语音识别领域上的 模型用于普通话数据集上。但是这类方法都是将语音的全部
4、内容识别成文本,不仅准确率不高,而且还需要增加一道文本转换成机器人所能接受的指令形式的步骤,效率较低。为了解决以上问题,人们提出将音频和视频的特征相结合的方式提高模型的准确度:宋冠军等 直接级联音视频特征并采用 降维的方法达到特征融合的目的;等 提出使用共享权重和共享记忆的特征融合方法,提高了音频特征和视频特征的“共鸣”度。但这些方法效果一般。为了提高计算精度,本文提出了一个基于视频与音频特征融合网络的动作三元组分类框架。该框架主要包含三个模块,分别为视频特征提取网络、音频特征提取网络和特征融合分类网络。第一个模块利用 视频分类网络来提取视频的特征;第二个模块利用了一维的卷积神经网络和 网络来
5、提取音频的特征;第三个模块将两个特征分别通过全连接层以及归一化后相加,然后导入 分类网络输出动作三元组。与其他语音分类网络相比,本文提出的框架虽然需要视频数据,但不需要转换成中间文本形式。端对端的输出动作指令使得准确率有所突破,并且在数据集上表现出较好的鲁棒性。相关研究 语音关键词检索从语音中提取出动作三元组(动作,主体物体,受体物体)其本质是语音关键词检索()。作为语音识别的一个子领域,其目的是在语音信号中检测指定词语的所有出现位置。随着智能助理、智能音箱等应用的兴起,语音关键词检测越来越受到产业界的重视。早些年前,一些专业领域的人员希望通过专业知识来解决这一问题,提出使用对数似然比以及 的
6、两种方法来获取语音关键词,但是这些方法需要大量的先验知识,无法进行广泛的应用。后来随着深度学习的兴起,人们开始在这个领域使用深度模型,例如隐马尔可夫模型()、深度神经网络()、卷积神经网络()等,取得了不错的效果。基于样例的语音关键词检索()已经成为一个非常值得关注的领域。在这个领域关注的是长语音的关键词识别,由于语音长度变长与语义理解变得复杂,检索的难度也有所上升。文献 提出 ()算法,但在多人语音里不是很理想。借鉴深度学习的成功经验,研究人员提出了基于 、的模型并取得了不错的效果。这些方法不需要研究人员具备太多的语音专业知识也能端对端地完成任务,但准确率仍然没有进一步的提高。等 创新地提出
7、了多模态特征融合的方法检索关键词,取得了很好的效果。多模态的音视频特征融合单模态表示学习负责将信息表示为计算机可以处理的数值向量或者进一步抽象为更高层的特征向量,而多模态表示学习是指通过利用多模态之间的互补性,剔除模态间的冗余性,从而学习到更好的特征表示,这在许多领域上有许多成功的应用。其中最早的应用领域是视听语音识别 ,通过将视频跟音频特征进行融合提高语音的识别效果。第二个重要的多模态应用类别来自多媒体内容索引和检索领域 。多模态领域根据模态的融合方法分为两个研究方向,分别是联合表示()和协同表示()。协同表示负责将多模态中的每个模态分别映射到各自的表示空间,但映射后的向量之间满足一定的相关
8、性约束。例如 等 的方法将音频特征与视频特征分别映射到各自的表示空间上进行检索,是典型的协同表示方法。等 提出的方法都是将视觉模态和听觉模态的信息一起映射到一个统一的多模态向量空间进行概括生成,是典型的联合表示方法。本文应用联合表示的方法,将音视频特征先进行融合并用于动作三元组的分类,提高了准确率。基于多模态融合网络的动作三元组分类我们的目标是从音频和视频中生成可以高度概括技能的动作三元组(动作,主体物体,受体物体),总体网络框架如图 所示。接下来我们将按视频特征提取、音频特征提取和视频特征及音频特征融合分类三个部分进行详细介绍。计算机应用与软件 年图 音视频融合网络框架 视频特征的提取由于动
9、作是在时间与空间两个维度上进行变化的序列,所以我们考虑从时序与空间信息中共同提取动作特征,从而提高动作识别的准确性。对此,我们采用 ()网络 进行特征的提取,该网络具有两个分支,分别用于提取时间特征和空间特征,并且可通过增加空间维度将 卷积核扩展到 卷积核,使得网络可以提取更多的时间特征,具体网络结构如图 所示。图 网络结构可以看到,该模型由一系列的二维卷积层、最大池化层,以及 层组成,其中 层是将 的 加一个时间维度拓展为 ,具体结构如图 所示。本文使用 数据集的预训练参数,将动作指令相关的视频输入到网络后,将网络结构原本的分类层移除,得到维度为(,)的特征向量。图 模块结构 音频特征的提取
10、由于原始语音表示形式不符合人耳的听觉特性,难以抽取有效特征,所以在对音频特征提取之前,我们将原始语音转换成梅尔频率倒谱系数 ()。该方法与基于声道模型的 相比具有更好的鲁棒性,并且更加符合人耳的听觉特性。在得到 维的 特征后,我们将其输入到一维的卷积 神经网络,其具体网络结构如图 所示。图 音频特征提取网络结构我们参考 等 的工作使用了一层的一维卷积层加 的网络结构:将 的音频特征输入到一维卷积层,然后加入最大池化层突出语音中描述动作三元组的部分,去除冗余特征。随后加入双向 层,使其能更加充分地从时序数据中学习。最后再接入全连接层,维度是(,),便得到了音频特征并作为特征融合部分的输入。第 期
11、林大润,等:视频与音频特征融合生成动作指令组的方法研究 特征融合分类特征融合分类网络的目的是将 节得到的视频特征以及 节得到的音频特征相融合后预测出动作三元组。其具体的结构如图 所示。图 特征融合网络可以看出,我们先将视频特征矩阵 经过一个全连接层后转置得到,如式()所示,然后再输入一个全连接层后再进行一次转置,最后输入批归一化层得到 。与此同时,我们将音频特征矩阵 输入进一个全连接层,随后在输入批归一化层得到 。整个过程的目的是将、的尺寸变为(,),并将这两个向量投影至一个相同的空间。()()()()()()随后将这两个尺寸相同的特征矩阵 和 相加得到,如式()所示。()紧接着,我们将 输入
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 视频 音频 特征 融合 生成 动作 指令 方法 研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。