基于主动学习的音频与乐谱对齐方法研究.pdf
《基于主动学习的音频与乐谱对齐方法研究.pdf》由会员分享,可在线阅读,更多相关《基于主动学习的音频与乐谱对齐方法研究.pdf(4页珍藏版)》请在咨信网上搜索。
1、收稿日期:作者简介:谢 芳()女北京人副教授硕士数字媒体技术专业带头人 研究方向:计算机科学与技术、计算机教学与研究基金项目:本文系 年度河北省张家口市“十四五”教育科学规划课题“岗课赛证思融通的 建模课程教学模式研究”(课题编号:)的阶段性研究成果基于主动学习的音频与乐谱对齐方法研究谢 芳刘宇轩(.张家口职业技术学院 信息工程与艺术设计学院河北 张家口.)摘 要:歌声与乐谱对齐就是找到歌声的每个音符在乐谱上的相应位置是人声合成、智能语音修饰、在线 等技术的基础 目前传统的动态时间规整算法(算法)通常用来实现歌声与乐谱的对齐 然而该算法存在精度低和计算冗余的缺点因此提出通过主动学习和子序列比对
2、来辅助 算法的思维路径 此算法预计能将比对的准确度提高 结果有望证明主动学习和子序列比对可以提高 算法的准确度关键词:音频与乐谱对齐主动学习 算法中图分类号:文献标识码:文章编号:()引言音频与乐谱对齐作为音乐信息检索的一项多模态的重要任务已经被广泛研究 音频与乐谱对齐是包括自动伴奏和合成音乐表演在内的各种流行应用背后的驱动力其挑战在于识别乐谱上的每个音符何时在相应的音频中播放 目前国内外研发人员多用机器学习方法和动态时间规整算法(算法)展开演奏的音频与乐谱对齐方面的研究 机器学习需要至少几千个数据的训练集 每条数据标注歌曲信息包括音高、起止时间、歌词大概需要一个小时完成训练集大约需要 个小时
3、 相反动态时间规整算法(算法)只计算演唱声和乐谱序列之间的欧氏距离选择距离最小的对齐路径只需要少量的测试数据而无须大量的训练集 因此作者建议使用动态时间规整算法(算法)进行研究但传统的 算法在计算全局最短路径时局部精度不够 一些合唱声部和乐谱需要对齐的环境中对局部歌词和乐谱音符对齐的精度要求很高 因此有必要对传统的 算法进行改进为此笔者提出利用子序列动态时间规整算法(算法)和主动学习法来提高 算法的局部精度 算法的设计和实现 算法是在 算法及其全局比对的基础上在较长的序列中寻找与较短的序列最佳匹配的子序列也就是在乐谱中找到每一行歌词对应的部分后我们对每一行歌词和乐谱对应的部分重新运行 算法最后
4、将各部分的对齐结果连接起来这样可以解决 算法局部精度不足的问题 基于主动学习来检查和验证匹配结果通过计算乐谱中每个音符的理论弹奏时间选择与理论演奏时间偏差较大的演唱部分对这些片段重新运行 算法这将减少对准偏差 经过后续比对和主动学习过程后比对结果其准确率有望提高 在 一文中提出基于分割思想的子序列动态时间规整算法 算法的目标是在较长的序列中找到一个最适合较短序列的子序列 我们目前的需求是解决 算法的局部不准确问题 提出的 算法启发了我们如果首先使用 算法将每一行歌词与乐谱对齐整首歌的对齐就可以转化为歌词的逐行对齐这样就限定了 的计算范围然后在一一对应的范围内局部运行 算法有望有效解决 算法局部
5、不准确的问题.语音数据预处理用来实现音频与乐谱的对齐的 算法需要至少 首带标签的歌唱歌曲及其相应的 文件的数据库 标注人声是一个非常耗时的过程包含以下步骤:首先准备 首没有版权限制的演唱歌曲可以亲自录制自己的歌曲或请朋友录制最终完成 首歌曲的声乐数据库 其次听歌并手动标注歌曲每个音符的起止时间和歌词信息标记结果如下示例演唱音频文件的格式和标注后的乐谱结果是一样的表 标签结果示例音调开始时间结束时间抒情诗.不.过.是.孤.影.照.惊.鸿 .算法系统图首先在音频与乐谱文件中手动标记音高、开始时间、结束时间和歌词信息 将这些信息输入 算法找到乐谱中每一行歌词的对应部分 这些歌词和乐谱的相应部分由 算
6、法运行 最后通过合并每个部分的结果获得全局 比对结果 然后进入主动学习部分 对与理论性能时间差距较大的部分进行分析对这些部分重新运行 算法得到最终结果 如图 图 算法系统图 图 在长序列 中找到短序列 .算法步骤 算法是通过输入一个长序列和一个短序列并找出长序列的所有子序列中最接近短序列的一个 简而言之就是找到 中与 最相似的那段设 ()和 ()是特征空间 上的两个特征序列这里我们假设长度 为远大于长度 此外设:为局部代价测度 得到的代价矩阵由()()给出当 :两个指数 :且 时我们使用(:):()来表示 的子序列全局 距离匹配问题可以公式化为下面的优化任务:在所有可能的 的子序列中找到其一满
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 主动 学习 音频 乐谱 对齐 方法 研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。