面向深度学习训练的异构任务调度研究.pdf
《面向深度学习训练的异构任务调度研究.pdf》由会员分享,可在线阅读,更多相关《面向深度学习训练的异构任务调度研究.pdf(5页珍藏版)》请在咨信网上搜索。
1、第 卷第 期 年 月 西安文理学院学报(自然科学版)()文章编号:()面向深度学习训练的异构任务调度研究徐 荣魏 莉(安徽开放大学 信息与建筑工程学院合肥)摘 要:针对异构深度学习训练中任务调度效率低下的问题提出了一种计算集群训练任务进度利润最大化的模型该模型可以动态分配集群中多任务的计算单元数量.对每个模型进行预训练以获得它们的进度曲线并为每个模型建立关于处理速度的资源模型建立了进度增量最大化模型设计了贪婪算法用于分配集群中的资源.实验结果表明本调度算法能减少任务完成时间.关键词:深度学习任务调度计算集群中图分类号:文献标志码:():.:现如今深度学习已经广泛应用在多个领域并取得重大突破.而
2、随着任务复杂性的增加数据和模型规模也变得日益庞大.然而训练深度学习模型是一项耗时的任务这主要是由于大量数据和不断增长的深度学习模型规模.横向扩展和加速深度学习训练的最常见方法是数据并行性.但是由于通信开销并行训练的性能通常远非线性加速.本文提出了计算集群训练任务进度利润最大化的模型设收稿日期:基金项 目:安 徽 省 高 校 自 然 科 学 研 究 重 点 项 目()安 徽 省 高 校 自 然 科 学 研 究 重 点 项 目()安徽开放大学校级科研课题()作者简介:徐 荣()女安徽宿松人安徽开放大学信息与建筑工程学院副教授硕士主要从事人工智能传感器及测控技术研究魏 莉()女河南周口人安徽开放大学
3、信息与建筑工程学院讲师硕士主要从事电工电子技术图像处理研究.计了贪婪算法用于分配集群中的资源降低深度学习训练任务的完成时间.调度算法设计.进度模型拟合随着迭代步数的增加模型的损失值下降至预先设定的阈值.深度学习训练的损失 可以用于刻画训练进度.随机梯度下降得到的 值与迭代步数 之间存在(/)的关系可以创建模型来拟合任务的 曲线如式()所示:()其中 表示的是任务训练过程中的损失值三个系数、均为非负值.拟合过程如下:在任务正式训练之前先进行几轮热身训练每 个迭代收集一次()其中是 次迭代中的损失平均值.频繁的()收集有助于对进度的不断修正从而拟合更准确的进度.在训练过程中即使是输入的训练集相同、
4、大小设置也相同由于每个模型的自身的参数量不同以及网络设计中涉及到的操作不同即便是相同的 对任务的处理速度也会有差别.但对于同一个任务的处理速度一般会与 的数目呈线性增长(在忽略通讯花销的情况下).动态分配 数目的优化算法对于一个深度学习任务来说若给定 数目不变则单位时间内可以完成的迭代步数一定则 关于迭代步数的函数等价于 关于时间的函数可以通过改变不同时间段上的 数目来影响任务的处理速度进而影响任务整体的完成速度.观察式()可知随着迭代步数的增加损失值关于迭代步数的下降速度是逐渐减小的即当迭代步数增加到一定程度时在这之后的迭代步数对模型收敛影响的程度较小.对收敛情况起到最大影响的往往是前期的迭
5、代步数换言之相同的迭代步数在前期可以比后期带来更大的进度收益.将任务训练过程中产生的损失值变化程度定义为任务进度收益.最大化进度收益模型设计一般的任务调度常常使用最短任务优先、最短剩余时间任务优先但是这时集群中如果有很多较小的任务来临时较大的任务极易被拥塞在队列中.基于上述观察提出最大化当前集群下任务的进度收益模型来实现 资源对集群任务的动态分配.在先来先服务的基础上 的分配只与集群中能够获得的进度收益有关先来的大任务不会被后来的小任务阻塞在队列中而且这也能一定程度上解决后来的小任务被先来的大任务阻塞在队列中的情况.对于前期到来的大任务根据集群状况分配了一定数目的计算资源而由于任务进展到后期随
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 面向 深度 学习 训练 任务 调度 研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。