基于深度强化学习的移动边缘计算卸载研究.pdf
《基于深度强化学习的移动边缘计算卸载研究.pdf》由会员分享,可在线阅读,更多相关《基于深度强化学习的移动边缘计算卸载研究.pdf(11页珍藏版)》请在咨信网上搜索。
1、由于边缘服务器的带宽资源和计算能力相对较差,基于此提出了端 边缘 云三层网络架构,并设计了以系统能耗最小为目标的任务卸载和资源分配综合优化模型,该模型明确定义了马尔可夫随机过程的状态空间、动作空间和奖惩函数.采用了双深度Q网络(D o u b l eD QN)和对偶深度Q网络(D u e l i n gD QN)算法进行仿真实验,结果表明:所提出的算法比多种基线算法和原始D QN算法的效果要好.关键词:移动边缘计算;任务卸载;资源分配;系统能耗;深度强化学习中图分类号:T P 文献标识码:A文章编号:X()收稿日期:基金项目:中国博士后科学基金项目(T Z X);江苏省博士后科研资助计划项目(
2、K )作者简介:侯健(),男,安徽滁州人,硕士研究生,主要从事移动边缘计算等研究.通信作者:张燕(),女,河南商丘人,教授,博士,金陵科技学院副校长,主要从事软件工程等研究.R e s e a r c ho nM o b i l eE d g eC o m p u t i n gU n l o a d i n gB a s e do nD e e pR e i n f o r c e m e n tL e a r n i n gHOUJ i a n,Z HANGY a n,XU H u i,Z HUX i a n j u n,X I NGK a i(N a n j i n gN o r m a
3、 lU n i v e r s i t y,N a n j i n g ,C h i n a;J i n l i n gI n s t i t u t eo fT e c h n o l o g y,N a n j i n g ,C h i n a;I n f o r m a t i o nA n a l y s i sE n g i n e e r i n gR e s e a r c hC e n t e ro f J i a n g s uP r o v i n c e,N a n j i n g ,C h i n a;N a n j i n gU n i v e r s i t yo
4、fA e r o n a u t i c sa n dA s t r o n a u t i c s,N a n j i n g ,C h i n a;J i n l i n gH o s p i t a l,N a n j i n g ,C h i n a)A b s t r a c t:D u e t ot h er e l a t i v e l yp o o rb a n d w i d t hr e s o u r c e sa n dc o m p u t i n gc a p a c i t yo fe d g es e r v e r s,a t h r e e l a y e
5、 rn e t w o r ka r c h i t e c t u r eo f e n d e d g e c l o u d i sp r o p o s e d Ac o m p r e h e n s i v eo p t i m i z a t i o nm o d e l f o r t a s ku n l o a d i n ga n dr e s o u r c ea l l o c a t i o n i sd e s i g n e dt om i n i m i z e t h ee n e r g yc o n s u m p t i o no f t h es y
6、 s t e mT h i sm o d e lc l e a r l yd e f i n e st h es t a t es p a c e,a c t i o ns p a c ea n dr e w a r da n dp u n i s h m e n t f u n c t i o no fM a r k o vs t o c h a s t i cp r o c e s s S i m u l a t i o ne x p e r i m e n t sa r ec o n d u c t e du s i n gd o u b l ed e e pQ n e t w o r
7、k(D o u b l eD QN)a n dd u e l i n gd e e pQ n e t w o r k(D u e l i n gD QN)a l g o r i t h m s T h ee x p e r i m e n t a l r e s u l t s s h o wt h a t t h ep r o p o s e da l g o r i t h mp e r f o r m sb e t t e r t h a nv a r i o u sb a s e l i n ea l g o r i t h m sa n dt h eo r i g i n a lD
8、QNa l g o r i t h mK e yw o r d s:m o b i l ee d g ec o m p u t i n g;t a s ku n l o a d i n g;r e s o u r c ea l l o c a t i o n;s y s t e me n e r g yc o n s u m p t i o n;d e e pr e i n f o r c e m e n t l e a r n i n g随着通信技术和物联网技术的迅速发展,智能设备数量呈爆炸式增长趋势,同时,各类新型的网络应用技术(如A R技术、虚拟现实V R技术、实时视频流、人脸识别等)也
9、在不断涌现,这些新型的网络应金陵科技学院学报第 卷用技术对时延和能耗要求较高,而现有的移动设备由于受制于制造成本和工艺,计算能力和电池容量有限,无法为用户提供良好的体验质量(q u a l i t yo fe x p e r i e n c e,Q o E).针对此,欧洲电信标准化协会提出了一种新型的计算范式 移动边缘计算(m o b i l ee d g ec o m p u t i n g,ME C),旨在网络边缘侧靠近用户终端设备的位置部署具有高计算能力和高带宽容量的计算节点或服务器,使移动设备可以将计算密集型任务卸载到距离更近的ME C服务器上进行处理,从而为用户提供低时延和高效的计算
10、服务,节省移动设备(m o b i l ed e v i c e,MD)的能量消耗.ME C服务器的计算任务卸载和资源分配一直是国内外学者关注的研究方向,他们对移动设备任务的高效卸载和服务器的资源合理分配进行了一系列的研究.)最小化时延.计算任务的时延是衡量用户体验的重要标准,文献 整合了云和ME C服务器的正交频分多址(o r t h o g o n a l f r e q u e n c yd i v i s i o nm u l t i p l e a c c e s s,O F DMA)系统,使用了深度强化学习(d e e p r e i n f o r c e m e n t l e
11、 a r n i n g,D R L)方法解决三元整数计算任务卸载和资源优化问题.文献 将任务属性、用户已知轨迹和网络限制同时纳入考虑,并以最小化计算任务时延为目标,提出了一种轻量级启发式算法,以实现快速调度.文献 在用户移动轨迹的未知性前提下,最小化卸载任务的响应时间,并提出了移动设备速率来预测设备移动轨迹的解决方案.文献 探究了在随机任务到达和无线信道时变性下的多用户卸载问题,建立了以时延为目标的强化学习模型,联合优化了本地内容的切分率、传输能量分配以及ME C服务器选择,并分别采用深度Q学习(d e e pQ l e a r n i n g,D Q L)和深度确定性策略梯度(d e e
12、pd e t e r m i n i s t i cp o l i c yg r a d i e n t,D D P G)算法来解决连续状态和优化连续动作空间的相关问题.文献 研究了边缘网络节点中服务器的负载均衡问题,考虑通过软件定义网络(s o f t w a r ed e f i n e dn e t w o r k,S D N)来监视网络数据流,以调节不同区域任务卸载的数据.)最小化能耗.国内外许多学者对ME C服务器的能耗进行了相关探究.文献 研究了单用户场景下ME C服务器和云服务器系统的能耗最小化问题,即利用D Q L算法得到卸载决策,使能耗最小化.文献 研究了一种多用户多ME C
13、服务器系统结构,将卸载决策和资源分配问题描述为马尔可夫决策过程,并提出了基于D D P G的集中式优化算法来最小化系统能耗.文献 联合优化中央处理器频率、传输功率、传输速率及卸载比例,将原先的非凸问题解耦为两个子问题,并采用群迭代优化算法进行求解,使得系统总开销降低.)权衡时延和能耗.越来越多的学者对时延和能耗的权衡展开了研究.文献 针对多终端 多服务器场景下的系统总开销问题,提出了一种基于动态感知 混合人工鱼群算法的卸载策略,采取细粒度的部分卸载方式,在任务数量多的场景下可以显著降低系统总开销.文献 针对多目标卸载决策问题,构建了基于马尔可夫决策过程(M a r k o vd e c i s
14、 i o np r o c e s s,MD P)的卸载模型,该模型的状态空间包括任务队列中的任务数、边缘服务器节点数和无线信道的信噪比,通过MD P模型的值函数最优值获得最优卸载策略.文献 提出了一个基于D R L的分布式计算卸载方案,旨在从能耗和时延上最小化平均成本,通过神经网络的训练和学习得到了有效的卸载策略,从而大大减少了计算开销.文献 以时延和能耗为优化目标,对多用户计算卸载问题进行建模,并将其转换为多用户计算卸载博弈模型,以分布式博弈方式实现有效的计算卸载,但是未考虑服务器的资源有限性,忽略了任务卸载时的排队时延.文献 提出了一种优化的智能算法,它能基于分解的多目标进化算法来权衡时
15、延与能耗.文献 设计了三层卸载模型,考虑了时延和能耗的权衡,使用A c t o r C r i t i c算法对卸载决策进行优化,但此模型并没有考虑服务器的资源受限情况.本文针对前人研究的不足之处进行了以下几个方面的研究:针对三层计算架构提出了基于D R L的任务卸载和资源分配算法;对资源进行优化的同时,还考虑了带宽资源、服务器计算资源以及任务决策等情况;再次优化ME C服务器的任务卸载和资源分配,将ME C服务器的能耗降低到最小,将相关问题转化成为混合整数非线性规划(m i x e d i n t e g e rn o n l i n e a rp r o g r a mm i n g,M
16、I N L P)问题;利用D R L方法求解出最优的卸载策略和资源分配策略.第期侯健,等:基于深度强化学习的移动边缘计算卸载研究 系统模型及问题形式化 网络模型图端 边缘 云移动边缘计算的系统模型如图所示,本文提出了一种多用户多边缘的端边缘云ME C服务器,它是由多个基站(b a s es t a t i o n,B S)和一个云数据中心组成.ME C服务器中有M个基站,表示为M,M,每个基站都部署了一个边缘服务器,就近为用户提供计算所需的资源;个云数据中心表示为Mc,N个用户定义为N,N,用户随机分布在基站的覆盖范围之内,通过无线链路与基站通信,基站与云端通过有线链路相连.将任务定义为一个三
17、元组Si(Di,Ci,m a xi),iN;Di表示任务处理的输入数据(程序运行的代码和输入参数)大小;Ci表示处理任务时所需要的计算资源,如C P U周期数;m a xi表示完成第i个移动设备任务时所能容忍的最大时延.本文考虑的任务不能被划分为更小的子任务去执行,当设备的任务需要被卸载到本地之外的位置进行处理时,处理的结果需要被回传至设备侧,但由于结果的数据量一般远小于输入数据量,因此可以忽略任务的回传时延和能耗.当大量移动设备将任务卸载到同一个边缘服务器节点时,会使得服务器节点的负载过大,造成更大的时延和能耗开销,此种情况下,任务将被边缘服务器发送到云服务器处理以减少系统开销.通信模型假设
18、无线信道遵循瑞利平坦衰落的规则,则移动设备i传输任务到ME C服务器节点j的传输速率可以根据香农定理 得到:Ri,jwi,jl o gpjihi,j(rsi)Nki(pkhk(rsk)()其中,wi表示移动设备i与边缘服务器之间的无线信道总带宽;pji表示移动设备i的传输功率;hi,j表示动设备i与边缘服务器j之间上行链路的信道增益;N表示高斯白噪声的方差;rsi表示移动设备与服务器之间的距离;表示路径衰减系数.O F DMA技术可以减轻服务器间的信号干扰,假设每个MD与服务器在无线信道上的传输功率是相同的,则将链路的上行传输速率简化为:Ri,jwi,jl o gpihi,j(rsi)Nki(
19、pkhk(rsk)()计算模型对于每个移动设备上的任务来说,任务的处理方式主要包括三种,即在本地设备上执行、卸载到附近的某个边缘服务器上执行以及卸载到云服务器上执行.本地计算模型如果设备i选择在本地处理任务,则本地的执行开销包括本地C P U处理任务时所产生的时延和能耗,此时任务卸载决策的本地变量xli,边缘服务器变量yei,j,云服务器处理变量zci.如果将用户移动设备的处理数据能力(即每秒可执行的C P U周期数)表示为fli,则设备会使用本地全部的计算资源去处理任务,并且不同用户的移动设备计算能力并不相同.移动设备i在本地处理任务时花费的时间tli金陵科技学院学报第 卷定义为:tliCi
20、fli()同时,移动设备i在本地完成任务时所消耗的能量Eli定义为:Eli(fli)Ci()其中,表示芯片架构的一个常系数.根据式()和式(),系统中所有设备在本地处理任务时的时延总和与能耗的总和分别为:TlNitlixli()ElNiElixli()边缘卸载模型当任务卸载到边缘服务器时,系统开销包括以下个方面,即上传任务到服务器的时间开销、在服务器上处理数据的时间开销及处理任务时本地设备处于空闲时的时间开销.各个设备卸载各自的任务到同一个边缘服务器上,边缘服务器分配合适的计算资源来处理各个设备的任务,每个边缘服务器的计算资源最大C P U频率定义为Fej,m a x,分配给第i个设备任务的计
21、算资源C P U频率定义为fei,j,因此,分配的计算资源应满足Nifei,jyei,jFej,m a x,此时,卸载决策的变量xli,yei,j,zci.用户设备i通过无线信道将任务数据上传到第j个边缘服务器,上传数据过程中产生的传输时延tei表示为:teiDiRi,j()其中,Ri,j表示移动设备i和边缘服务器j之间的上传速率.相应的传输能耗Eei表示为:Eeiteipi()移动设备i在边缘服务器j上执行任务消耗的时间表示为:tei,jCifei,j()从式()可以看出执行任务的时延与服务器分配的计算资源相关,当服务器分配越多的计算资源给任务时,完成该任务所需的时间越短.同时边缘服务器上相
22、应的执行能耗为:Eei,jCie()其中,e表示边缘服务器每秒C P U周期数的功率.在任务执行期间,设备处于等候状态,相应的空闲等待能耗定义为:Eei,i d l etei,jpw()其中,pw表示在等待状态时每秒的能耗,因此在卸载模式下系统的总时延和总能耗表示为:TeNiMjyei,jteitei,j()()EeNiMjyei,jEeiEei,i d l eEei,j()()云卸载模型由于边缘服务器节点计算能力的限制,服务器无法在可容忍的时延范围内处理所有的设备任务,因此,移动设备上的任务将被发送到云服务器上进行处理.假设云服务器拥有远大于边缘服务器节点的计算能力和容量,且设备i选择将任务
23、卸载到云服务器上,则选择状态最好的信道来将任务上传到云服务器,值得注意的是,此过程忽略了云服务器将处理结果回传到边缘服务器和设备侧所需的时延.考虑到以上因素,定义fcn为云服务器的计算能力,此时卸载决策变量xli,yei,j,zci,整个过程中设备i卸载任务到云服务器的总时延和总能耗表示为:第期侯健,等:基于深度强化学习的移动边缘计算卸载研究TcNizciDiRi,cCifci()EcNiDiCipiCicDiRi,cCifcipw()其中,c表示云服务器的能耗.综合以上各种计算模式下的时延和能耗公式,整个系统中移动设备的总时延和总能耗的开销分别为:Tt o t a lTlTeTc()Et o
24、 t a lElEeEc()问题定义为了减少移动用户设备的能量消耗和保证用户的服务质量需求,本文提出端 边缘 云结构,探究了多个变量对系统能耗的影响及最优化ME C服务器的总能耗.以ME C服务器最优能耗为目标,联合优化卸载决策ixli,yei,j,zci、信道带宽资源i和边缘服务器计算资源fi,j,在满足每个任务的最大容忍时延限制下,将问题Q定义如下:Q:m i ni,i,fi,jEt o t a l()s t C:xlitliMjyei,j(teitei,j)zciDiRi,cCifcim a xi,iN,jMC:Nifei,jyei,jFej,m a x,iN,jMC:Niwi,jWj,
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 深度 强化 学习 移动 边缘 计算 卸载 研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。