基于深度强化学习的移动网络边缘缓存策略_杜雨.pdf

2023.4电脑编程技巧与维护1概述近年来，随着智能设备逐渐进入人们的生活，各种新兴技术层出不穷，移动通信流量也出现爆炸式增长1。面对数量庞大的服务请求，传统的云服务架构已经无法全面满足大规模存储和计算的低时延、高带宽、低能耗的需求。在此背景下，如何继续为用户提供高速率、低时延、低能耗的服务成为了移动运营商需要解决的问题。MEC是一种在传统集中式云服务架构下改进的分布式计算架构。通过在移动网络边缘部署基站和边缘服务器，使服务资源向用户靠拢，就近为用户提供所需服务。与传统的云计算相比，MEC在更靠近用户的地方对用户频繁请求的内容进行缓存，极大地减少回程流量和设备能耗，降低了服务响应时长。目前，大量的学者对移动边缘缓存做出研究。文献2对边缘缓存技术进行详细的论述，对该技术存在的潜力进行探讨。文献3选择将不同缓存更新和替换算法的网络能耗问题作为研究对象，提出了一种基于预测的主动缓存算法。结合实验进行对比分析，该算法以增加系统的传输能耗为代价提高了边缘节点的缓存命中率。文献4考虑利用基于随机几何的概率缓存来提高回程链路的卸载率，设计了一种改进的缓存概率转移算法来获得闭环解。基于上述研究，为了应对不断变化的内容请求，从基站的缓存替换和对用户请求的响应处理方面进行思考，通过对宏基站（MBS）能耗、微基站（SBS）能耗和用户能耗3个方面进行分析，将减少边缘缓存中的系统能耗作为目标，提出了一种基于DQN的缓存算法。2系统模型2.1系统架构MBS和SBS之间通过有线回程链路进行通信，SBS和终端用户之间通过无线链路进行通信。在一个MBS通信连接范围内有多个SBS，每个SBS均配备服务器，并可以为其覆盖范围内的多个随机分布的终端用户提供网络服务。当用户发送内容请求时，如果该SBS的本地缓存中包含用户请求的内容，则直接通过无线链路向用户发送内容；如果该SBS无法满足用户的请求，则通过回程链路在MBS处获取用户请求的内容后，再将该内容发给相应的用户。采用集合N=1,2,3,n,N表示全部的SBS集合，每个SBS均部署一个存储容量为W的服务器，用于存储终端用户所需内容；用集合U=1,2,3,u,U表示全部的终端用户；用集合F=1,2,3,f,F表示MBS通信范围内提供的所有内容集合。所有用户都可以请求访问该集合中的任意内容。另外，将系统运行时间划分为离散化的时间间隙，即T=0,1,2,3,t,T，内容被终端用户访问请求的概率服从Zipf分布5。2.2通信模型令pn为第n个SBS的无线传输功率；hu,n为第u个用户和第n个SBS之间的信道增益。考虑单位时间间隙时长较短，第u个用户发生位置移动的概率较小，将t时刻第u个用户和第n个SBS间的信道增益设为常量。根据香农公式6，第n个SBS和第u个用户在t时刻的传输速率定义如公式（1）所示：（1）其中，B为信道带宽；2为高斯白噪声功率；I为信道的随机噪声。因此，在t时刻第n个SBS向第u个用户传输第f作者简介：杜雨（1997），女，硕士，研究方向为深度强化学习、移动边缘缓存。基于深度强化学习的移动网络边缘缓存策略杜雨（三峡大学计算机与信息学院，湖北 宜昌443002）摘要：为了应对回程链路的负载过重、用户进行内容请求时能耗过高的问题，提出了一种基于深度强化学习的边缘缓存策略。从移动边缘计算（MEC）异构体系结构出发，通过对系统能耗进行分析，将系统中的能耗问题转换成混合整数非线性规划（MINLP）问题，建立了基于马尔科夫决策过程的缓存处理机制，并提出了一种基于 DQN 的边缘缓存算法。通过实验仿真证明了所提出的算法可以有效降低能耗。关键词：移动边缘网络；缓存策略；能耗；深度强化学习74DOI:10.16184/prg.2023.04.0242023.4电脑编程技巧与维护个内容所需要的传输时间如公式（2）所示；（2）其中，sf为第f个内容的数据量大小。此外，假设传输时间不得超过第u个用户的最大容忍时间Tumax。2.3能耗模型2.3.1MBS 能耗MBS能耗开销主要有两个方面：（1）当用户请求的第f个内容不在本地SBS时，由SBS通过核心链路向MBS请求用户所需内容，产生MBS的传输能耗；（2）缓存替换所产生的能耗开销。由于各SBS配备的服务器存储容量有限，当用户请求的第f个内容不在本地SBS时，该SBS需要对第f个内容的流行度进行计算，并判断是否要更新本地流行内容。若第f个内容的流行度大于缓存区中的最小流行度，则需将缓存区中流行度最小的内容替换成用户请求的第f个内容，此时MBS将产生缓存替换能耗。用xfu,n（t）表示在t时刻第u个用户请求的第f个内容是由MBS进行响应处理还是由第n个SBS进行处理。当xfu,n（t）=1时，表示第u个用户请求的第f个内容在第n个SBS中，由第n个SBS直接将该内容发送给用户；反之，xfu,n（t）=0。因此，在t时刻第u个用户请求的第f个内容不在本地SBS时，MBS的传输能耗如公式（3）所示：（3）其中，Pcloud为MBS每传输1Bit需要消耗的能量。用ynf（t）表示在t时刻放入第n个SBS的流行内容。ynf（t）=1表示在t时刻将第f个内容缓存在第n个SBS中；反之，ynf（t）=0。在t时刻，需要对第n个SBS内的流行内容进行更新时，MBS的内容替换能耗如公式（4）所示：（4）因此，在t时刻该边缘缓存策略中，MBS的能耗开销如公式（5）所示：（5）2.3.2SBS 能耗当用户请求的内容没有缓存在本地SBS时，本地SBS需在MBS处下载用户请求的内容，并将该内容发送给用户。当用户请求的内容缓存在本地SBS时，由本地SBS直接为用户传送其所需内容。由此可得，在t时刻第n个SBS将第f个内容发送给第u个用户所消耗的能量如公式（6）所示：（6）其中，Pedge为第n个SBS的无线传输功率。2.3.3 用户能耗从用户发送内容请求接受内容的这一过程，用户端也存在一个能耗开销，文中忽略用户发送请求所消耗的能量。在t时刻第u个用户请求第f个内容所消耗的能量如公式（7）所示：（7）其中，k为不用环境下的路径损耗因子；Su,n为第u个用户到第n个SBS之间的距离。2.3.4 系统总能耗在t时刻，进行边缘缓存时系统的能耗开销如公式（8）所示：（8）3问题建模与求解3.1问题建模为了减缓网络拥塞、降低用户的请求时延、提升用户的使用体验，利用移动边缘缓存技术，对无线数据流量进行“分流”和“卸载”。在满足以下约束条件的情况下，最小化系统缓存能耗。问题的形式化表达如公式（9）所示：（9）其中，C1为在t时刻用户请求第f个内容只能由通过MBS或本地SBS进行响 应；C2为 在t时 刻 放入第n个SBS的流行内容；C3为容量约束，在t时刻放入第n个SBS的内容总大小不能超过其服务器的最大容量限制；C4为内容请求延迟约束，即用户请求内容所消耗的总时间需小于用户的最大容忍时延；C5为在任意t时刻，每个用户只能请求某个流行内容。752023.4电脑编程技巧与维护3.2马尔科夫决策过程强化学习的思想来源于动物学习，其原理是智能体感知环境状态，并通过和环境互动获得反馈，进而向目标策略不断靠拢。典型的强化学习过程通常表现为智能体重复执行以下环节：观测环境状态、根据环境状态采取动作决策、获得奖惩反馈、根据反馈进行改进学习。在研究时，常把强化学习过程建模为马尔科夫决策过程（MDP）进行问题求解，其状态空间、动作空间和奖励函数的详细定义如下。3.2.1 状态空间st为在t时刻系统模型的环境状态。对于该系统来说，每个时间间隙发生改变的状态变量包括用户的请求状态ruf（t）和SBS中的内容缓存状态cnf（t），如公式（10）所示：（10）3.2.2 动作空间at为在t时刻SBS所执行的动作。对该系统来说，影响系统能耗的动作包括对用户请求的内容进行响应处理xfu,n（t）和对SBS中缓存的内容进行替换ynf（t）。t时刻智能体的动作如公式（11）所示：（11）3.2.3 奖励函数奖励函数r（st,at）的设置代表着系统的优化方向，设置恰当的奖励函数可以有效地引导智能体选择合理的策略。在t时刻智能体处于状态st时执行动作at，其状态变为st+1。此时环境会反馈一个奖赏值评判智能体采取的动作，进而对智能体的学习过程进行监督指导。优化目标是在满足每个用户容忍时延等约束条件下最小化用户内容请求系统能耗。因此，将每次动作选择后对智能体的奖励设置为负指数相关，动作执行动作后产生的系统能耗最小，获得的奖励值最高。奖励函数可定义为如公式（12）所示：r（st,at）=e-Eall（t）（12）3.3基于 DQN 的缓存策略DQN算法是一种将神经网络和Q-learning算法相结合的深度强化学习算法，它利用神经网络代替Q值表实现状态、动作对应的Q值估算，从而更好地解决复杂空间的相关问题。此外，可以在一定程度上解决非线性函数近似表示值函数出现不稳定的问题。使用的神经网络为多层前馈神经网络，各神经元分层排列，相邻两层的神经元之间全连接，通过反向传播调整参数。其中，以SBS的状态作为输入，所有可能的动作对应的Q值作为输出。中间包含两层隐藏层，使用ReLU函数作为激活函数。在DQN算法中，用表示DQN的参数，用Q（st）表示在DQN上输入状态st后得到的输出，则有Q（st）=UatAQ（st,at）。对于MDP状态序列（st,at,r（st,at）,st+1）的目标Q值定义如公式（13）所示：（13）其中，为目标Q网络的参数。在DQN算法中，包含两个结构一样的神经网络，分别作为主网络和目标Q网络。在初始化时，两个网络的参数采用相同的值。在后续的训练中，每次迭代都对主网络的参数进行更新，而目标Q网络的参数则在一定的训练次数后设置=。通过设置目标Q网络及参数延时更新，降低目标Q值和估计Q值之间的关联性，保证主网络的稳定收敛。在DQN中网络参数的更新通过最小化损失函数来实现，损失函数的计算如公式（14）所示：L=y（st,at）-Q（st,at）2（14）4实验结果与分析4.1实验设置在仿真实验中，设置一个MBS的覆盖范围内有3个SBS。其中，MBS的传输功率设置为15W。当其进行传输时，每传输1Bit需要消耗的能量Pcloud=510-8（J/s/Bit）。每个SBS的传输功率Pedge=4W，配备的服务器存储容量大小是100MB。用户和SBS间的信道增益hu,n=127+30log10（Su,n)，其中，Su,n是第u个用户到第n个SBS之间的距离。内容集合F中总共设置200个流行内容。每个内容的数据量大小取5,10之间均匀分布的随机值。每个用户的最大容忍时延Tumax在13s进行随机取值。另外，设置学习率=0.1，折扣系数=0.9。为了对所提出算法的性能进行有效的评估，引入了最近最少使用（LRU）、最不经常使用（LFU）和先入先出队列（FIFO）方法进行相关的实验及对比。4.2实验结果不同内容流行度分布下的系统能耗对比如图1所示。可以看出，随着内容流行度偏态系数的不断增加，系统的总能耗不断降低。其中，基于DQN策略的系统能耗最低，FIFO系统的能耗最高。这是因为SBS的缓存命中率受内容流行度指数影响，流行度越大的内容，受用户欢迎的概率越高，这些热门内容有更高的概率被SBS缓存。当偏态系数增大时，流行度越高的内容在所762023.4电脑编程技巧与维护有内容请求中的占比也随之增加。在FIFO替换算法中，SBS缓存内容的替换只和内容存储的先后顺序有关，与内容流行度无关。偏态系数增大时，随着时间的增加，流行度高的内容被替换的概率增加，系统的总能耗也逐渐增加。在总流行内容数量不同的情况下，绘制内容缓存系统的能耗大小曲线。由图2可知，随着总流行内容数量的增加，系统的总能耗也随之增长，这是因为伴随着系统中流行内容数量增大，用户可进行选择的内容也在增多。在SBS缓存容量相同时，同样的容量要对更多的内容进行存储，导致缓存命中率降低。用户进行内容申请时，过多的流行内容数会导致SBS进行频繁的内容更换，进而增加系统总能耗。实验结果表明，基于DQN的边缘缓存算法具有优异的性能，可以有效地降低系统的能耗。5结语为了应对回程链路的负载过重、系统能耗过高的问题，提出了一种基于DQN的边缘缓存算法。从MEC异构体系结构出发，考虑基站缓存大小的约束，并在没有任何关于内容流行度分布先验知识的情况下，最小化移动网络系统的能量消耗。将系统能耗转换成MINLP问题，针对缓存内容放置问题建立MDP模型，提出了一种基于DQN的边缘缓存算法。通过实验仿真证明，算法在降低系统能耗方面具有良好的性能。参考文献1ZHOU Z,CHEN X,LI E,et al.Edge intelligence:Paving the last mile of artificial intelligence with edgecomputing J.Proceedings of the IEEE,2019,107(8):1738-1762.2EROL-KANTARCI M,SUKHMANI S.Caching andcomputing at the edge for mobile augmented realityand virtual reality(AR/VR)in 5G J.Ad hoc net-works,2018:169-177.3YAN M,CHAN C A,Li W,et al.Assessing the ener-gy consumption of proactive mobile edge caching inwireless networks J.IEEE access,2019(7):104394-104404.4ZHANG S,LIU J.Optimal probabilistic caching in het-erogeneous IoT networks J.IEEE internet of thingsjournal,2020,7(4):3404-3414.5WANG X,LI R,WANG C,et al.Attention-weightedfederated deep reinforcement learning for device-to-deviceassistedheterogeneouscollaborativeedgecaching J.IEEE journal on selected areas in com-munications,2020,39(1):154-169.6CHEN L,XU J,REN S,et al.Spatio-temporal edgeservice placement:A bandit learning approach J.IEEE transactions on wireless communications,2018,17(12):8388-8401.图1不同内容流行度分布下系统能耗对比图2总流行内容数对系统能耗的影响系统能耗7.97.87.77.67.57.4内容流行度FIFOLRUDQNLFU0.20.30.40.50.60.70.8总流行内容数1001502002503003504004505009.08.58.07.57.0FIFOLRUDQNLFU系统能耗77