基于放置分发阵列的云-边-端通算融合架构.pdf
《基于放置分发阵列的云-边-端通算融合架构.pdf》由会员分享,可在线阅读,更多相关《基于放置分发阵列的云-边-端通算融合架构.pdf(7页珍藏版)》请在咨信网上搜索。
1、第48 卷总第52 3期基于放置分发阵列的云-边-端通算融合架构李寇,闫起发,周正春,唐小虎(西南交通大学信息科学与技术学院,信息编码与传输四川省重点实验室,现代交通通信与传感网络国家级国际联合研究中心,四川成都6 117 56)【摘要】随着6 G的发展,云端、边缘端和终端节点间的协作是当下的研究热点,而MapReduce则是面向大规模数据处理的并行计算模型。将MapReduce与云-边-端架构相结合,提出基于放置分发阵列的云-边-端协同计算和传输设计架构。该架构充分利用云端和边缘端丰富的计算和存储资源,在边缘端和终端部署穴余计算任务,借助多播编码,成倍地减小云-边链路和边-端链路之间的通信负
2、载,从而实现云-边-端之间通信与计算的协同,高效地服务终端的计算需求。【关键词】放置分发阵列;云-边-端架构;MapReducedoi:10.3969/j.issn.1006-1010.20240301-0002中图分类号:TN92文献标志码:A文章编号:10 0 6-10 10(2 0 2 4)0 3-0 0 47-0 7引用格式:李寇,闫起发,周正春,等.基于放置分发阵列的云-边-端通算融合架构.移动通信,2 0 2 4,48(3):47-53.LI Kou,YAN Qifa,ZHOU Zhengchun,et al.Cloud-Edge-Device Communication-Comp
3、utation Integration Architecture Based on PlacementDelivery ArrayJJ.Mobile Communications,2024,48(3):47-53.Cloud-Edge-End Architecture for Integrated Communication and Computing(Information Coding&Transmission Key Lab of Sichuan Province,CSNMT Int.Coop.Res.Centre(MoST),School of Information Science
4、andAbstractKeywords placement delivery array;cloud-edge-end architecture;MapReduce0引言随着物联网技术的发展和应用场景的不断扩展,云-边-端网络已经成为了支撑智能交通、工业互联网、智慧城市等领域发展的重要技术之一。它将云计算、边缘计算和终端设备三者结合起来,从而实现了资源的高效利用和数据的快速处理1-4。MapReduce是一种经典的分布式计算模型,它将计算任务分解为Map和Reduce两个阶段,通收稿日期:2 0 2 4-0 2-18*基金项目:国家自然科学基金项目“融合通信与计算的信息理论研究”(12 141
5、10 8),“多用户安全的分布式存储系统编码缓存关键技术研究”(6 2 10 146 4)OSID:Based on Placement Delivery ArraysLI Kou,YAN Qifa,ZHOU Zhengchun,TANG XiaohuTechnology,Southwest Jiaotong University,Chengdu 611756,China)As 6G technology advances,the collaboration among cloud,edge,and end nodes has become a focal point of currentre
6、search.MapReduce,a parallel computing model tailored for large-scale data processing,is integral to this domain.Thispaper presents an architecture that integrates MapReduce with a cloud-edge-end framework,proposing a design based onplacement delivery arrays for collaborative computing and transmissi
7、on.This architecture capitalizes on the substantialcomputation and storage resources available at the cloud and edge layers.It deploys redundant computing tasks at theedge and end nodes and utilizes multicast coding to significantly reduce the communication load between cloud-edge andedge-end links.
8、This approach facilitates integrated communication and computing across the cloud,edge,and end layers,efficiently addressing the computational demands of end nodes.过多个计算节点的协同工作,实现大规模数据的处理-。在这样的背景下,将MapReduce任务部署在云-边-端系统中,可以充分利用云-边端的资源优势,根据数据的分布情况和计算需求,灵活地分配计算任务到各个计算节点,从而提高任务的执行效率和可靠性。MapReduce将计算任务分
9、解为映射(Map)和归约(Re d u c e)两个阶段,通过多个计算节点的协同工作,实现大规模数据的并行处理。在完成映射任务并得到中间值后,MapReduce需要在不同计算节点间交互中间值,以便进行后续的归约,这个过程被称为数据交换。随着近年来人工智能领域的突飞猛进,数据计算和模型训练与推理等计算密集型业务推动了无线数据流量的巨大增长,47扫描二维码与作者交流移动通信2024年3月第3期第48 卷“6G通感算融合”专题总第52 3期给数据交换带来前所未有的挑战7-8 。针对MapReduce系统的数据交换瓶颈,Li等人在2 0 18 年针对端到端网络下的MapReduce任务提出了CDC(C
10、o d e d D i s t r i b u t i n gComputing,编码分布式计算)方案,本文简称为编码计算,在映射阶段将文件在不同的节点进行结构化备份,为数据交换创造多播机会,成倍地减小了通信负载,得到最优的计算-通信折中曲线,因此多播编码在端到端减小MapReduce系统的通信负载中起到关键性作用9-10 。多播编码最早出现在Maddah-Ali和Niesen提出的编码缓存技术中1-12,通过结构化地在多个接收端部署边信息,可以在广播链路中将不同用户的信息进行叠加发送,从而成倍减小通信带宽。为刻画多播编码技术,Yan等人提出了PDA(Pl a c e me n t D e l
11、 i v e r y A r r a y,放置分发阵列)的概念3。PDA是用于刻画编码多播的数学工具,被推广到多种场景,如具有两层网络的分层缓存网络14-15、端到端网络16-1以及端到端的MapReduce系统18-2 1 等。此外,Pang等人将分层网络与MapReduce系统结合,考虑了云端不能存储任何文件、只能交换数据的特殊情形2 。实际上,业界普遍认为云端和边缘端的存储和计算资源丰富,终端则相对匮乏。本文受分层缓存网络提出的HPDA(H ie r a r c h ic a lPDA,分层放置分发阵列)15 和MapReduce任务框架的启示,基于两个给定的PDA,提出一套在云-边-端
12、网络的不同节点部署数据,以完成终端的多样化计算任务的框架。其中一个PDA描述了边缘层节点的存储和计算数据部署方案,另一个PDA描述了终端节点的数据存储和计算方案。两个PDA共同描述了云端与边缘端的信号编码方案。通过这个架构,任意与云边端网络参数匹配的PDA都可以用来设计编码计算方案,并且各节点计算负载与两层链路的通信负载可以很方便地得出。特别地,本文分析了基于描述Maddah-Ali和Niesen的PDA(即MN-PDA)得到的编码计算方案的计算与通信负载。结果表明,云边链路的通信负载随边缘层和终端层的计算负载增加而降低,而边端链路的通信负载随终端节点的计算负载增加而降低。与无编码的计算方案相
13、比,基于MN-PDA的编码计算方案两层链路均可以成倍地降低。1云-边-端网络计算服务模型考虑如图1所示的云边端架构的计算网络,云端通过无噪广播信道与K,个边缘端节点连接。每个边缘节点ieK,通过无噪广播信道与K个终端连接,记第i个边缘节点的第j个终端节点为终端节点(i,j)=K,K,。云端具有丰富的计算资源和所有数据(当n1时,n=(l.,n)是整数1到n的集合):48移动通信2024年3月第3期W=(wi,W.wn)其中每个文件大小为W比特,即w,eF”,neN。用M和M.)分别表示边缘端节点i和终端节点j所存储文件的集合。云端N个文件K1个边缘节点KiK2个终端节点图1云-边-端架构的计算
14、网络网络为K,K,个终端节点提供计算一个函数库中的函数的计算服务,该函数库有Q个函数,记作:=(o.o)其中每个输出函数:FF(qEQ)将文件库映射成长度为U的比特流:ug=,(w,.ww)e F,qE假设每个输出函数可以分解为:,(w.ww)=-h,(g.,i(w).g.(ww)其中g.m:F称为映射函数,它将文件w,映射为长度为V的中间值Vgn,再由归约函数h,:FNF将中间值Vg.,g.映射为最终输出ug,即:Vg.=8g.(w.)F)各节点通过如下步骤完成用户的计算服务:(1)计算阶段:各节点各自基于本地存储的文件集合计算中间值,即:1)云端计算所有中间值:=(va.n:q 0,eN2
15、)边缘节点i计算:e,=(vg.n:q e0,w,eM)3)终端节点(ij)计算:(.)=(v.n:q 0,w,M.)注意,计算阶段不依赖于终端的计算请求,因此计算任务可以线下提前完成。(2)传输阶段:每个终端节点请求计算一个函数,记终端(i,j)请求的函数索引为d(s)=Q,记矩阵(1)(2)(3)(4)(5)(6)(7)(8)(9)第48 卷总第52 3期李寇,闫起发,周正春,等:基于放置分发阵列的云边端通算融合架构大写字母表示PDA),其中每个符号sES至少出现一次,(20)为请求矩阵。为满足各个终端的计算需求,DK,XK云节点和边缘节点各自发送一个信号:1)云节点通过编码函数:FN9F
16、发送信号:(10)给所有边缘节点,其中1为信号X的长度。2)边缘节点i通过函数x:FFMi09发送信号(IAI表示集合A中元素的个数,若对于信号X,则X表示X中信号长度)Y,=%:(X,e,D)给所有边缘节点i所连接的用户(3)解码阶段:终端节点(i,j)eK,K,用解码函数:(12)解码出自己需要的所有中间值:(13)di并用归约函数合并出最后结果:定义系统的计算和通信负载如下:定义1(计算负载):系统边缘层和终端层的计算负载分别定义为边缘节点和终端节点中处理的最大归一化文件数量,即边缘层计算负载用ri表示:maxMl1=iKN终端层计算负载用r2表示:maxiwM(.)KK,l=N定义2(
17、通信负载):系统云边链路的通信负载定义为云端发送信号的归一化长度,用L表示:NV边端链路的通信负载定义为边缘节点发送的最长的归一化信号长度,用L2表示:maxlL,=NV如果存在一种编码方案,使得边缘层计算负载为r,终端层计算负载为r2,同时云边链路通信负载为Li,边-端链路的通信负载为L2,则称计算-通信数组(r,r2,L,L)为可达的,所有可达的计算通信数组的集合称为可达区域。2基于PDA的云-边-端的通算融合框架2.1方放置分发阵列为解决编码缓存方案文件分包数过大,Yan等人提出了PDA(Placement Delivery Array,放置分发阵列)的概念3定义3(放置分发阵列):对于
18、正整数K,F,Z,S,一个由特殊符号“*”和S个符号(用前S个正整数S表示)组成的FK的阵列A=am,meF,ieK(用加粗正体并且每列有Z个“*”,称为一个(K,F,Z,S)PDA,如果对于任意se0.,S-1,am4=amz=s,则必有:m m,iiz,即位于不同的行和列;a ma=a ml=*,即由行m,m2和列i,iz形成的子矩阵须为如下形式:*s代厂s*或s*L*S注记1:对于任意正整数K和非负整数t(tK),(11)(K)(K-1)(K)文献1 和3 证明了存在一个K,t一Jt+1)PDA,称为MN-PDA。例如 K=5、t=3时,厂*127*1*3*23*4*2*(14)*31*
19、2*3*5*L45*是一个(5,10,6,5)PDA。(15)本文将基于两个列数分别为K,和K,的PDA,构造上述云-边端模型下的编码计算方案,下面通过如图1所示的系统(K,=2,K,=2,N=4,Q=4),,来说明基于 PDA的设计方案。(16)考虑两个(2,2,1,1)MN-PDA,A=am,和B=bp,即:1*A=*11(17)B=*1来设计如图2 所示的编码计算方案。记系统中的K,K,=4个终端根据N=4个文件(wi,W2W,w4)来计算-4个输出函数的中(18)间值分别用黄色圆圈(i.)、蓝色三角形(2.n)、绿色菱形(V3.n)和红色梯形(4,)表示。具体地,可以根据A、B与文件划
20、分和节点对应(图3所示)关系进行设计:(1)文件划分:把N=4个文件划分为F,F,=4子集,记作(本文用圆括号表示集合均匀划分为若干个子集,如g=(9,)表示和,是的子集,且99,=9,9n9,=):W=(SG,1,9j,2,2,S2,2)(23)N每个集合有=1个文件,不妨设9,=(m),9,=(w2),FF2,=wg),92,=(w4小,其中91(2 (g.,1,9,2)对应 A 的第1 行,92(2)(2.,9,2)对应 A的第2 行;而92 1,1(91,9,)对应B的第 1行,92 12(9,2,92,)对应 B的第 2 行。(2)计算阶段:边缘节点1和2 分别对应A的第1列和第2
21、列,边缘节点存储的文件集合为其对应的列中“*”49(19)4*5*5*(21)(22)移动通信2024年3月第3期第48 卷“6G通感算融合”专题11总第52 3期所在的行所对应的文件集合,即:1ai=*表示边缘节点1存储文件9,(2)=W,W2);2)a2.2=*表示边缘节点2 存储文件92(2)=(wg,w4)。终端节点(1,1)和(2,1)对应B的第1列,终端节点(1,2)和(2,2)对应B的第2 列,与边缘节点类似,各终端节点存储的文件为其对应的列中“*”所在行对应的文件集合,即:1)b.=*表示终端节点(1,1)和(2,1)都存储文件92.=(wi,ws);2)b 2,2=*表示终端
22、节点(1,2)和(2,2)都存储文件G2.2=(w2,w4)。云端计算所有文件的中间值(Vgn),边缘端和终端则根据自己存储的文件计算出相应的所有输出函数的中间值,详情如表1所示:表1网络节点对应的中间值网络节点存储文件云端Wi,W2,W,W4边缘节点1Wi,W2边缘节点2W.,W4终端(1,1)/(2,1)Wi,W终端(1,2)/(2,2)W2,W4(3)传输阶段:假设终端节点(1,1),(1,2),(2,1)和(2,2)分别需要计算函数,2,和4,云节点发送的信文件云端号如图2 所示,即(表示按位异或(XOR)运算):X=Vi4 V2,Vs,2?V4.1每个边缘节点分别发送2 个信号:1)
23、边缘节点1发送两个信号V.4?v23,V2?2.,其中信号V,,v 2.1由边缘节点1所计算的中间值直接计算得出,而 V14甲v2,3由 Xv 3,甲V4,得出。2)边缘节点2 发送两个信号V3,2V4.1,V3.4v 4.3,其中信号y3.4V4.3由边缘节点2 所计算的中间值直接计算得出,而v3,甲v4.,由X甲V1.4 V2,得出。由表1可以看到,边缘节点1和2 发送信号中所需的中间值都已分别在本地计算出,因此可以直接编码发送。(4)解码阶段:终端节点(1,1)和(1,2)接收到边缘节点1发送的两个信号14V2.3,V.2 V2.1,由表1可以看出:1)终端节点(1,1)可以由此解出中间
24、值V1.4和V1,2,因计算出的中间值(q=4)为中间值2,3和V2,已由节点(1,1)计算出;V1.n,V2.n,3,n,V4,n2)终端节点(1,2)可以由此解出中间值V2,3和V21,因为中间值1,4和V1,2已由节点(1,2)计算出。Vg.2V4.4同理,终端节点(2,1)和(2,2)收到边缘节点2 发送的两个信号V3,2V4.,V3.4V4.3,两个节点分别可以解码出各自需要的中间值V3,2,V3,4和V4,1,V4.3。结合表1,每个终端节点都成功收集到自己所需要的所有中间值。计算4中间值(24)文件计算边缘节点中间值12边缘节点1文件计算中间值34边缘节点22文件计算13需要终端
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 放置 分发 阵列 端通算 融合 架构
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,个别因单元格分列造成显示页码不一将协商解决,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。