应用于异常事件检测的深度交替方向乘子法网络.pdf
《应用于异常事件检测的深度交替方向乘子法网络.pdf》由会员分享,可在线阅读,更多相关《应用于异常事件检测的深度交替方向乘子法网络.pdf(8页珍藏版)》请在咨信网上搜索。
1、应用于异常事件检测的深度交替方向乘子法网络胡世成杨柳康凯钱骅*(中国科学院上海高等研究院上海201210)(上海科技大学信息科学与技术学院上海201210)(中国科学院大学北京100049)(中国科学院上海微系统与信息技术研究所上海200050)摘要:针对大规模无线传感器网络(WSN)中的事件检测问题(EDP),传统的方法通常依赖先验信息,阻碍了实际应用。该文为EDP提出了一种基于深度学习的算法,称为交替方向乘子法网络(ADMM-Net)。首先,采用低秩稀疏矩阵分解来建模事件的时空相关性。之后,EDP被表述为一个带约束的优化问题并用交替方向乘子法(ADMM)求解。然而,优化算法收敛慢且算法的性
2、能依赖于对先验参数的仔细选择。该文基于深度学习中“展开”的概念,提出了一种用于EDP的深度神经网络ADMM-Net。通过“展开”ADMM算法的方式得到。ADMM-Net具有固定层数,其参数可以通过监督学习训练获得。无需先验信息。相比于传统算法,提出的ADMM-Net收敛快且不需先验信息。人造数据集和真实数据集的仿真结果验证了ADMM-Net的有效性。关键词:事件检测;无线传感器网络;时空相关性;低秩稀疏分解;深度学习;交替方向乘子法网络中图分类号:TN919.2文献标识码:A文章编号:1009-5896(2023)07-2634-08DOI:10.11999/JEIT220744Deep Al
3、ternating Direction Multiplier Method Networkfor Event DetectionHUShichengYANGLiuKANGKaiQIANHua(Shanghai Advanced Research Institute,Chinese Academy of Sciences,Shanghai 201210,China)(School of Information Science and Technology,ShanghaiTech University,Shanghai 201210,China)(University of Chinese Ac
4、ademy of Sciences,Beijing 100049,China)(Shanghai Institute of Microsystem and Information Technology,Chinese Academy of Sciences,Shanghai 200050,China)Abstract:ConsideringtheEventDetectionProblem(EDP)inthelarge-scaleWirelessSensorNetwork(WSN),theconventionalmethodsrelygenerallyonsomepriorinformation
5、,whichobstaclestheactualapplication.Inthispaper,adeeplearning-basedalgorithm,namedasAlternatingDirectionMultiplierMethodNetwork(ADMM-Net),isproposedfortheEDP.Firstly,thelowrankandsparsematrixdecompositionisadoptedtocapturethespatial-temporalcorrelationofevents.Afterthat,theEDPisformulatedasaconstrai
6、nedoptimizationproblemandsolvedbytheAlternatingDirectionMultiplierMethod(ADMM).However,theoptimizationalgorithmsuffersfromlowconvergence.Besides,thealgorithmsperformancereliesheavilyonthecarefulselectionofpriorparameters.Byadoptingtheconceptionof“unfolding”indeeplearningfield,adeeplearningnetworkwhi
7、chisnamedADMM-Net,isproposedfortheEDPinthispaper.TheADMM-NetisobtainedbyunfoldingtheADMMalgorithm.TheADMM-Netiswithfixedlayers,whoseparameterscanbetrainedviasupervisedlearning.Nopriorinformationisrequired.Comparedtotheconventionalmethods,theproposedADMM-Netdoesnotrequireanypriorinformationwhileenjoy
8、ingfastconvergence.Simulationresults收稿日期:2022-06-07;改回日期:2022-10-05;网络出版:2022-10-11*通信作者:钱骅基金项目:国家自然科学基金(61971286),国家重点研究发展计划(2020YFB2205603),上海市科学技术委员会科技创新行动计划(19DZ1204300)FoundationItems:TheNationalNaturalScienceFoundationofChina(61971286),TheNationalKeyResearchandDevelopmentProgramofChina(2020YFB
9、2205603),TheScienceandTechnologyCommissionFoundationofShanghai(19DZ1204300)第45卷第7期电子与信息学报Vol.45No.72023年7月JournalofElectronics&InformationTechnologyJul.2023onbothsynthesisandrealisticdatasetsverifytheeffectivenessoftheproposedADMM-Net.Key words:Eventdetection;WirelessSensorNetworks(WSN);Spatial-temp
10、oralcorrelation;Lowrankandsparsematrixdecomposition;Deeplearning;AlternatingDirectionMultiplierMethodNetwork(ADMM-Net)1 引言在物联网(InternetofThings,IoTs)中,无线传感器网络(WirelessSensorNetwork,WSN)是其重要组成部分1。WSN是由布置在特定区域的传感器组成的。由于传感器成本低,因此可以大规模布置。通过从传感器收集的大量数据,WSN可以实现对环境的实时监测。其中,监测异常事件是WSN的一项重要应用。异常事件,如:工业机器故障、重
11、大自然灾害、军事入侵的发生,会导致巨大的经济和社会损失。而且由于传感器收集到数据存在偏差,事件可能出现误检和漏检,进而造成更严重的后果2。针对事件检测,研究者提出了许多事件检测算法。这些算法可分为两类。第1类是基于阈值的事件检测算法,通过专家知识或深度学习设定阈值,对传感器数据进行判决,判断是否出现事件3。这类算法虽然简便,但不适应变化的环境。第2类方法是基于预测的事件检测算法,主要分为模式匹配算法4和时空相关性算法5。模式匹配算法是通过将传感器读数同存储在数据库中的事件发生模式进行匹配,在事件发生的早期就可以检测出异常事件,但是不能检测出数据库中未包含的事件发生模式。由于事件发生通常在时间和
12、空间上具有相关性6,时空相关性算法采用统计模型对事件发生的时空相关性建模,可适用于更复杂场景下的异常事件检测。时空相关性算法的研究通常对事件发生时传感器数据的时间或空间相关性建模79。如累积和(CUmulativeSUMcontrolchart,CUSUM)算法7利用了节点数据的时间相关性,在每个节点检测异常事件。文献8,9分别基于投票的分布式贝叶斯网络和马尔可夫随机场(MarkovRandomField,MRF)对事件发生时节点数据的空间相关性建模。这些方法只考虑了事件发生是节点数据的时间或空间相关性,带来的检测增益有限。而实际上数据在时间和空间上都存在相关性。文献10采用动态马尔可夫随机场
13、(DynamicMarkovRandomField,DMRF)对事件的时空相关性建模,并联合CUSUM算法和平均场(meanfield)近似算法判决当前节点有无异常事件发生。文献11进一步将事件检测问题扩展到存在高斯噪声污染的情况。近年来,还有研究者根据社交网络中的信任值概念,采用贝叶斯信任模型建模异常事件,并通过贝叶斯滤波检测异常事件12。但是这些算法通常需要传感器的空间位置信息,同时假设传感器数据分布已知。而实际中,WSN中的传感器众多,导致算法复杂度高,难以实际应用。最近有学者利用低秩和稀疏分解(LowRankandSparseMatrixDecomposition,LRaSMD)模型1
14、3描述异常事件的时空相关性。把异常检测问题转化为优化问题迭代求解14。但是算法收敛慢,且需要先验知识来设定更新参数,不适用于实时性要求高的场景。近些年,深度学习领域提出了“展开(unfol-ding)思想,应用于自编码器15。通过将优化算法转化为神经网络,“展开”后的网络可以提升优化算法的收敛性能。这一思想之后被应用到其他领域。比如文献16将交替方向乘子法(AlternatingDirectionMultiplierMethod,ADMM)“展开”为交替方向乘子法网络(AlternatingDirectionMulti-plierMethodNetwork,ADMM-Net),应用于磁共振成像
15、领域。而文献17提出了一种有收敛性保证的“展开”网络,应用于WSN中的缺失数据恢复问题。本文提出一种基于深度学习的事件检测算法ADMM-Net。针对传统的事件检测方法中数据量大、建模复杂的问题,提出采用低秩和稀疏分解模型建模事件的时空相关性。同时针对优化算法收敛慢且参数设计需要先验知识的问题,进一步将ADMM算法“展开”为具有固定层数的神经网络ADMM-Net。通过监督学习的方式训练,提升算法收敛性能。在人造数据集和真实数据集上的仿真验证了ADMM-Net的性能和鲁棒性。本文其余部分结构如下:第2节描述事件检测问题模型和优化问题转化。第3节介绍优化问题的ADMM算法求解和提出的神经网络ADMM
16、-Net。第4节则通过实验仿真的方式验证提出的ADMM-Net的性能。并在第5节总结全文。2 系统建模2.1 时空相关事件检测模型nmm nD考虑一个含 个传感器的WSN。如图1所示,在每个采样时刻,每个传感器采集一个数据(例如:温度、湿度、pH等),这些数据在汇聚中心(FusionCenter,FC)汇聚得到一个数据帧。在连续的时刻内收集的数据表示成的数据矩阵。正常而言,空间上靠近的传感器,其采集到的数据读数相近,且在当前时刻的传感器读数和前一第7期胡世成等:应用于异常事件检测的深度交替方向乘子法网络2635个时刻的数据读数相近,连续变化。因此,传感器数据存在时空相关性,可以用低秩特性来衡量
17、17。而网络中的异常事件相比于正常数据,在时间和空间上稀少且持续时间短。因此表现为时空上稀疏性,可用稀疏特性来衡量13。类比文献13,传感器数据用LRaSMD模型表示为D=A+E+N(1)DAEN其中,是由低秩数据矩阵(对应于正常的传感器数据)和稀疏的异常数据矩阵(非0元素的位置对应于异常事件发生区域)以及观测中引入的高斯扰动组成的。因此,事件检测任务可以构造为基于连续时间内从WSN中获取的传感器数据,利用正常观测数据的低秩特性而异常事件的稀疏特性,估计异常事件的发生区域和时间段。检测WSN中的异常事件问题可以描述为最小化矩阵零范数问题13,表示为minEE0s.t.rank(A)rD=A+E
18、+NNF(2)0rank()Ar F其中,表示矩阵0-范数运算,0范数表示事件区域大小,表示矩阵秩运算,矩阵的秩小于给定值 即要求观测得到的正常数据满足低秩约束,代表矩阵的F-范数(Frobeniusnorm),约束噪声能量,使得数据中的噪声的能量小于。2.2 问题转化Ar A=minm,ni=1i(A)i(A)AiBB=A由于优化问题式(2)非凸17,无法在确定性多项式时间内求解,而且正常传感器数据的秩 通常未知。由于矩阵0-范数和矩阵求秩都不能求导,可将矩阵0-范数放松为可导的矩阵1-范数,即矩阵非0元素绝对值之和,同时将矩阵求秩放松为可导的 矩 阵 核 范 数 运 算,表 示 为。有,其
19、中为矩阵的第 个奇异值。引入辅助变量,使得,问题式(2)转化为minA,E1A+2Es.t.B=AD B EtextrmF(3)12X:=(B,E)|D B EF 其中,和分别是对传感器数据的低秩和稀疏特性的加权约束。定义问题式(3)的可行域,则有1X(B,E)=0,(B,E)X,(B,E)/X(4)为了求解问题式(3),需要构造问题式(3)的增广拉格朗日函数形式,即Lf(A,B,E,)=1A+2E1+,A B+2A B2F+1X(B,E)(5)3 深度展开ADMM-Net检测算法3.1 交替方向乘子法求解k问题式(5)可以通过交替方向乘子法(Alterna-tingDirectionMeth
20、odofMultipliers,ADMM)求解13。其第 次迭代为Ak=argminA1A+2A Bk1F+k1,A Bk1(6)Bk,Ek=argminB,EXE1+2Ak BF+k1,Ak B(7)k=k1+(Ak Bk)(8)kAk其中,子问题式(6)可以采用邻近梯度算法(Pro-ximalGradientDescent,PGD)求解得到正常数据矩阵的第 次更新结果。更新公式为Ak=SVT(Bk11k1,1)(9)SVT(,)其中,表示奇异值阈值运算,定义式为SVT(X,)=Usgn()max|I,0VT(10)X=UVTXU VXIsgn()sgn()|其中,是矩阵的奇异值分解形式,,
21、分别是的左右奇异值向量矩阵,为奇异值矩阵,是单位阵,是符号运算,对中大于0的元素置1,小于0的置1,为按元素相乘运算,是取绝对值运算。求解子问题式(7),可有更新公式为Ek=ST(D Ak1k1,2(1+1k)(11)Bk=k+k(D Ek)+k(Ak+1k1)(12)图1WSN中的数据收集模型2636电子与信息学报第45卷ST(,)其中,是软阈值运算算子,定义为ST(X,)=sgn(X)max|X|I,0(13)k可以通过求解如式(14)的问题获得k=argminx?min2xI,+x|DAk1k1|?2F(14)k=k1 1k,k,1,2k,k,1,2求解过程参考文献18。其中,采用递增方
22、式更新。如,为固定常数。ADMM算法在合理设定参数,且经过多次的迭代后,可以收敛到比较好的结果。但是,ADMM算法收敛慢,需要几十次以上迭代,难以满足事件检测对即时性的要求。另外,参数的设定需要先验知识才能收敛,严重影响事件检测算法的应用。3.2节将提出一种深度学习网络ADMM-Net来解决收敛慢和参数难以设定的问题。3.2 ADMM-Net事件检测算法“展开”算法是将迭代算法转化成具有递归特性且有固定深度的神经网络,迭代算法的每一次迭代运算对应神经网络中的一层,并通过反向传播学习网络参数15。不同于传统递归神经网络,“展开”算法得到的神经网络具有和迭代算法一样的数学特性,解释性更强。“展开”
23、算法得到的神经网络和原迭代算法相比,“展开”的神经网络因为利用深度学习强大的学习和泛化能力,可以得到更快的收敛速度和性能。DAK,EKkPk,Ak,Qk,Ek,Bk,k通过对3.1节提出ADMM事件检测算法“展开”,可得到“展开”后的神经网络ADMM-Net。考虑到迭代算法中各运算的物理意义,ADMM-Net定义了6种算子(神经元)替代迭代算法的运算,其流图形式如图2所示,其输入为观测数据矩阵,输出为事件检测结果。图1的圆圈对应运算输出的变量,圆圈间相连的有向边表示运算间的先后顺序,箭头方向指向下一个变量。其中,第 层包含变量。按照流图方向执行一层算子运算相当于ADMM算法的一次迭代。KDAK
24、EKkk层的ADMM-Net的输入为观测数据矩,输出为估计的正常数据矩阵和异常数据矩阵。ADMM-Net第 层定义了6种算子,分别命名为:低秩重建算子、低秩更新算子、稀疏异常重建算子、异常更新算子、辅助变量更新算子以及拉格朗日乘子更新算子。算子和ADMM算法中运算的对应关系和ADMM-Net的第 层运算如下:k1/kBk1k1AkPk(1)低秩重建算子:定义参数替代,给定辅助变量和拉格朗日乘子,这一算子可以获得对正常数据的初步重建,输出的变量表示为Pk=Bk kk1(15)PkPkAkk1/kAk(2)低秩更新算子:这一算子对输出进行奇异值阈值运算,过滤中的噪声,从而更新低秩矩阵。定义阈值参数
25、代替原始ADMM算法中的,输出的变量为Ak=SVT(Pk,k)(16)Ak低秩重建算子和低秩更新算子等效于式(9),用于联合更新。DAkEkQkk1/k(3)稀疏异常重建算子:这一算子利用观测数据和已更新的正常数据矩阵获得稀疏矩阵的初步重建。定义替代,其运算为Qk=D Ak+kk1(17)Qkk2(1/k+1/k)Ek(4)稀疏更新算子:在中,依然存在噪声,通过和新定义阈值=比较,执行软阈值运算剔除噪声,从而更新Ek=ST(Qk,k)(18)Ek稀疏重建算子和稀疏更新算子的运算可以联合更新,同式(11)。Bkk=k/(k+k)Bk(5)辅助变量更新算子:这一运算更新辅助变量。定义,输出变量的更
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 应用于 异常 事件 检测 深度 交替 方向 法网
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,个别因单元格分列造成显示页码不一将协商解决,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。