基于单向流模型的自适应张量链式学习算法.pdf
《基于单向流模型的自适应张量链式学习算法.pdf》由会员分享,可在线阅读,更多相关《基于单向流模型的自适应张量链式学习算法.pdf(10页珍藏版)》请在咨信网上搜索。
1、2023 年 8 月 Journal on Communications August 2023 第 44 卷第 8 期 通 信 学 报 Vol.44 No.8基于单向流模型的自适应张量链式学习算法 马宝泽1,2,李国军1,2,邢隆1,2,叶昌荣1,2(1.重庆邮电大学光电工程学院,重庆 400065;2.重庆邮电大学超视距可信信息传输研究所,重庆 400065)摘 要:针对单向流模型中高阶张量在线分解问题,研究了一种自适应张量链式(TT)学习算法。首先,推导出单向流增量仅改变时序 TT 核的维度;然后,引入遗忘因子和正则项构造指数权重最小二乘目标函数;最后,利用块坐标下降学习策略分别估计时序
2、和非时序 TT 核。对所提算法在增量大小、TT 秩、噪声和时变强度等方面分别进行了验证,结果表明,所提算法的平均相对误差和运算时间均小于对比算法,并在视频自适应分析中表现出优于对比算法的张量切片重构能力。关键词:自适应学习算法;张量链式分解;单向流模型;泛在数据流 中图分类号:TN911.6 文献标志码:A DOI:10.11959/j.issn.1000436x.2023154 Adaptive tensor train learning algorithm based on single-aspect streaming model MA Baoze1,2,LI Guojun1,2,XIN
3、G Long1,2,YE Changrong1,2 1.School of Optoelectronic Engineering,Chongqing University of Posts and Telecommunications,Chongqing 400065,China 2.Lab of Beyond LoS Reliable Information Transmission,Chongqing University of Posts and Telecommunications,Chongqing 400065,China Abstract:An adaptive tensor t
4、rain(TT)learning algorithm for the online decomposition problem of high-order tensors in single-aspect streaming model was investigated.Firstly,it was deduced that single-aspect streaming increment only changes the dimension of temporal TT core.Secondly,the forgetting factor and regularization item
5、were introduced to construct the objective function of exponentially weighted least-squares.Finally,the block-coordinate descent learning strategy was used to estimate the temporal and non-temporal TT core tensors respectively.Simulation results demonstrate that the proposed algorithm is validated i
6、n terms of increment size,TT-rank,noise and time-varying intensity,the average relative error and operation time are smaller than that of the comparison algorithms.The tensor slice reconstruction abili-ty is superior than that of the comparison algorithms in the video adaptive analysis.Keywords:adap
7、tive learning algorithm,tensor train decomposition,single-aspect streaming model,ubiquitous data stream 0 引言 随着传感器的广泛应用和物联网的迅猛发展,泛在的实时信号和数据不断产生,并催生了大数据智能、信息流处理、泛在感知等新兴研究热点,推动新生业态的数字、信息技术飞速发展。收稿日期:20230511;修回日期:20230716 通信作者:邢隆, 基金项目:国家重点研发计划基金资助项目(No.2019YFC1511300);国家自然科学基金资助项目(No.62201113,No.U22A2
8、006);重庆市重点研发计划基金资助项目(No.cstc2021ycjh-bgzxm0072);重庆市教委科学技术研究基金资助项目(No.KJQN202300625)Foundation Items:The National Key Research and Development Program of China(No.2019YFC1511300),The National NaturalScience Foundation of China(No.62201113,No.U22A2006),Chongqing Key Research and Development Project(No
9、.cstc2021ycjh-bgzxm0072),The Science and Technology Research Program of Chongqing Municipal Education Commission(No.KJQN202300625)28 通 信 学 报 第 44 卷 在数字经济赋能各行各业的大背景下,人们对高维实时/在线数据流自适应处理的需求处于持续增长状态1。特别是,大量的应用程序在某一维度上随着时间的推移将产生庞大的在线信号,及时有效地分析基于单向流模型的海量实时数据信息,实现信号在线自适应处理成为当前研究的热点2。然而,信号流的数据规模越来越大、传输速度越来越
10、快、潜在成分越来越复杂,这些固有的问题都给实时信号流处理带来了挑战。此外,信息技术的飞速发展使数据形式逐渐趋向高维化,通常需用张量的形式表征3。因此,利用张量分析的相关技术处理实时的信号流数据成为一种潜在研究手段。张量分解技术已经得到了广泛的应用,成为解决高维信息分析处理的有效方法4-5,并成功应用于神经科学6-7、无线通信8-9、社交网络10-11等诸多领域。当使用张量表示信号/数据流时,张量分析技术通常被称为张量跟踪或自适应在线/实时流张量分解。CP(CANDECOMP/PARAFAC)分解12和Tucker分解13作为经典的张量分解方法,均为张量奇异值分解(SVD,singular va
11、lue decomposition)的扩展形式。为了解决CP分解中的秩估计难题和克服Tucker分解中的数据维度灾难缺点,Cichocki 等14-15扩展了 2 种典型的多维张量分析模型,对张量网络进行了全面的研究。其中,张量链式(TT,tensor train)分解3,16表现出处理高阶张量的强大能力,成为多维信号处理和大规模数据分析领域的有效分析手段。然而,传统张量分解方法均属于批处理范畴,并不能对单向流模型下的多维信号流数据进行有效处理。面向多维信号流数据的自适应分解问题,Nion 和 Sidiropoulos17在传统 CP 分解的基础上提出了基于同步对角化和加权最小二乘准则的2种解
12、决方案,为后续自适应张量学习算法的分析研究奠定了理论基础。随后,Mardani 等18提出了一种基于核范数正则化的指数加权最小二乘准则的在线子空间估计方法,通过跟踪低秩子空间揭示了潜在的高阶结构。Zhou 等19提出了一种有效的高阶在线学习算法,可实现具有任意阶数的动态张量 CP 分解,突破了张量阶数对自适应算法的限制。Nguyen 等20针对单向流的三阶张量,提出了基于交替最小二乘法结合牛顿型优化技术的快速自适应 CP 分解算法。Kasai21假设数据位于低秩线性子空间中,提出了基于张量 CP 分解的在线低秩子空间跟踪算法。文献17-21均是在传统 CP 分解的基础上探究的自适应张量分解方法
13、,为克服 CP 分解中的秩估计难题,Liu 等22针对TT分解框架介绍了一种增量TT学习算法用于分解切块随时间递增的张量模型;Wang 等23则研究了能够分解工业物联网张量流的 TT 方法。然而,上述 2 种改进的 TT 分解技术可以归纳为增量式批处理学习方法,缺乏对张量切片数据的自适应处理能力,并且存在跟踪时变张量流数据较敏感的问题。为了解决单向流模型中的高阶张量实时分析问题,同时解决 CP 秩选取难题且具备计算时变切片增量的在线分析能力,本文研究了一种自适应 TT 学习算法。该算法在理论上可以处理任意阶数的单向张量流数据,推导出时变增量对时序 TT 核张量估计及 TT 非时序核张量更新的影
14、响,构造具有遗忘因子和正则项的指数权重最小二乘目标函数,利用块坐标下降(BCD,block coordinate descent)学习策略依次估计出时序 TT核并对非时序 TT 核进行更新,从而实现对切片和切块等增量式实时数据的自适应分析研究。在模拟数据实验中,采用随机生成的四阶张量分别验证了所提算法在增量大小、不同 TT 秩、噪声强度和时变强度等条件下的重构性能,并且利用三阶张量进行了平均相对误差和平均运算时间的对比实验。此外,通过实测视频数据验证了多种算法对人体运动图像/视频实时分析的能力。1 问题描述 1.1 传统 TT 分解模型 在传统 TT 分解模型中,张量可以表示为一系列三阶张量1
15、Nnn多线性乘积的缩并形式16。在不考虑加性噪声的情况下,张量和核张量1Nnn的关系可以表示为 1111223NN(1)其中,1nnnrIrn表示第n个 TT 核张量,1,2,nN,1n表示张量间的 mode-(,1)n缩约积,N表示核张量数,0 Niir表示 TT 秩集合,且满足01Nrr,即111Ir,1NNrIN。TT分解对高阶张量数据的处理具有以下优点:1)给定任意张量,能够找到一系列TT核1Nnn和TT秩满足TT分解的要求;2)相对于CP秩的第 8 期 马宝泽等:基于单向流模型的自适应张量链式学习算法 29 确定难题,TT分解可以稳定有效地估计TT核张量;3)TT分解为高阶张量提供了
16、一种节省内存的表示方式,并且能够克服张量的维度灾难缺点。然而,传统的TT分解属于全量式批处理框架,在分析增量式自适应数据时存在重复计算和效率不高等问题。因此,在传统TT分解算法的基础上开发能够处理在线数据流的自适应张量分解方法具有重要的研究意义。1.2 单向流模型 在经典的在线应用场景中,研究仅一个模态时变的高阶数据流分解问题受到了越来越多的关注,将给定的N阶张量流分解为若干向量17、矩阵18-20、低秩张量22-23的集合是一项具有潜在研究价值的课题。不失一般性,假设流张量仅最后一个维度是时变的,其余维度均固定不变,则可以将流张量表示为11tNNIIIt,其中,tNI为张 量 的 第N个 维
17、 度,用 于 表 征 时 变 增 量,,1,2,1nInN表示前N1个固定维度,该问题模型被称为高阶张量的单向流模型。与之对应的多向流模型可定义为11tttNNIIIt,表示具有不止一维的流数据随时间增加的情况,即高阶张量的时变维度,1,2,tnInN均可表征时变增量。此外,本文将针对单向流模型下实时张量数据的分析方法展开研究,且时序切片或时序切块的定义对于描述单向流模型的张量跟踪问题至关重要,为方便表述可将时序切片和时序切块统称为时序增量。定义 1 时序切片和时序切块(时序增量)。令第t时刻的流张量为11tNNIIIt,则定义11(:,:,)NIIt表示第个时序切片,且1tNI。当11ttN
18、NII时,第t时刻的增式张量为时序切片;当11ttNNII时,第t时刻的增式 张 量 为 时 序 切 块,均 可 记 为t 111ttNNNIIII。因此,流张量t可看作由一系列时序切片1tNI构成,或者由1t和时序切块1tNtNItI构成。不失一般性,将时序切片和时序切块统称为时序增量,即存在1ttNNIIJ,并将时序增量t简记为t。换句话说,流张量t可以通过即将到来的时序增量t附加到之前沿时变维度的第1t 时刻观测张量t上的方式连接得到,即 11tttNttNNIIJ(2)其中,N表示张量沿N阶模态的连接。一般来说,时序增量t可以表示为 ttts(3)其中,t表示时序增量的低秩成分,t表示
19、噪声张量,s表示噪声强度。低秩项t可以用向量、矩阵、核张量等形式表示,能够应用于静态和时变场景。综上所述,单向流张量跟踪问题可形式化表达如下:在第t时刻给定时序增量t和1t的先前估计(核张量或张量因子),则需要及时跟踪1tttN得到新的估计。1.3 自适应 TT 分解模型 在单向流模型中,实时张量t在含噪声环境下的TT分解形式可以表示为 1111223tttttNNs(4)假设TT核11Nnn为静态或变化缓慢,则可根据 式(2)和 式(3)得 出 时 序 低 秩 项1111223ttttNNG,1NrJtNG表示第N个TT核张量对应的时序增量因子矩阵,且tNG在1J 的情况下表示11Nr的向量
20、,故可用tNg表示时序向量。由 式(3)可 知,时 序 增 量t可 改 写 为1111223tttttNNGs。为了增加自适应TT分解模型的时变表征能力,在非时序TT核张量的基础上增加时变项,即 1111111NNNtttkkkkkk。其中,表示时变因子;11Ntkk表示时变项,且与 11Ntkk维度一致。当N=3时,TT张量流分解的示意如图1所示。从图1可以看出,第N个TT核张量1tNNrItN可以由1tN和tNG构成,即1tttNNNG。图 1 TT 张量流分解示意 从理论上分析时序1tttNNNG的推导过程。令111211tttNN表 示 解 析 张 量,30 通 信 学 报 第 44
21、卷 11Ntnn表示在第1t 时刻张量1t对应的TT核集合。根据TT核11Nnn为静态或变化缓慢的三阶张量的假设,可得出1tt,即可认为在1t时刻和t时刻的解析张量是近似相等的。因此,可将第t时刻的张量t表示为 1111111-1tttttNNNttttNNNNNtttNNNGG(5)由图1和式(5)可知,只要估计出时序增量对应的因子矩阵1NrJtNG,就可以得到第t时刻的核张量11tNNrIJtN,而不必重复对111tNNrItN进行计算。当数据流规模比较大时,对tN整体进行估计存在计算复杂度高、存储要求大的缺点。因此,仅对时序增量对应的增量因子矩阵tNG进行估计的策略适用于大规模信号流的场
22、景。该策略不仅降低了数据处理规模,而且分解后的核张量可采用分布式的存储方式。2 算法说明 2.1 构建目标函数 由于在线数据流固有的时变性和非平稳性,传统批处理TT分解方法在计算复杂度和数据存储方面没有优势,故需要研究一种能避免重复计算且有效跟踪的自适应高阶数据流分析方法。在自适应TT分解框架中,核张量的估计是研究重点。不考虑噪声的情况下,估计TT核张量 1Ntnn的广义目标函数可表示为 121111223FargminNtnnttttNN(6)根据式(2)和自适应策略17,20可以将式(6)目标函数改写为指数权重最小二乘的形式18,21,表示为 121111223F1121F1argmin+
23、Ntnntt iiiiiNNiNttkkkG(7)其中,(0,1表示遗忘因子,旨在降低观测数据间距离的影响,并提高在动态环境中的跟踪速度;表示正则化参数,旨在控制相邻的连续时刻对应TT核的时变程度。当1且0时,式(6)和式(7)中的2个目标函数是等价的。2.2 核张量的学习策略 由于待求解的目标函数是一个非凸问题,因此可利用块坐标下降学习策略交替/递归更新核张量。将原目标函数分解为2个子问题,即分别对时序和非时序TT核张量进行求解。对每个子问题求解都需要在迭代时固定一部分参数,只针对一个变量进行优化,其余变量保持不变,然后交替求解,最终收敛得到最优解。因此,基于BCD学习框架,核张量的计算过程
24、可以分为两部分。1)估计时序TT核tN:在已知前1t 时刻的全部TT核11Ntnn情况下,估计第t时刻的时序TT核1tttNNNG,其核心是计算tNG。2)更新非时序TT核 11Ntkk:在给定111Ntkk和tN的情况下,并行更新第t时刻的前1N个TT核。根据1tt可以得出,增量因子矩阵tNG的更新准则为 121FargminrJNNtttNNNGGG(8)在此基础上,除tN外的其余时序TT核张量 11Ntkk的更新准则可以表示为 1121111F1argminNkkttt iitikkkkkki(9)其中,和为虚拟张量,分别定义为 111111211111111211tttkkkittik
25、kkNNNNG(10)此外,核张量更新问题的假设条件为:1)TT核11Nkk在1t和t这2个连续时刻的改变很小,即 11111NNttkkkk;2)TT秩向量0 Niir已知,且为时不变序列,其中01Nrr。2.3 具体步骤 2.3.1 估计时序TT核tN 在给定时序张量t和解析张量1t的情况下,第 8 期 马宝泽等:基于单向流模型的自适应张量链式学习算法 31 tNG可在式(8)的基础上加正则项的方式解决,即 12211FFargmin+rJNNtttNNNNGGGG(11)其中,1211FargminrJNNttNNGG旨在计算第t时刻对应观测与估计的时序切片间最小化残差,0表示正则化经验
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 单向 模型 自适应 张量 链式 学习 算法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。