基于GRU-VAE的无监督航迹异常检测方法.pdf
《基于GRU-VAE的无监督航迹异常检测方法.pdf》由会员分享,可在线阅读,更多相关《基于GRU-VAE的无监督航迹异常检测方法.pdf(14页珍藏版)》请在咨信网上搜索。
1、第 卷 第 期 年 月指挥控制与仿真 文章编号:()基于 的无监督航迹异常检测方法李 磊,张 静,欧阳齐铖,周明康(中国人民解放军战略支援部队信息工程大学,河南 郑州;中国通信建设第四工程局有限公司,河南 郑州)摘 要:针对海量无行为模式标签航迹数据的目标行为异常检测问题,提出一种基于门控循环单元的变分自编码器模型(,)无监督航迹异常检测方法。该方法通过检测航迹异常发现目标的行为异常,分为模型训练阶段和异常检测阶段两步实施:在模型训练阶段,构建了以 和 为主要结构元素的基于门控循环单元的变分自编码器模型,利用无异常信息标签的历史航迹数据对 模型进行训练,根据训练集的航迹点重构损失分布情况,采用
2、正态分布法或百分位数法划定置信区间为航迹点重构损失门限;在异常检测阶段,该模型对实时航迹数据集进行检测,将重构损失超出航迹点重构损失门限的航迹点视为异常航迹点,当航迹序列中的异常航迹点占比超出占比阈值时,判定为异常航迹序列,结合数据异常情况向一线人员发送目标的异常行为信息。数据实验结果表明,模型最高 分数达 ,查全率达。本方法对异常航迹的检测具有高灵敏度和低漏警率,可满足战场态势认知需求。关键词:数据挖掘;航迹数据;异常检测;无监督学习中图分类号:文献标志码:,(,;,):,:,(),:;收稿日期:修回日期:作者简介:李磊(),男,硕士研究生,助理工程师,研究方向为智能信息处理。张 静(),女
3、,博士,副教授。当前,外军舰机对我周边军事侦察活动日渐频繁,国家海上安全形势不容乐观,对海上高价值目标的技术侦察指挥控制是决定战争胜负的关键。如图 所示,在基于 环的战场侦察指挥控制链中,战场态势认知至关重要。战场态势认知是支撑指挥决策的重要依据。只有基于对战场当前“态”的全面理解,才能实现对战场未图 侦察指挥控制决策链 李 磊,等:基于 的无监督航迹异常检测方法第 卷来“势”的准确预测与推演,从而提升战场态势理解效率。航迹异常检测技术是海上态势情报获取的关键技术之一。充分挖掘多种渠道获取的航迹数据,掌握目标时空特征和运动模式,通过检测异常航迹,提前发现目标异常行为,可为高效侦察指挥决策提供有
4、力支撑。通过实地调研发现,当前,在基于航迹特征的舰船异常行为检测业务上存在以下两点困难:)海量航迹数据大多无法准确标注其行为模式信息,导致正常航迹数据和异常航迹数据样本量极不均衡,监督学习法在此数据条件下极易出现过拟合现象,模型性能受到严重制约;)战场态势瞬息万变,伴随各类舰船目标行为模式的不断变化,新的异常航迹类型不断出现,过去标注的异常航迹难以表征新出现的异常航迹类型。因此,针对海量无行为模式标签航迹数据的目标行为异常检测问题,本文方法的思路是对历史航迹数据集进行深入挖掘,建立舰船目标正常运动规律模型,通过比较实时航迹数据和模型输出的偏差发现异常航迹。本文把利用历史航迹数据构建常态模型的无
5、监督异常检测方法作为主要研究方向。在该研究方向上,基于无监督网络模型的异常检测方法值得关注。文献以自编码器(,)作为水位异常检测框架核心,通过学习正常数据的特征分布,将输出的重构损失作为异常分数并设定阈值,进而实现对水位数据的异常检测。变分自编码器(,)以时间序列中潜在变量分布参数的重建概率作为异常检测的度量,不受数据结构限制,比自编码器在数据重构上更有优势。文献采用变分自编码器模型对脑电数据进行异常检测,降低癫痫发作带来的安全风险。然而,以上两种模型针对航迹数据的时序建模能力还有待提高。长短时记忆网络(,)和门控循环单元(,)作为循环神经网络的重要变体,在时间序列建模问题上具有优势。在其他领
6、域中,以上两种自编码器模型常配合使用以增强其时序建模能力。文献提出一种基于长短时记忆网络模型 的无监督异常检测模型,在此基础上,文献将 和 相结合,进一步提高了模型在时序数据异常检测上的表现。文献将 作为 编码器的输入层和解码器的输出层,进一步 提 升 了 模 型 对 时 序 数 据 的 重 构 能 力。而的参数量比 更少,保持了 的优异性能,同时其结构更加简单,过拟合风险更低,文献将其应用于飞机振动数据的异常检测,并取得了良好效果。本文构建了以 和 为主要结构元素的无监督神经网络模型,提出了一种基于 模型的无监督航迹异常检测方法。在模型训练阶段,使用历史航迹数据集对 模型进行训练,对数据集中
7、所有航迹序列进行重构,将重构航迹序列和原始航迹序列的平均绝对距离作为模型输出的重构损失,基于输出重构损失的分布类型确定其在任意置信度下的置信区间,并将其作为航迹点重构损失门限;在异常检测阶段,该模型对实时航迹数据进行检测,将损失超出航迹点重构损失门限的航迹点视为异常航迹点,将异常航迹点占比超出阈值的航迹序列判定为异常航迹序列,再结合数据特征和重构损失异常情况向一线人员发送目标的异常行为信息。数据实验结果表明,模型平均 分数高达 ,查全率达。对比现有相关研究成果,本方法在查准率、查全率和模型 分数上比实验性能稍次的基于长短时记忆网络的变分自编码器模型(,)方法分别高出 、和 ,对异常航迹具有高灵
8、敏度和低漏警率,符合战场态势认知需求。问题描述针对海量无异常标签数据的航迹异常检测问题,本节在相关定义的基础上,提出对应研究思路,并对异常航迹序列进行分类。基本定义定义:航迹点向量及特征,分别对应的是航迹点在时间戳 的经度()、纬度()、速度()和航向()特征。其中,是指按照时间顺序排列的航迹点序数,经度和纬度坐标是航迹点向量的位置属性特征,速度和航向是航迹点向量的运动属性特征。定义:航迹序列 (,)是指由 个航迹点向量根据时间戳排列得到的序列。由定义,航迹点序列 可以表示为式():,()定义:航迹数据集 ,表示由 条航迹序列组成的航迹数据集合。第 期指挥控制与仿真 定义:异常航迹点向量若实时
9、航迹序列 经模型检测输出的重构损失序列 中存在重构损失值 ,则重构损失值 对应的航迹点向量 为异常航迹点向量。定义:异常航迹序列设异常航迹点向量占所有航迹点向量总数之比的阈值为,若由 个航迹点向量组成的实时航迹序列中共包含 个异常航迹点向量,当 时,则该实时航迹序列 (,)为异常航迹序列。研究思路针对海量无异常标签数据的航迹异常检测问题,本节提出基于航迹数据重构模型的无监督航迹异常检测方法系统模型,如图 所示。图 研究思路 结合 节基本定义,设由给定时间和空间范围内的历史航迹序列组成的历史航迹数据集为,实时航迹数据集为,集合 中的 是与历史航迹数据集行为模式不同的异常航迹序列,所有集合中的航迹
10、数据均无异常行为模式标签。输入历史航迹数据集 训练航迹数据重构模型后,能够输出对应的重构损失,并据此确定航迹点重构损失门限为,。将实时航迹数据集 中任意一条包含 个航迹点向量的实时航迹序列 (,)输入航迹数据重构模型,能够输出包含 个重构损失值的重构 损 失 序 列 为(,)。研究思路分两步:)航迹数据重构模型通过训练学习集合 的舰船历史航迹运动模式,根据历史航迹数据重构损失分布,确定航迹点重构损失门限,;)将集合 中的实时航迹序列逐条输入模型,经航迹异常检测方法发现异常航迹序列。异常航迹序列的分类异常航迹序列可按照航迹点向量特征的分类划分为两类:)运动异常,目标实际行为体现为舰船航速超出历史
11、范围或短时间内变化过快,以及在侦察区域出现的短时间内航向变化过快;)位置异常,目标实际行为体现为偏离历史航迹或出现在非法位置。本方法可检测包含其中一类异常或同时存在这两类异常的航迹序列。如图 所示。图 异常航迹序列的分类 方法描述基于 模型的无监督航迹异常检测方法总体流程如图 所示,主要分两步:)模型训练阶段,使用预处理后得到的历史航迹数据集训练 航迹数据异常检测模型,采用平均绝对误差计算重构损失,基于输出重构损失的分布类型确定重构损失的置信区间,进而确定航迹点重构损失门限;)异常检测阶段,运用训练好的模型对预处理后的实时航迹数据集进行检测,对异常航迹序列进行深入研判,确定其异常类型。航迹数据
12、集预处理为减少数据不同量纲对深度神经网络训练的影响,使模型有效拟合训练数据,准确学习正常航迹的运动模式和规律,需要对历史航迹数据集进行预处理。历史航迹数据集的预处理流程如图 所示,分为以下 步。:根据舰船类型标签,在航迹数据集中筛选出单个目标的完整航迹序列以及各时间戳下的航迹点 李 磊,等:基于 的无监督航迹异常检测方法第 卷图 方法总体思路 图 预处理流程 向量;:针对参与训练的航迹数据集,对同一目标类型的航迹序列在相同时空范围内的重复航迹予以剔除,避免深度神经网络模型训练的计算冗余或将其误识别为静止点;:对航迹序列中航迹点向量特征值缺失的特征进行均值插值,避免数据缺失问题影响模型对常态运动
13、模式的准确学习,均值计算式如式()所示:()其中,为非缺失航迹点特征值 的总个数。:对所有的航迹点向量特征值进行 均值标准化处理,即将航迹数据集转换为均值为、方差为 的数据集,避免在模型训练和重构损失的计算过程中由于量纲不同、自身数值相差较大所引起的误差。先计算所有同一特征值的标准差,如式()所示:()()其中,为该航迹序列中航迹点向量总个数,之后运用式()计算标准化处理后的特征值:()式中,指同一航迹数据集或航迹序列中航迹点向量的某特征原始值,为标准化处理后得到的结果。对需要进行检测且可能存在异常航迹的实时航迹数据集进行除 之外的预处理步骤。航迹异常检测模型本节对 和 的理论基础进行描述,并
14、在此基础上搭建本文的 模型。)变分自编码器 变分自编码器是一种无监督学习的深度神经网络模型,它基于反向传播算法和梯度下降最优化方法,利用输入数据作为监督指导神经网络训练学习实现重构输出。如图 所示,变分自编码器由 个编码器和 个解码器组成,其基本思想是经过编码器函数()的每一个点向量 可用各航迹点向量特征值上的均值 和方差 表示输出的概率分布,然后,通过变分自编码器的变分推断过程,用一个近似分布()代替概率分布,并通过贝叶斯准则得到解码器输入(),最后,经解码器()输出重构的航迹点向量。图 模型结构 在变分推断过程中,采用(,)散度函数来度量两个分布之间的相似性,模型的目标函数如式()所示:(
15、,;)()()()()第 期指挥控制与仿真 其中,是期望的自编码重建输出特征向量;是正则化项,使得()向标准正态分布对标。为了解决神经网络反向梯度求解问题,中间采用了重参数化的操作,样本 从分布(,)中获取变量,通过图 所示的期望 和方差 计算得到,见式()。()联立式()和式(),最终的目标函数如式()所示。(,;)()()()()门控循环单元门控循环单元的主要功能是在数据重构过程中捕捉航迹数据的时序特性,提升数据重构的准确性。作为循环神经网络的一种变形单元,门控循环单元解决了长期记忆和反向传播中的梯度消失和爆炸问题,在达到相同模型性能的前提下,其计算量小,训练效率更高。图 为 运算示意图,
16、它主要的功能由更新门和重置门实现,这些门结构决定了数据信息的输入、存储、遗忘和输出。图 运算示意图 图 中,表示在时刻状态,为时间步的数据输入,和 为非线性激活函数。式()()展示了 的运算过程。和 表示更新门和重置门结构的权重和偏置,其余运算符号如图中所示。式()中更新门 控制从上一时刻状态 中保留的向量特征信息以及从候选状态中接收的向量特征信息,以确保数据的不断更新。(,)()式()中的重置门 决定了候选状态 对上一时刻 的依赖程度。(,)()(,)()()()由式()和式()可见,使用更新门控制输入和遗忘的平衡。当 时,当前状态 和上一状态为非线性关系;当 时,和 为线性关系。)模型的搭
17、建 模型是在 框架下,将编码器输入层和解码器输出层神经元替换为 门控循环单元,提升了模型对航迹数据时序特征的学习能力,克服了传统循环神经网络在特征提取过程中的梯度消失和爆炸问题,实现了对数据特征的正确编码和解码。模型通过学习航迹数据的特定分布,输出得到精准的重构数据。模型的基本结构如图 所示,数据重构过程分为以下三步。首先,航迹序列 (,)直接输入模型,编码器的 单元捕捉航迹序列点向量的时序特征,经 线性激活层分别输出特征值对应的均值 和方差;然后,在 框架下进行重参数化操作,对点向量的隐变量分布 进行估计;最后,单元译码器根据隐变量 完成对数据的时序性重构,输出重构航迹序列,实现端到端的数据
18、精确重构。图 模型基本结构图 模型训练阶段模型训练阶段流程如图 所示。首先,将历史航迹数据集 输入模型进行 训 练;然 后,模 型 输 出 训 练 集 重 构 损 失 集,设定重构损失的置信度为 ;之后,对进行正态性检验,结合设置的置信度,若满足正态分布,则采用正态分布法计算航迹点重构损失门限,否则,采用百分位数法计算航迹点重构损失门限;最后,保存模型及其对应的航迹点重构损失门限,。)重构损失计算方法航迹序列重构损失的计算采用平均绝对误差计算方法,如式()所示。李 磊,等:基于 的无监督航迹异常检测方法第 卷图 方法工作流程 ()其中,和 是重构航迹序列和原始航迹序列,和 分别是第 个时间戳上
19、的重构航迹点向量和原始航迹点向量,是航迹序列中的航迹点向量总个数,是航迹点向量中的特征个数。经计算得到重构损失序列。)航迹点重构损失门限的确定确定航迹点重构损失门限的目的是通过模型训练掌握历史航迹数据隐含的目标行为模式,为异常检测阶段提供常态基准参考。下面根据历史航迹数据输入模型得到的重构损失分布,采用正态分布法和百分位数法,对需要检测的实时航迹数据输出的重构损失值进行置信区间的估计,将置信区间作为航迹点重构损失门限。图 为航迹 点重构损失 门限示意 图。假设服从标准正态分布,将重构损失置信度()下的置信区间作为航迹点重构损失门限,表示为参与检测的实时航迹序列中的每个航迹点向量对应重构损失值有
20、()的概率会落在区间,中。若训练集重构损失序列 中重构损失值的分布能够通过正态分布检验,则采用正态分布法进行置信区间的估计。图 航迹点重构损失门限示意图 设重构损失 是一个服从正态分布的随机变量,即 (,),其中,为总体均值,为总体标准差。模型是深度神经网络模型,需要大样本量数据进行训练,相应输出重构损失序列中的样本数量必然大于。故由大数定律和中心极限定理可知,数据样本量足够大时,样本均值、方差与总体的均值和方差相等,即样本均值 ,样本标准差 ,之后对该随机变量 作线性运算,将其转换为标准正态分布:(,)()应用标准正态分布下的 分位点的定义可得 ()根据式(),可以求得航迹点重构损失在任意置
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 GRU VAE 监督 航迹 异常 检测 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,个别因单元格分列造成显示页码不一将协商解决,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。