统计向量分析下大规模网络流量异常检测仿真_陈波红.pdf

收稿日期:2022-04-29 第 40 卷 第 4 期计 算 机 仿 真2023 年 4 月 文章编号:1006-9348(2023)04-0373-04统计向量分析下大规模网络流量异常检测仿真陈波红1,祝金明2(1.广西民族大学相思湖学院,广西 南宁 530225;2.广西民族大学材料与环境学院,广西 南宁 530006)摘要:为准确识别网络流量异常特征,降低用户遭受恶意攻击的概率,提出基于统计向量的大规模网络流量异常检测算法。依据网络管理协议明确节点及网络链路负载,得到网络状态和配置信息的路由矩阵,将负载值与路由矩阵引入广义回归神经网络提取流量特征,获得固定时段网络流量数据;利用 SplitCap 文件分割器将网络流量的一组源 IP 和目标 IP 交互划分至同一流量包,把流量包各字节映射为相同特征,使用 t-分布式随机邻居嵌入方法计算流量包间欧氏距离,实现流量数据降维,锁定网络流量异常时间范围;把异常检测拟作约束条件二次优化问题,采用支持向量机统计流量向量特征,引入比特压缩技术降低数据分辨率,创建支持向量机下网络流量异常检测函数,实现异常检测。实验结果表明,所提方法的异常流量检测精度高、抗干扰性强,提升了网络流量安全监测能力。关键词:统计向量;支持向量机;网络流量;异常检测;数据降维中图分类号:TP393 文献标识码:BSimulation of Large-Scale Network Traffic Anomaly DetectionBased on Statistical Vector AnalysisCHEN Bo-hong1,ZHU Jin-ming2(1.Xiangsihu College of Guangxi Minzu University,Nanning Guangxi 530225,China;2.School of Materials and Environment,Guangxi Minzu University,Nanning Guangxi 530006,China)ABSTRACT:In order to accurately identify the abnormal characteristics of network traffic and reduce the probabilityof malicious attacks,based on statistical vector,this paper presented an algorithm for detecting large-scale networktraffic anomaly.According to network management protocol,we determined the node and network link loads,andthen obtained a routing matrix of network status and configuration information.After that,we introduced the load val-ue and routing matrix into the generalized regression neural network to extract the traffic features,thus obtaining net-work traffic data in a fixed period.Moreover,we used SplitCap splitter to integrate a group of source IP and target IPof network traffic into the same traffic packet.Meanwhile,every byte in the traffic packet was mapped with the samecharacteristics.Furthermore,we used the t-distributed random neighbor embedding method to calculate theEuclidean distance between traffic packets,thus reducing the dimension of traffic data and locking the abnormal timerange of network traffic.In addition,we took anomaly detection as a quadratic optimization problem with constraintsand used a support vector machine to calculate the characteristic of the traffic vector.Finally,we used bit compres-sion technology to reduce the data resolution and constructed a network traffic anomaly detection function under thesupport vector machine,thus achieving anomaly detection.Experimental results show that the proposed method hashigh detection accuracy and strong anti-interference ability for abnormal traffic,and improves the security monitoringability.KEYWORDS:Statisticalvector;Supportvectormachine;Networktraffic;Abnormaldetection;Datadimensionality reduction3731 引言网络技术的飞速发展,使得互联网渗透到民生、经济等诸多层面1,成为推进国家发展的源动力2。此外,人工智能、物联网技术的深入研究,也助力了网络服务模式与体验的革新,呈现流量大、多元化的发展趋势,但是与此同时网络环境愈发复杂3,4。为保障网络空间安全,准确鉴别网络流量异常行为是一项亟待处理的重要问题。针对流量异常检测问题,文献5从若干层面获取网络流量特征属性,创建特征属性矩阵,利用数据流之间的相关性组建邻接矩阵,残差计算属性矩阵,依照数据流残差与预设临界值完成流量异常评估。该方法计算量过多,检测耗时较长,实时性不强。除此之外,还有学者提出了基于集成特征选择的网络异常流量检测方法,利用投票机制挑选流量特征子集,采用朴素贝叶斯、决策树、XGBoost 三种机器学习算法进行特征选择择优,输出最佳检测模式完成网络异常流量检测。该方法对应用环境的局限性较高,无法广泛应用在实际场景中。由此,本文提出一种基于统计向量的大规模网络流量异常检测算法。运用广义回归神经网络得到固定时段的网络流量总值,利用 t-分布式随机邻居嵌入方法把高维流量数据变换成低维数据,通过支持向量机统计流量向量特征,代入比特压缩技术实现高精度网络流量异常划分。实验部分从不同角度分析了该方法的可行性,验证了该方法为提升网络安全指数提供了较大帮助。2 大规模网络流量估计为准确获取某个时间段的网络流量总值,展现当前网络状态全局信息,使用广义回归神经网络统计大规模网络流量。流量矩阵代表网络内全部节点之间的流量,链路负载为流量矩阵按照路由矩阵在链路上汇合而成6,7。设定大规模网络包含 a 个节点,c 条链路,那么网络中含有 a2条数据流。则将负载和流量的线性约束条件表示成b(t)=De(t)(1)D=(De)ac(2)式中,D 代表路由矩阵,b(t)为链路负载,e(t)是节点流量,De表示第 e 个路由矩阵包含的数据集。测量简单网络管理协议中的网络节点就能直接得到链路负载,通过网络状态与配置信息获得路由矩阵,只有在确定上述两个值的情况下,才能统计固定时段流量值。大规模网络环境中,链路个数远低于数据流个数,式(1)为一个线性逆向问题,涵盖多个解,挑选最优解的难度较高。本文利用广义回归神经网络良好的非线性特征训练流量统计数据,输出正确率高的流量统计值,给流量异常检测提供完整的数据支持。广义回归神经网络整体架构包含四个层次:输入层、模式层、聚合层与输出层。把广义回归网络中的输入-输出关系记作vi(t)=G(vi(t)|Wj)=kj=1Qjiexp-u(t)-Wj2/22()kj=1exp-u(t)-Wj2/22()(3)式中,vi(t)表示输出值,u(t)为输入值,G 表示神经元数量,Wj、Qji依次表示输入矢量与输出矢量样本,k 代表训练样本个数,是平滑指数。流量矩阵 e(t)与链路负载 b(t)无法直接应用于网络架构训练中,要对其采取数据转换处理,得到满足广义回归神经网络的输入/输出要求的数据,否则训练输出值就不能精准展现流量运行特征8。数据转换处理过程如下u(t)=h(b(t)e(t)=g(v(t)(4)式中,h、g 分别为输入层与输出层的训练迭代次数。将式(4)引入至式(1),将其变换为:e(t)=H(b(t)(5)式中,H 被定义成从 b(t)至 e(t)的映射关联。把式(3)与式(5)拟作训练数据集,通过广义回归神经网络即可得到网络流量统计值。3 网络流量数据降维数据预处理是增强流量异常检测正确率的前提,数据预处理得到的网络流量数据特征,决定了检测结果的可靠性9。当前网络流量数据特征均是高维的,因此,本文设计一种基于 t-分布式随机邻居嵌入(t-distributed stochasticneighbor embedding,t-SNE)的数据降维方法,把高维数据流信息转换成低维数据,有效划分出异常点分布的大致区域,了解网络流量出现异常的时间范围。下面是具体的运算过程:使用 SplitCap 文件分割器把网络流量内一组源 IP 和目标 IP 交互划分至相同流量包内,再格式化流量包获取流量特点10。网络流量包格式化流程为:将流量包内的各字节映射成相同特征,截断各流量包特征,只保存流量包的前 n个字节。t-SNE 算法属于非线性降维,可以把数据从高维空间映射至低维空间。假设一个涵盖 N 个网络流量包的集合是 X=x1,x2,xN,使用 t-SNE 算法计算随机 2 个流量包 xi、xj,把流量包之间的高维欧几里得距离变换成网络流量包之间相似性的条件概率 qj|i,记作qj|i=exp-xi-xj2/()niexp-xi-xn2/()(6)式中,代表以两个网络流量包 xi、xj为基础的高斯分布标准差。为避免不对称代价函数引发降维偏差大的问题11,利473用式(7)推算网络流量包 xi、xj之间的欧氏距离qij=qi|j+qj|i2N(7)如果降维后的网络流量包集合是 R=r1,r2,rN,则此集合为高维空间 X 至低维空间 R 的映射,即高维空间内的网络流量包 xi、xj在低维空间内依次对应 ri与 rj。在低维空间内使用 t-SNE 算法推算 ri、rj之间的欧氏距离,得到zij=1+ri-rj2()-1nl1+-rn-rl2()-1(8)式中,l 表示空间映射次数。流量数据降维的根本目标是相对熵,相对熵计算过程如式(9)所示,通过式(9)即可得到对应的网络流量数据降维输出I=ijqijlogqijzij(9)4 网络流量异常检测的实现统计向量立足于观测样本,在样本中找出某些无法使用原理分析得到的隐含规律,利用此类规律研究客观目标,精准分析流量数据12。以统计向量思想为核心,使用统计学习理论中的支持向量机算法完成大规模网络流量异常检测。支持向量机是以二元分类问题为中心,探寻最优分类超平面决策边界13,快速准确划分训练样本中不同属性的数据。假设训练样本是 di,相对的预期输出是 oi,则在一般线性不可分状态下代入松弛变量,将支持向量机算法拟作处理具备约束条件的二次优化问题,记作min:12w2+Fni=1isubjectto:oi(Udi)+b 1-ii 0 i=1,2,n(10)式中,F 是误差权重,通常为一个固定常数,具备惩罚作用,w是法向矢量,b是超平面偏移量,U 是样本数量。在式(10)内代入拉格朗日乘子,获得对偶优化解析式max:ni=1i-12oiojijsubjectto:ni=1ioi=00 i F i=1,2,n(11)式中,为非负拉格朗日乘子,oj表示输出值。支持向量机方法适用于训练高精度分类器,但在大规模网络流量环境下,具备检测效率低的不足。因此,引入比特压缩策略,弥补该方法的缺陷,实现期望流量异常检测目标。比特压缩技术一般用来减少数据分辨率,涵盖标准化、比特压缩与融合三个操作步骤。标准化处理可以使样本特征拥有相同分辨率14,处理后的特征值要落在0,1区间。为了不丢失重要信息,利用一个整数描述标准化后的特征值,运算过程为J(v)=int(Y v)(12)式中,Y 代表标准化后的特征值比率,nt(Yv)代表某个返回数据的整数部分。比特压缩时,如果 m 是待压缩的比特值,那么压缩过程是J(v)J(v)m(13)式中,“”符号表示把整数向右移动 m 个位置。设定一个 n维特征的样本是 qi=(qi1,qi2,qin),通过比特压缩后的网络流量样本为J(qi)=(J(qi1),J(qi2),J(qin)(14)融合步骤中,将具备相同 J(qi)样本特征的数据汇集到一个集合 S 中15。比特压缩完毕后,初始流量样本数据(di,oi)融合成拥有全新权重的新样本(dj,oj)F。如果某个样本dj的权重是 i,在式(10)、式(11)的前提下,将约束条件二次优化问题和对偶优化问题分别变换为min:12w2+Fni=1iisubject to:oi(Udi)+b 1-ii 0 i=1,2,n(15)max:ni=1i-12oiojijsubject to:ni=1ioi=00 i i Fi=1,2,n(16)由此看出,仅需更改非负拉格朗日乘子的限定条件即可完成算法优化,在真实应用中提升算法的可靠性。最终,将支持向量机算法下网络流量异常检测函数表示成f(x)=signni=1oiiK(di,oi)-b(17)式中,K()表示核函数。5 检测效果验证为检验所提方法在网络流量异常检测中应用性能的优越性,进行实验研究。5.1 实验平台与参数设置利用 MATLAB 7.0 与 C+平台进行联合仿真。设定网络流量采样节点数量为 300,骨干节点数量是 35,汇聚节点数量为 15,异常流量输入模式为分布式拒绝服务攻击,攻击时间为 35min,在 223s、442s 和 511s 三处实施网络攻击,随机若干采样点实施流量异常检测,得到如图 1 的网络流量采集结果。5.2 结果分析将图 1 作为检测样本,采用所提方法进行异常检测,结果如图 2 所示。从图 2 看出,本文方法可精准锁定异常流量分布频域位置,在 223s、442s 和 511s 三处均检测出流量异常,经对比与573图 1 网络流量采集结果图 2 网络异常流量检测结果真实流量异常情况相符,证明本文方法具备较高的异常检测精度。为进一步证明所提方法的有效性,将残差分析法与集成特征选择法作为对比方法,对三种方法进行对比分析。通过敏感度描述异常数据被正确评估的概率,计算公式为Sen=TNFP+TN 100%(18)式中,TN 表示正确检测值,FP 为错误检测值。假设共进行 8 次流量异常检测实验,三种方法检测效果对比结果如图 3 所示。图 3 三种方法流量异常检测敏感度对比分析图 3 可知,本文方法敏感度较高,检测准确率一直维持在 96%以上,两个文献方法的敏感度值起伏较大,且均小于本文方法,计算稳定性较差。出现此种现象的原因为:本文方法采用 t-分布式随机邻居嵌入方法,将网络流量数据从高维空间变换至低维空间,确定出现异常的时间范围,检测输出值更具针对性,流量异常检测精度随之提升。假设网络流量异常检测成功率是 95%,对三种方法进行抗干扰能力实验,将噪声信号拟作干扰强度,明确三种方法抗干扰性能优劣,获得流量异常检测所能承受的干扰强度,实验结果如图 4 所示。图 4 三种方法流量异常检测抗干扰性对比从图 4 看出,检测成功率为 95%的状态下,本文方法抗干扰强度最高值为 33.2dB,残差分析法和集成特征选择法的抗干扰强度最高值依次是 23.9dB 与 20.8dB,远低于本文方法,这表明了本文方法具备极强的抗干扰性,在形式各异的恶意攻击环境中具备更好的检测能力。在网络受到分布式拒绝服务攻击情况下,三种方法流量异常检测所耗时长的对比如图 5 所示。图 5 三种方法流量异常检测时间对比由图 5 可以看出,本文方法检测时间要低于两个文献方法,整体效率得到显著改善。这是因为本文通过统计向量策略了解数据流特征,使用支持向量机方法搜寻最优分类超平面决策,大幅缩减了检测时长。(下转第 401 页)6733 郝玉蓉,朴春慧,颜嘉麒,等.基于本地化差分隐私的政务数据共享隐私保护算法研究J.情报杂志,2021,40(2):169-175,137.4 曾海燕,左开中,王永录,等.路网环境下的语义多样性位置隐私保护方法J.计算机工程与应用,2020,56(7):102-108.5 李仙琳,左信,高小永,等.基于核主成分分析-半监督极限学习机的钻井溢流诊断方法J.油气地质与采收率,2022,29(1):90-196.6 熊宁,朱文广,钟士元,等.基于非线性映射与核主成分分析的区域配电网综合评价方法J.现代电力,2020,37(5):463-469.7 殷豪,丁伟锋,陈顺,等.基于生成对抗网络和纵横交叉粒子群算法的光伏数据缺失重构方法J.电网技术,2022,46(4):1372-1381.8 董骁翀,孙英云,蒲天骄.基于条件生成对抗网络的可再生能源日前场景生成方法J.中国电机工程学报,2020,40(17):5527-5536.9 朱斯琪,王珏,蔡玉芳.基于改进型循环一致性生成对抗网络的低剂量 CT 去噪算法J.光学学报,2020,40(22):70-78.10 滕旭,张晖,杨春明,等.基于循环一致性对抗网络的数码迷彩伪装生成方法J.计算机应用,2020,40(2):566-570.11 毛伊敏,陶涛,曹文梁.基于网格密度和局部敏感哈希函数的并行化聚类算法J.计算机应用研究,2021,38(5):1422-1427.12 徐菡,于长永,史劼.基于最小完美哈希函数的 K-mer 计数算法J.中国电 子科学 研究院 学报,2020,15(5):435-441,448.13 李素,宋宝燕,李冬,等.面向金融活动的复合区块链关联事件溯源方法J.计算机科学,2022,49(3):346-353.14 段熙宾,王冰峰.基于区块链的轨道交通 BIM 模型安全管理方法J.铁道标准设计,2020,64(11):136-140,175.15 章嘉彦,李飞,李如翔,等.V2X 通信中基于椭圆曲线加密算法的身份认证研究J.汽车工程,2020,42(1):27-32.作者简介张玉立(1987-),男(汉族),河南商丘人,实验师,研究方向:计算机科学与技术。张麦玲(1981-),女(汉族),河南卫辉人,硕士,副教授,研究方向:网络安全、大数据。(上接第 376 页)6 结论为完成精准的网络流量异常检测,增强网络服务安全,提出一种基于统计向量的大规模网络流量异常检测算法。通过流量估计、数据降维两个步骤得到完整流量数据集,使用支持向量机方法统计特征向量,完成高效准确的流量异常检测目标,并在仿真中表明了自身性能的优越性。所提方法复杂度低,适用于多种复杂环境下网络流量异常检测,实用性强。参考文献:1 李贝贝,彭力,戴菲菲.结合马氏距离与自编码器的网络流量异常检测方法J.计算机工程,2022,48(4):133-142.2 郁滨,熊俊.基于平衡迭代规约层次聚类的无线传感器网络流量异常检测方案J.电子与信息学报,2022,44(1):305-313.3 韦佶宏,郑荣锋,刘嘉勇.基于混合神经网络的恶意 TLS 流量识别研究J.计算机工程与应用,2021,57(7):107-114.4 连鸿飞,张浩,郭文忠.一种数据增强与混合神经网络的异常流量检测J.小型微型计算机系统,2020,41(4):786-793.5 孟永伟,秦涛,赵亮,等.利用残差分析的网络异常流量检测方法J.西安交通大学学报,2020,54(1):42-48,84.6 周翰逊,陈晨,冯润泽,等.基于值导数 GRU 的移动恶意软件流量检测方法J.通信学报,2020,41(1):102-113.7 姚佳蓉,曹喻旻,唐克双.基于抽样轨迹数据和改进最小二乘模型的信控路网路径流量估计方法J.中国公路学报,2022,35(3):226-239.8 凌敏,罗影,袁亮,等.一种面向智慧交通的车联网网络流量估计方法J.西安电子科技大学学报,2021,48(3):40-48.9 郭方方,吕宏武,任威霖,等.基于有监督判别投影的网络安全数据降维算法J.通信学报,2021,42(6):84-93.10 陈玮,卢佳伟.基于特征矩阵优化与数据降维的文本聚类算法J.数据采集与处理,2021,36(3):587-594.11 常书源,赵荣珍,陈博,等.基于边界判别多流形分析的故障数据集降维方法J.振动与冲击,2021,40(23):120-126.12 曹素娥,杨泽民.基于聚类分析算法和优化支持向量机的无线网络流量预测J.计算机科学,2020,47(8):319-322.13 罗峰,胡强,侯硕,等.基于支持向量机的 CAN-FD 网络异常入侵检测J.同济大学学报(自然科学版),2020,48(12):1790-1796.14 周奕涛,张斌,刘自豪.基于多模态深度神经网络的应用层DDoS 攻击检测模型J.电子学报,2022,50(2):508-512.15 杭梦鑫,陈伟,张仁杰.基于改进的一维卷积神经网络的异常流量检测J.计算机应用,2021,41(2):433-440.作者简介陈波红(1986-),女(汉族),广西玉林人,硕士,讲师,主要研究方向:数理统计。祝金明(1981-),男(汉族),广西梧州人,博士,副教授,主要研究方向:合金相图(通讯作者)。104