融合CNN-BiGRU和注意力机制的网络入侵检测模型.pdf

信息安全研究第10 卷第3期2 0 2 4年3月Journalot information Security ResearchVol.10No.3Mar.2024DOl:10.12379/j.issn.2096-1057.2024.03.02融合（CNN-BiGRU和注意力机制的网络入侵检测模型杨晓文张健况立群庞敏（中北大学计算机科学与技术学院太原（机器视觉与虚拟现实山西省重点实验室（山西省视觉信息处理及智能机器人工程研究中心太原0 30 0 51）()A Network Intrusion Detection Model Integrating CNN-BiGRU andAttentionMechanism030051)太原030051)Yang Xiaowen,Zhang Jian,Kuang Liqun,and Pang Min(School of Computer Science and Technology,North University of China,Taiyuan 030051)(Shanzi Key Laboratory of Machine Vision and Virtual Reality,Taiyuan 030051)(Shanzi Provinces Vision Information Processing and Intelligent Robot Engineering Research Center,Taiyuan 030051)Abstract To enhance the feature extraction capabilities and classification accuracy of the networkintrusion detection model,a network intrusion detection model integrating CNN-BiGRU(Convolutional Neural Network-Bi-directional Gated Recurrent Unit)and attention mechanism isproposed.CNN is employed to effectively extract nonlinear features from traffic datasets,whileBiGRU extracts time-series features.The attention mechanism is then integrated to differentiatethe importance of different types of traffic data through weighted means,thereby improvingtheoverall performance of the model in feature extraction and classification.The experimental resultsindicate that the overall accuracy rate is 2.25%higher than that of the BiLSTM(Bi-directionalLong Short-Term Memory)model.K-fold cross-validation results demonstrate that the proposedmodels good generalization performance,avoiding the occurrence of over-fitting phenomenon,andaffirming its effectiveness and rationality.Key words network intrusion detection;convolutional neural network;bidirectional gated recurrentunit;attention mechanism;deep learning摘要为提高网络入侵检测模型特征提取能力和分类准确率，提出了一种融合双向门控循环单元(CNN-BiGRU)和注意力机制的网络入侵检测模型.使用CNN有效提取流量数据集中的非线性特征；双向门控循环单元（BiGRU)提取数据集中的时序特征，最后融合注意力机制对不同类型流量数收稿日期：2 0 2 3-0 7-0 3基金项目：国家自然科学基金项目（6 2 2 7 2 42 6，6 2 10 6 2 38）；山西省科技成果转化引导专项（2 0 2 10 40 2 130 10 55）通信作者：张健（17 2 40 557 32 ）引用格式：杨晓文，张健，况立群，等.融合CNN-BiGRU和注意力机制的网络入侵检测模型JJ.信息安全研究，2 0 2 4，10（3）：2 0 2-2 0 8202学术论文.ResearchPapers据通过加权的方式进行重要程度的区分，从而整体提高该模型特征提取与分类的性能.实验结果表明：其整体精确率比双向长短期记忆网络（BiLSTM)模型提升了2.2 5%.K折交叉验证结果表明：该模型泛化性能良好，避免了过拟合现象的发生，印证了该模型的有效性与合理性。关键词网络入侵检测；卷积神经网络；双向门控循环单元；注意力机制；深度学习中图法分类号TP391近年来，网络入侵问题愈发严重，引起公众的关注.深度学习已经被应用于网络入侵检测领域，并且取得了一些检测效果.文献 1 提出了一种基于云计算的网络人侵检测模型，利用多层感知机神经网络和粒子群优化算法实现对NSL-KDD和KDD-CUP数据集的人侵检测,但是其预测结果的准确性有待进一步提高.文献 2 提出了一种分布式网络安全框架，使用随机森林分类技术对CIC-IDS-2017数据集进行了网络流量的识别和分类，但是所提出的方法并不能识别每一种流量类别.文献 3 在CIC-IDS-2018数据集上使用ReLu作为每个卷积层的激活函数，表明了卷积神经网络的准确度高于循环神经网络，但是针对一些特定类别的网络攻击,其预测精度还是低于7 0%.文献 4提出RNN-LSTM模型的入侵检测方法，使用KDD99数据集实现了对网络流量的分类，但是数据集网络流量种类少，缺乏说服力.文献 5 提出了CNN-BiLSTM模型，在数据集DARPA1998上进行特征提取并且分类，但是在进行特征提取时会损失特征的时间特性.文献 6 使用堆叠LSTM网络检测拒绝服务攻击，虽然极大程度地提高了检测精度，但是由于其模型结构复杂，参数较多，整体预测效率不高.文献 7 使用长短期记忆循环神经网络和门控循环单元模型针对物联网流量数据进行了有效的检测和追踪，但是该模型忽略了不同类型流量数据的重要性差异，同等看待不同类型数据流量导致分类预测精度的降低.根据以上文献分析，入侵检测模型的优缺点主要取决于特征提取.在现有研究中，传统的网络人侵检测方法缺乏独立学习的能力 8 ，导致检测的准确性降低.为了解决这些问题，本文针对网络流量数据的非线性和时序的特点，提出了一种基于CNN-BiGRU-Attention 的网络人侵检测模型，用于检测常见的网络攻击.1相关工作深度学习模型在入侵检测领域取得了良好的研究效果，特别是CNN模型和RNN模型,其变体独立应用和组合应用时，在获取数据的时空特征方面具有显著的优势9，CNN模型在深度学习领域应用十分广泛：Vinayakumar等人 10 1的研究表明，CNN及其变体架构在网络入侵检测领域优于经典的机器学习架构;文献 11 的实验结果表明,基于 CNN的人侵检测模型展现出了良好的特征提取能力和较高的检测率，提高数据特征的质量，为提高网络流量人侵检测的准确性奠定了基础.鉴于此本文提出的模型引人了 CNN架构.RNN架构在内部反馈方面优于传统的神经网络,每层之间都有前馈连接 12 ，因此可以将 CNN与RNN或者其改进模型集成在一个模型中，从而提取数据的时序特征，有效地针对网络流量进行特征分类 13,人们在观察图像时通常倾向于更多地关注图像的某些局部区域,而不是图像的整体.在ImageNet2017上,Szegedy等人 141提出了一种基于通道注意力机制激励网络，赢得了图像分类挑战.卷积注意力模块(CBAM)151是在通道注意力机制激励网络的基础上通过添加Maxpool的信道改进的，文献 15通过大量实验，表明添加注意力机制可以有效地提高模型分类的性能.基于此，本文在网络流量入侵检测中引人了注意力机制来提高分类器的性能。2本文方法2.1网络入侵检测模型整体架构网络流量数据集是一种时间序列数据，本文提出的CNN-BiGRU-Attention模型在公开可用网址http:/1203信息安全研究第10 卷第3期2 0 2 4年3月Journalotinformatien Security ResearchVol.10No.3Mar.2024Dropout的数据源上进行训练，利用CNN网络的卷积和池化操作提取数据局部特征；利用前向GRU和后向GRU对时序数据进行长期依赖特征提取；并融合1维最大池化层1维卷积层数据清洗数据集平衡原始数据注意力机制对各个特征进行不同权重的分配，提出了一种基于CNN-BiGRU并融合注意力机制的入侵检测模型.模型结构如图1所示：CNN模块11维卷积层维最大池化层层分类结果(4)数据预处理2.2CNN网络在本文的研究中，由于网络数据集是1维序列数据，所以使用1维卷积层进行特征提取.首先使用CNN网络对网络入侵流量数据提取特征并进行分析；CNN模型中交替配置卷积层与池化层，可以提高特征提取的效率 16 ；卷积层将网络流量数据连续映射到高维，并且从这些网络流量数据中训练出特征数据，并且及时纠正模型的检测效果；最后使用Softmax分类器对提取到的网络人侵流量特征进行分类，即可实现对网络入侵流量数据的特征提取与分类。2.3BiGRU网络GRU(门控循环单元)是RNN网络的改进模型,其内部结构简单，参数更少，不仅能够避免反向传播中的梯度消失问题，而且在计算速度和效率方面优于RNN.在GRU单元中，将之前的隐藏状态与当前的输入连接，乘以各自的权重，然后通过sigmoid函数传递.重置门的结果矢量输出与之前的隐藏状态相乘，将当前输人添加到该状态，并通过tanh函数传递 17 .()=1+e-,R=o(Wmht-1+Warx,+bf),R,E0,1,r=tanh(R,O(Whaht-1)+Wrax,+b fa),rE-1,1,2041全连接层双向双向DropoutAttentionGRUGRU层层BIGRU-ATTENTION模块图1网络人侵检测模型结构U=o(Wuht-1+Wabx,+bfa),U.Eo,1,u=U,O(ht-1),h,=ro(l-U.)+u,式中，为sigmoid函数，h为输人的网络流量信息，W为更新门与重置门对应输入流量数据的权值矩阵，U为本神经元输出隐状态对本神经元内隐状态数据h，与上一神经元传递隐状态数据的Hadamard乘积所赋的权重值，b 为偏置值，以上学习参数随着模型的训练而更新.在本文的网络安全态势预测中，由于网络流量数据具有时间序列的特征，具有时间依赖性 18 ，因此需要更深入的时间特征提取,尽管GRU在顺序数据的处理方面表现出强大的能力，但是它的隐藏状态只考虑前向连接进行信息捕获，而忽略后向连接进行信息捕获，相比之下，双向门控循环单元(BiGRU)能获取过去的信息并且能预测未来的状态,而且BiGRU能充分利用不同类型流量的时间相关性实现全局检测并发现潜在的异常行为.12.4注意力机制(1)注意力机制专注于输人数据的最关键部分，充分挖掘了网络流量数据的深层次特征信息，聚(2)焦于高影响的流量类别特征，从而实现了对不同类别的流量数据基于重要程度分配不同的权值.注(3)意力机制的转换过程如式（7)（10)所示：全连接层模块层(5)(6)学术论文.ResearchPapersTP+TNSu=Vtanh(Wh,+Uh;+b),i=1,2,t-1,eSati，i=1,2,t-1,eSuk-iF-2a h,=1,.-1,1-1h=f(F,ht,yt),式(8)的at为BiGRU隐藏层输出值h；对当前输人的注意力权重值，y1，y 2，y，为输入序列，输人序列对应的隐藏层状态值是h1，h 2，,h t,h 是最终输出的特征向量；V,W,U,b是在模型训练过程中不断更新的参数.模型中融合注意力机制提升了系统编码器-解码器的性能，有助于网络模型更高效准确地完成流量分类，同时提高了网络模型的可解释性.3实验3.1实验环境实验采用的服务器处理器为Intel?Xeon?W-2245CPU3.90GHz，内存为6 4.0 GB,显卡为GeForceRTX3090,操作系统为Linux，编程语言为python3.8.13，框架为Keras2.4.3，后端采用Tensorflow 2.6.0.3.2楼数据集预处理3.2.1数据集清洗CIC-IDS-2017入侵检测数据集 8 是加拿大网络安全研究所发布的，该数据集包含良性流量和恶性攻击，经过数据清洗后的数据包含7 8 个数据特征字段和1个类别标签.3.2.2楼数据集平衡在整个数据集中，包含136 2 行NULL”和“NaN值，占比不足整个数据集的1%，因此删除了这些样本数据.然后对数据进行归一化处理，所用到的方法是min-max归一化,如式(11)所示：-Mmin2=Mm-Mm式(11)中表示将要进行归一化的值,Mmin为同一维度下的最小数值,Mmax为同一维度下的最大数值.由实验可知，清洗过后的数据集高度不平衡，因此，删除了高度不平衡的网络流量攻击分类，并(7)利用随机欠采样技术减少大多数类别的大小，完成数据集的平衡.经过平衡后的数据集数据按照(8)8:2的比例拆分为训练集和测试集.同时为了将数据集输入深度学习模型，使用从0 10 的标签编(9)码器将分类变量编码为整数值.3.3评估指标(10)为了对不同类型的网络入侵流量进行精准的预测与分类，本文对不同类型的网络人侵流量分类时，将该网络流量类型视为正样本，其余流量类型均视为负样本.实验采用准确率（Accuracy）、精确率（Precision）、召回率（Recall）以及F1值(F1-Score)作为模型评价指标.TP表示正确预测该网络流量类型的样本数，FP表示错误地把其他类型的网络流量预测为该网络流量类型的样本数,TN表示正确地将其他类型的网络流量预测为该网络流量类型的样本数，FN表示错误地将该网络流量类型预测为其他类型的网络流量类型的样本数 19.Accuracy表示预测正确网络流量类型的样本数占总样本数的比重，计算公式如下：Accuracy=TP+TN+FP+FNPrecision表示被预测为该类网络流量类型的样本数中正样本的比重，计算公式如下：Precision=TTP+FP.Recall表示被预测为该网络流量类型的样本数占总的该网络流量类型样本数的比重，计算公式如下：Recall=TP+FN.F1-Score 表示Recall 和 Precision 的一种调和平均，计算公式如下：F1-Score=2X3.4实验结果分析(11)3.4.1对比实验为了验证本文所提出 CNN-BiGRU-Attention模型的有效性，在平衡后的数据集上进行了对比实验.这些集成模型与本文提出的 CNN-BiGRU-Attention模型结构相似.在将本文提出模型中的网址http:/1205(12)TP(13)TP(14)PrecisionXRecall(15)Precision+Recall信息安全研究第10 卷第3期2 0 2 4年3月Journalot information Security ResearchVol.10No.3Mar.2024BiGRU和Attention层进行替换或者消除时，保589599持了替换模型的参数一致.98%/由图2 可知,本文提出的 CNN-BiGRU-Atten-tion模型在网络流量特征提取与分类方面均优于对比集成模型，针对WebAttack-Brute Force类型的攻击流量，本文提出的集成模型对其识别分类的准确率达到8 6%，检测精度明显高于对比模型，其次本文提出的集成模型在3个评价指标中均获得最高的得分，各类型攻击流量类别的总评准确率比CNN-BiLSTM模型提升了2.2 4%，总评召回率提升了2.3%，总评F1值比CNN-BiLSTM-Attention模型提升了2.19%.最后在 CNN-BiL-STM-Attention模型与本文提出的 CNN-BiGRU-Attention模型对比中，针对该数据集的网络流量人侵检测，本文模型特征提取更全面，同时准确率更高.9998%/9793AccuracyBPCNN-BiGRU-Attention图2 对比实验各模型评估指标对比3.4.2消融实验为了定量评估本文所提出CNN-BiGRU-Atten-tion集成模型的合理性，在平衡后的数据集上进行了消融实验.在将本文模型中的BiGRU和Atten-tion层进行替换或者消除时保持了替换模型的参数一致.由图3可知，本文模型显示出良好的特征提取与识别分类能力，CNN-BiGRU模型相较于单一CNN模型,检测准确率有一定的提升,印证了BiGRU模型的有效性，同时本文模型在集成BiGRU模型的基础上，融合了注意力机制对不同类型攻击流量的相对重要性，多分类准确率提升了2.7 1%，从而印证了融合注意力机制的合理性。3.4.3多多角度K折交叉验证在本文的实验中，经过平衡后的数据集仍然20619493图3消融实验各模型评估指标对比存在整体数据量偏小以及不同类别的流量样本数差异较大的情况，为了更有效地对比不同特征提取算法之间的性能，避免因为数据集本身的流量类别分布带来算法的过拟合问题 2 ，在确定了各模型的最优参数的前提下，对该数据集进行了6折交叉验证划分训练集和验证集，以此验证不同人侵检测模型的性能。图4示出基于CNN-BiLSTM的K折交叉验证模型训练效果.同样随着系数K的变化，针对不同流量类别的分类准确率波动较大，其中DoSSlowhttptest类型的异常流量在 K=2 时,其检测RecallF1-Score评价指标CNN-BiLSTM本文模型AccuracyCNNCNN-Attention精确度达到最高，但是在其余K值下其检测精确度较低。10095908580757065BBENIGNDDoS*一Dos Hulk-FTP-Patator-SSH-Patator图4基于 CNN-BiLSTM的K 折交叉验证对准确率的影响图 5示出基于 CNN-BiLSTM-Attention 的 K折交叉验证模型训练效果.随着系数K的变化，不同流量类别的分类准确率波动较小，其中DoSSlowhttptest类型的异常流量在K=4时,其检测Recall评价指标CNN-BiGRU本文模型23F1-Score45K+Bot*-DoS GoldenEyeDoS Slowhttptest-PortScanWeb Attack-BruteForce6学术论文ResearchPapers准确度达到最低。10095908580757065BBENIGNDDoSDos HulkFTP-PatatorSSH-Patator图5基于 CNN-BiLSTM-Attention 的K折交叉验证对准确率的影响图6 示出基于本文模型CNN-BiGRU-Atten-tion的K折交叉验证模型训练效果.随着系数K的变化，不同流量类别的分类精确率整体浮动很小，趋于平稳，表明该模型对流量的多分类识别检测是有效的.其次针对绝大多数流量类别,随着K值的逐渐变化，模型的泛化性能逐渐增强，同时也有效避免了过拟合现象的发生，表明本文模型的有效性与稳定性,10098969492908886842BBENIGNDDoS-DoS HulkFTP-Patator-SSH-Patator图6基于 CNN-BiGRU-Attention 的K折交叉验证对准确率的影响4结语本文提出一种基于卷积神经网络的人侵检测算法,使用CIC-IDS-2017数据集对模型进行了训练和测试。实验结果表明，对于不同类型的网络攻击流量，本文模型相较于LSTM网络模型单向GRU网络模型，提取特征能力更强、分类效果更好、检测准确率更高、泛化性能更好.通过对比论证实验和交叉验证,印证了本文模型的有效性、合理性和稳定性.下一步研究将专注于如何更好地平衡数据2334K-Bot*DoS GoldenEyeDoS SlowhttptestPortScanWebAttack-BruteForce46KBot*-DoS GoldenEyeDoS Slowhttptest一PortScanWeb Attack-BruteForce556集以及提高模型检测效率.参考文献1 Saljoughi A S,Mehrvarz M,Mirvaziri H.Attacks andintrusion detection in cloud computing using neuralnetworks and particle swarm optimization algorithms J.Emerging Science Journal,2017,1(4):179-1912Ahsan M K.Increasing the predictive potential of machinelearning models for enhancing cybersecurity D.NorthDakota State:North Dakota State University,20213Kim J,Shin Y,Choi E.An intrusion detection model basedon a convolutional neural network JJ.Journal ofMultimedia Information System,2019,6(4):165-1724Kim J,Kim J,Thu H L T,et al.Long short termmemory recurrent neural network classifier for intrusiondetection C/Proc of 2016 Int Conf on PlatformTechnology and Service（Pl a t Co n).Pi s c a t a w a y，N J:IEEE,2016:1-55Fu Y,Du Y,Cao Z,et al.A deep learning model fornetwork intrusion detection with imbalanced data J.Electronics,2022,11(6):8986Krishnan D.Detection of denial-of-service attacks usingstacked LSTM networks CJ/Proc of Data Analytics andManagement.Berlin:Springer,2022:229-2397Koroniotis N,Moustafa N,Slay J.A new intelligentsatellite deep learning network forensic framework forsmart satellite networks J.Computers and ElectricalEngineering,2022,99:1077458Qazi E U H,Almorjan A,Zia T.A one-dimensionalconvolutionalneural network（1D-CN N)b a s e d d e e plearning system for network intrusion detection J.Applied Sciences,2022,12(16):79869舒豪，王晨，史。基于BiLSTM和注意力机制的人侵检测J.计算机工程与设计，2 0 2 0，41(11)：30 42-30 4610Vinayakumar R,Soman K,Poornachandran P.Applyingconvolutional neural network for network intrusiondetection C I/Proc of 2017 Int Conf on Advances inComputing,Communications and Informatics(ICACCI).Piscataway,NJ:IEEE,2017:1222-1228网址htp:/1207信息安全研究第10 卷第3期2 0 2 4年3月Journalot information Security ResearchVol.10No.3Mar.202411 Liu Y,Liu S,Zhao X.Intrusion detection algorithm basedon convolutional neural network JJ.Transaction of BeijingInstitute of Technology,2017,37(12):1271-127512王伟.基于深度学习的网络流量分类及异常检测方法研究D.合肥：中国科学技术大学，2 0 1813Zainel H,Kocak C.LAN intrusion detection usingconvolutional neural networks J.Applied Sciences,2022,12(13):664514SSzegedy C,Vanhoucke V,Ioffe S,et al.Rethinking theinception architecture for computer vision C/Proc of theIEEE Conf on Computer Vision and Pattern Recognition.Piscataway,NJ:IEEE,2015:1-915Woo S,Park J,Lee J-Y,et al.Cbam:Convolutional blockattention module C/Proc of the European Conf onComputer Vision(ECCV).Berlin:Springer,2018:3-1916 Do N Q,Selamat A,Lim K C,et al.An improvedensemble dep learning model based on CNN for maliciouswebsite detection C/Proc of Int Conf on Industrial,Engineering and Other Applications of Applied IntelligentSystems.Berlin:Springer,2022:497-50417 Seth S,Singh G,Kaur K.Smart intrusion detectionsystem using deep neural network gated recurrent unittechnique CJ/Proc of ICCCE 2021.Berlin:Springer,2022:285-29318 Zhao P,Fan Z,Cao Z,et al.Intrusion detection modelusing temporal convolutional network blend into attentionmechanism J.International Journal of InformationSecurityand Privacy,2022,16(1):1-20 19何春蓉，朱江.基于注意力机制的GRU神经网络安全态势预测方法J.系统工程与电子技术，2 0 2 0，43（1)：2 5826620 Mohammadpour L,Ling TC,Liew C S,et al.A survey ofCNN-based network intrusion detection JJ.AppliedSciences,2022,12(16):816221 Manoharan G,Sivakumar K.A study on outlier detectionusing hybrid convolution neural network and novelbi-directional gated recurrent unit(CNN-BiGRU)JJ.PalArchs Journal of Archaeology of Egypt/Egyptology,2020,17(7)：48 0 2-48 0 822Halbouni A,Gunawan T S,Habaebi M H,et al.CNN-LSTM:Hybrid deep neural network for network intrusiondetection system JJ.IEEE Access,2022,10:99837-99849杨晓文博士，副教授.主要研究方向为人工智能、网络安全。张健硕士，主要研究方向为深度学习、网络安全。况立群博士，教授.主要研究方向为人工智能与计算机视觉。庞敏博士，讲师.主要研究方向为计算机视觉、虚拟仿真。208