基于自编码器和对比学习的入侵检测研究_宋月.pdf

第 39 卷第 1 期2023 年 2 月天 津理工大学学报JOUNAL OF TIANJIN UNIVESITY OF TECHNOLOGYVol.39 No.1Feb 2023收稿日期:20210909;修订日期:20211015基金项目:天津科技重大专项(16YDLJGX00210)DOI:10.3969/j.issn.1673095X.2023.01.006基于自编码器和对比学习的入侵检测研究宋月，王怀彬*(天津理工大学 计算机科学与工程学院，天津300384)摘要:为有效提取复杂且冗余的网络流量数据特征并进行更好地特征表达，提出了一种基于自编码器和对比学习的入侵检测方法。通过自编码器可捕捉网络数据流量特征间的非线性相关性，实现对数据的降维处理和特征提取，同时，采用对比学习对网络流量数据进行表征学习，通过优化对比学习损失函数进行端到端学习。在两个基准数据集NSL-KDD 和 UNSW-NB15 进行分类试验。结果表明，相对于其他深度学习的入侵检测方法，该模型有效地提高了识别准确率和精确率。关键词:入侵检测;自编码器;特征选择;深度学习;对比学习中图分类号:TP393.0文献标识码:A文章编号:1673095X(2023)01003507esearch on intrusion detection based on autoencoderand contrastive learningSONG Yue，WANG Huaibin*(School of Computer Science and Engineering，Tianjin University of Technology，Tianjin 300384，China)Abstract:In order to effectively extract complex and redundant network traffic data features and perform better，an intrusiondetection method based on the autoencoder and contrastive learning is proposed The autoencoder can capture the nonlinearcorrelation between network traffic data characteristics，and realize the dimensionality reduction and feature expression At thesame time，the contrastive learning is used to characterize the network traffic data and the loss function of the contrastive learningis optimized to achieve the end-to-end learning The classification experiments are carried out on two benchmark data sets NSL-KDD and UNSW-NB15 The experimental results show that compared with other deep learning intrusion detection methods，thismodel effectively enhances the recognition accuracy and precisionKey words:intrusion detection;auto-encoder;feature selection;deep learning;contrastive learning随着物联网、云计算等技术的发展和大数据时代的到来，全球网络安全形势更加严峻。由于恶意攻击的不断变化，并伴随着恶意攻击大量出现，恶意网络攻击带来了严重的安全问题1。因此，需要一种新颖、灵活、更可靠的安全防御技术确保网络的安全性。入侵检测系统(intrusion detection system，IDS)2 作为防火墙之后的第二道安全屏障，是识别各种类型攻击的突出且使用最广泛的工具，对维护计算机系统安全和保障网络的正常运行有着十分重要的意义。在深度学习时代之前，有许多经典的机器学习的方法应用于网络入侵检测，例如支持向量机(supportvector machine，SVM)、随 机 森 林(random forest，F)和决策树(decision tree，DT)等方法在入侵检测时取得了良好的效果，然而简单的机器学习方法受到许多限制，入侵数据往往是复杂且多样化，简单的基于规则和传统的机器学习无法解决问题。因此，如天津理工大学学报第 39 卷第 1 期何设计一个基于降维的异常检测方法是目前众多研究者研究的热点之一。基于降维的异常检测方法通常是基于正常数据特征的相互关联假设，并试图找到正常数据子空间的最佳描述方法，然后数据投影到该最佳子空间中，那些具有较大的重构误差的数据则将被认定为异常流量3。文献 4 6 介 绍 了 基 于 主 成 分 分 析(principalcomponent analysis，PCA)降维的工作，在网络入侵检测中被验证的确有一定作用，但 PCA 降维是一种线性变换，面对复杂且冗余的网络流量数据往往无法捕捉其特征间的非线性相关性，因此，基于 PCA 的异常流量检测可能会导致许多误报。自编码器是一种新的降维方法，利用神经网络可以找到捕捉特征间非线性相关性的最优子空间，从而降低网络流量数据的特征维度，减小网络流量数据的冗余性。文献 7 采用自编码器神经网络对网络流量数据的特征进行提取和分类。文献 8 提出了一种基于自 编 码 器 和 长 短 期 记 忆 网 络(long short termmemory，LSTM)的混合深度学习网络的入侵检测方法，该方法先采用自编码器进行网络流量数据的降维和特征提取并用 LSTM 网络处理网络流量数据的顺序性质从而实现对数据的分类。虽然上述两种方法在异常流量分类上取得了一定效果，但使用它们并没有利用好异常样本和正常样本间的差异信息，因此，它们对异常数据的检测率较低，目前正处于研究阶段。表示学习9 是近年来迅速发展的一种新的深度学习方法，采用模型自动学习数据的隐式特征，不依赖专家经验，找到对于原始数据更好的表达，以方便执行后续任务。其中，对比学习作为一种典型表示学习方法，在语音识别、文本分类和图像分类等领域取得了很好的反响10。在面对复杂而冗余的网络流量数据时，文中提出将自编码器和对比学习的深度学习并用的方法，该方法首先用预处理后的数据通过自编码器进行特征降维，然后再优化对比学习损失函数进行端到端训练，并用训练好的模型进行网络数据流量的分类测试，验证该框架的有效性。1基于自编码器和对比学习的入侵检测文中详细描述基于自编码器和对比学习的入侵检测方法，工作流程图如图 1 所示。首先对原始数据进行预处理操作，通过数值化处理把网络流量数据变成可输入模型的数值型数据，再由数值归一化处理消除各维特征因不同量纲可能对模型带来的影响，将经过预处理后的数据输入自编码器和对比学习模型中进行端到端的训练，最后将模型输出结果输入到分类器中得到数据样本的类型。图 1工作流程Fig.1Work flow of this method1.1对比学习近年来，自监督学习成为备受人们关注的热点11，科研人员在对比学习的自监督方法方面进行了大量研究。对比学习这类方法并不要求模型能够重建原始输入，而是希望模型能够在特征空间上对不同的输入进行分辨。例如，人类可轻易辨别出野外的物体，但很难刻画出其物体的细节，这是因为人类通过记住物体的高维特征并忽略微观层面的细节来达到分类的需求，所以只保留足够的特征即可将它与其他物体区分开来。与学习到一些标签信息的判别模型和重新构造输入样本的生成模型不同，对比学习是通过比较输入样本进行表示学习的方法。对比学习不是从单一的数据样本中学习一个表达，而是通过不同样本间的比较学习，在正样本的相似和负样本的不相似间进行比较，相似样本的表示应该紧密映射，而不相似的样本应该在嵌入空间中进一步远离。因此，通过对正样本对和负样本对间的对比学习，可增强模型的表达能力和判别能力。1.2自编码器自编码器是一种无监督学习的深度学习网络模632023 年 2 月宋月，等:基于自编码器和对比学习的入侵检测研究型，通过网络重构可学到输入数据的高效表示。将输入数据进行高效表示可称为编码，其中间层的维度远小于输入数据的维度，并将输入数据压缩后进行潜在的空间表达，因此，可学习到输入数据中最重要的特征表达从而实现降维操作。自编码器的工作原理是通过中间隐藏层让网络结构的输入数据和输出数据尽量相同，在不损失原信息的基础上，寻找对数据最有效的表达。自编码器网络结构如图 2 所示，其结构和多层感知器相似，输入数据一般为无标签的样本特征，在经过线性组合和激活函数操作后进入中间隐藏层，该过程称为编码过程。在隐藏层经过线性组合和非线性激活操作重构原始输入样本过程称为解码过程。图 2自编码器网络结构Fig.2Autoencoder network structure(1)编码过程。在图 2 中，输入向量 xid由输入的 d 维特征被构造成隐藏层的 m(md)维特征，由此将输入数据降维，隐藏层中神经元激活函数为:h=f(x)=(Winputx+binput)(1)式中:x 为输入数据;h 为隐藏层得到 m 维特征向量;为编码权重参数 Winput;Winput为 md 的权重矩阵;binput为编码器的偏置值;为编码器的激活函数。(2)解码过程。将隐藏层得到的数据解码到原始输入的 d，其映射函数为:xi=g(h)=(Whiddenh+bhidden)(2)式中:x为解码后的输入数据;为解码权重参数Whidden;Whidden为 dm 的权重矩阵;bhidden为解码器的偏置值;为解码器的激活函数;h 为非线性函数，所以可学习输入数据间的非线性相关性，文中选用sigmoid 函数作为自编码器的激活函数。1.3基于自编码器和对比学习的入侵检测在基于自编码器和对比学习的入侵检测框架中，文中将模型分为两个组件，编码器和转换头。编码器是学习从输入到一般表示空间的良好映射，而转换头将根据相似性具体选择，将一个或多个表示转换为度量嵌入，用于计算样本间的相似性。转换头则是将编码数据进行映射，再进行对比损失的计算。将自编码器对复杂且冗余的网络流量数据进行降维处理和特征提取，并结合对比学习针对正常流量和异常流量在特征空间不同表示实现高效的网络流量数据的入侵检测。文中引入对比学习算法12 框架设计基于对比学习的网络流量分类器，其核心工作原理是要学习一个映射函数 f，将样本 x 编码为 f(x)，而对比学习最核心的是使 f 满足式(3):s(f(x)，f(x+)s(f(x)，f(x)(3)式中:x 为样本;x+为类似 x 的样本，也称该样本的正样本;x为与 x 不相似的样本，也称该样本的负样本;s(，)为度量样本间相似度的函数，文中采用向量内积来表示其相似程度。将同一类别的数据作为正样本，将不同类别的数据作为负样本，再通过对比编码模型构建一个归一化指数函数分类器进行网络流量的分类。图 3 为自编码器对比学习模型框架，是在文献 12 的基础上设计的入侵检测框架。采用循环神经网络(gate recurrent unit，GU)作为自编码器的基础网络，并采用 3 层的多层神经网络(multi-layerperceptron，MLP)映射头将编码后的数据映射到 128维的潜在空间上。图 3自编码器对比学习模型框架Fig.3Autoencoder-contrastive learning model frame73天津理工大学学报第 39 卷第 1 期通过优化式(4)对比学习损失(contrastivelearning loss，L_ cl)函数端到端学习最优的模型参数。L_ cl=lgef(x)Tf(x+)ef(x)Tf(x+)+ef(x)Tf(x)()(4)2试验数据集和数据预处理2.1试验数据集2.1.1NSL-KDD 数据集NSL-KDD 数据集13 源于 KDD CUP99 数据集，是用于 IDS 评估的最先进的数据集之一。相对 KDDCUP99 数据集，NSL-KDD 数据集不包括冗余和重复的记录。NSL-KDD 数据集中流量记录共被分为 5 类，包括正常流量数据(Normal)和 4 种异常流量数据，其中，异常流量数据分别是监视和其他探测活动(Probe)、拒绝服务攻击(Dos)、普通用户对比本地超级用户的非法访问(U2)和来自远程机器的非法访问(2L)，NSL-KDD 训练集和测试集分布情况如表 1 所示。表 1NSL-KDD 训练集和测试集分布情况Tab.1NSL-KDD distribution of training and testing set数据类型训练样本百分比/%测试样本百分比/%Normal67 34353.4589 71143.075Probe11 6569.2532 42110.740Dos45 92736.4587 45833.080U2520.0412000.8872L9950.7902 75412.2172.1.2UNSW-NB15 数据集与传统的 NSL-KDD 数据集相比，UNSW-NB15 数据集14 更加反映了现代网络的网络流量数据。该数据集包含流特征、基本特征、内容特征、时间特征、额外生成特征和标签特征等共计 42 个特征，其中，有3 个特征是非数值特征，39 个特征是数值特征。UNSW-NB15 包含真实的正常流量和 9 种恶意攻击流量。恶意攻击流量分别是渗透分析(Analysis)、后门(Backdoor)、拒 绝 服 务 攻 击(Dos)、漏 洞 利 用(Exploits)、模 糊 测 试(Fuzzers)、泛 型 攻 击(Generic)、踩 点(econnaissance)、外 壳 代 码(Shell Code)和蠕虫(Worms)，UNSW-NB15 训练和测试分布情况如表 2 所示。表 2UNSW-NB15 训练和测试分布情况Tab.2UNSW-NB15 distribution of training and testing set数据类型训练样本百分比/%测试样本百分比/%Normal56 00031.93837 00044.940Analysis2 0001.1416770.822Backdoor1 7460.9965830.708Dos12 2646.9944 0894.966Exploits33 39319.04511 13213.521Fuzzers18 18410.3716 0627.363Generic40 00022.81318 87122.921econnaissance10 4915.9833 4964.246Shell Code1 1330.6463780.459Worms1300.074440.0532.2数据预处理2.2.1数据数值化在训练深度神经网络模型时，其输入值是一个数值化矩阵，但是在 NSL-KDD 和 UNSW-NB15 数据集中，都存在非数值特征，所以要将数据集中的非数值型特征转为数值型特征。一般在数据预处理过程中，对于非数值特征编码通常采用两种方式:独热(one-hot)编码和映射有序特征。文中采用了 one-hot 编码对非数值特征进行数值编码操作。2.2.2数据归一化为消除各维数据间不同量纲的影响，增强数据样本间的可比性，在数据预处理阶段还应将数据特征进行归一化处理。文中采用 minmax 标准化方法，将数据按比例缩放，最终将数据缩放在 0，1 区间内，所用变换函数为:x*ij=xij min xjmax xj min xj(1 i n，1 j d)(5)式中:n 为该数据集的记录条数;d 为该数据集的特征维数;xij为第 i 行第 j 维数据;x*ij为归一化后的数据;min xj表示取第 j 维中最小的数值;max xj表示取第 j 维中最大的数值。3试验结果和分析在 NSL-KDD 数据集和 UNSW-NB15 数据集中分别试验，验证了基于自编码器和对比学习的入侵检测模型性能。试验使用的硬件环境为 Ubuntu 16.04 的操作系统、内存 64 G，CPU 为 Inter Xeon W21233.60GHZ，GPU 为 GeFore TX 2080Ti(12 G)。软件环境 为 Python3.7、Keras 学 习 框 架 和 Sckit-learn832023 年 2 月宋月，等:基于自编码器和对比学习的入侵检测研究库等。3.1评估指标在评估各种性能指标时，选择了真阳性(TP)、真阴性(TN)、假阳性(FP)和假阴性(FN)作为评估文中工作的基本参数，表 3 为基本评估指标的混淆矩阵表示，说明了各参数间的关系。表 3基本评估指标的混淆矩阵表示Tab.3Confusion matrix representationof basic evaluation indicators预测类别正样本负样本真实类别正样本TPFN负样本FPTN基于上述参数，文中使用以下常用的评估指标测评该算法的性能:(1)准确率(accuracy)。表示正确识别的样本数与整个测试集样本总数之比，计算式为:Facc=TP+TNTP+FN+FP+TN(6)(2)精确率(precision)。表示正确识别正样本数与识别为正样本数之比，计算式为:Fpre=TPTP+FP(7)(3)召回率(recall)。表示正确识别正样本数与真实正样本数之比，计算式为:Frec=TPTP+FN(8)(4)平衡分数(F1)。表示精确率和召回率的调和平均值，可在一定程度上反映模型的稳健性，计算式为:F1=2FpreFrecFpre+Frec(9)3.2试验结果3.2.1NSL-KDD 数据集为突出文中方法对复杂且冗余的网络流量数据具有良好的特征提取，以及针对样本特殊的表示能力，将文中模型与基于深度自编码器高斯混合模型 SOM-DAGMM15、基于降噪自编码器和三支决策 DAE 3WD16、基于 自 编 码 器 和 支 持 向 量 机 模 型 AD-SVM17 和 基 于 自 编 码 器 和 长 短 期 记 忆 模 型 AD-LSTM8 进行比较，不同方法在 NSL_ KDD 数据集中的试验结果如表 4 所示，文中提出的方法在分类的准确率、精确率、召回率和平衡分数等指标上均要优于其他对比方法，这是因为在面对复杂冗余的网络流量数据时，自编码器很好地提取了样本特征并进行降维处理，同时，采用对比损失函数学习同类样本和不同样本的特殊表示，增强对样本的判别能力。表 4不同方法在 NSL-KDD 数据集中的试验结果Tab.4Experimental results of differentmethods in NSL-KDD dataset模型准确率精确率召回率平衡分数SOM-DAGMM0.8770.9120.8830.898DAE3WD0.9260.9620.9050.933AE-SVM0.9300.9510.9180.935AE-LSTM0.9610.9580.9230.940文中研究0.9720.9730.9720.972NSL-KDD 数据集 5 个数据类型的评估指标如图4 所示。Normal，Dos 和 Probe 识别准确率较高，分别可以达到 0.98 以上。但 U2 攻击类型识别准确率较低，只有 0.705，其原因可能是因为该类别的数据样本在训练集中占比很少，只占总训练样本的0.041%，所以该攻击类型在对比学习时，导致本模型对其进行对比学习时，表征能力不足从而导致识别率低下。图 4NSL-KDD 数据集中 5 个数据类型的评估指标Fig.4Evaluation indicators of the five datatypes of NSL-KDD dataset3.2.2UNSW-NB15 数据集将基 于 变 分 自 编 码 器 和 支 持 向 量 机 VAE-SVM18、基 于 光 谱 聚 类 和 深 度 神 经 网 络 模 型SCDNN19、基于一维卷积神经网络和双向长短期记忆网络 CNN-BiLSTM20 和基于卷积神经网络和三支决策 CNN-TWD21 等方法在 USW-NB15 数据集上进行比较，不同方法在 UNSW-NB15 数据集试验结果如表 593天津理工大学学报第 39 卷第 1 期所示。文中算法的检测精度比其他方法效果更具优势，分 别 比 VAE-SVM，CSDNN，CNN-BiLSTM 和CNN-TWD 算法的检测准确率高 6.4%，5.1%，4.5%和 1.4%。表 5不同方法在 UNSW-NB15 数据集中的试验结果Tab.5Experimental results of differentmethods in UNSW-NB15 dataset算法准确率精确率召回率平衡分数VAE-SVM0.8920.8870.8930.890CSDNN0.9050.9170.8960.907CNN-BiLSTM0.9110.9060.9210.913CNN-TWD0.9420.9470.9180.932文中算法0.9560.9600.9550.9574结论文中提出基于自编码器和对比学习的入侵检测算法，通过自编码器去除网络流量数据冗余的特征，并采用对比学习算法模型可更好地对数据样本进行分类，使具有相似特征样本间的距离远大于不相似样本间的距离。通过在两个公共数据集上的对比试验，证明该模型对于网络入侵检测数据有着较高的准确率和精确率。但在一些样本稀疏的情况下，如 NSL-KDD数据集中 U2，识别率并未达到预期效果。所以，如何通过少量样本学习出独特的特征表示并能够和其他样本进行区分，是今后研究的重点。参考文献 1 张行健，王怀彬 基于 CNN-GU 的入侵检测算法研究 J 天津理工大学学报，2022，38(1):3742 2 陈阳，王怀彬 基于生成对抗网络的网络入侵检测系统 J 天津理工大学学报，2021，37(3):2529 3 GAUTAM，SUNIL K，HAI O Computational neural networkregression model for host based intrusion detection system J Perspectives on Science，2016(8):9395 4 CHEN Z M，YEO C K，LEE B S，et al Autoencoder-basednetwork anomaly detection C/Wireless ElecommunicationsSymposium，Phoenix AZ:IEEE Press，2018:15 5 李占波，白全海，申义彩 基于主成分分析的网络入侵检测算法 J 计算机工程，2013，39(5):152155 6 王旭仁，马慧珍，冯安然，等 基于信息增益与主成分分析的网络入侵检测方法 J 计算机工程，2019，45(6):175180 7 高忠石，苏旸，柳玉东 基于 PCA-LSTM 的入侵检测研究 J 计算机科学，2019，46(S2):473476 8 GIUSEPPINA A，APPICE A，NICOLA D M，et al Exploitingthe auto-encoder residual error for intrusion detection C/IEEE European Symposium on Security and Privacy Workshops，Stockholm:IEEE Press，2019:281290 9 ELSAYED M S，LE KHAC N A，DEV S，et al Networkanomaly detection using lstm based autoencoder C/Proceedings of the 16th ACM Symposium on QoS andSecurity for Wireless and Mobile Networks，Alicante:ACMPress，2020:3745 10 BENGIO Y，COUVILLE A，VINCENT P epresentationlearning:areviewandnewperspectives J IEEETransactions on Pattern Analysis and Machine Intelligence，2013，35(8):17981828 11 LE-KHAC，PHUC H，GAHAM H，et al Contrastiverepresentation learning:a framework and review J IEEEAccess，2020，2(8):193907193934 12 WU Z，XIONG Y J，STELLA X Y，et al Unsupervisedfeature learning via non-parametric instance discriminationC/ConferenceonComputerVisionandPatternecognition，Salt Lake City:IEEE Press，2018:37333742 13 CHEN T，KONBLITH S，NOOUZI M，et al A simpleframework for contrastive learning of visual representations C/37th International Conference on Machine Learning，Salt Lake City:IEEE Press，2020:15971607 14 TAVALLAEE M，BAGHEI E，LU W，et al A detailedanalysis of the kddcup99 data set C/IEEE Symposiumon Computational Intelligence for Security and DefenseApplications，Ottawa:IEEE Press，2009:5358 15 MOUSTAFA N，SLAY J Unsw-nb15:a comprehensive dataset for network intrusion detection systems C/MilitaryCommunicationsandInformationSystemsConference，Canberra:IEEE Press，2015:16 16 CHEN Y，NAMI A，SEANGLIDET Y，et al Self-organizingmap assisted deep autoencoding gaussian mixture model forintrusion detection C/IEEE 18th Annual ConsumerCommunications and Networking Conference，Las Vegas:IEEE Press，2020:16042023 年 2 月宋月，等:基于自编码器和对比学习的入侵检测研究 17 张师鹏，李永忠 基于降噪自编码器和三支决策的入侵检测方法 J 计算机科学，2021，8(9):110 18 HANAN H，OBET A，CHISTOS T，et al Utilisingdeeplearningtechniquesforeffectivezero-dayattackdetection J Electronics，2020(9):16841701 19 ZAVA K，SULTA N，MUAT I Anomaly-based intrusiondetection from network flow features using variational autoencoder J IEEE Access，2020，8(10):108346108358 20 MA T，WANG F，CHENG J，et al A hybrid spectralclustering and deep neural network ensemble algorithm forintrusion detection in sensor networks J Sensors，2016，16(10):17011723 21 马明艳，陈伟，吴礼发 基于 CNN_BiLSTM 网络的入侵检测方法 J 计算机工程与应用，2021，4(11):111作者简介:宋月(1998)，女，硕士研究生，研究方向:网络入侵检测。E-mail:Ysong3979 王怀彬(通信作者)(1960)，男，研究员，硕士，研究方向:网络空间安全等。E-mail:hbwang 14