![点击分享此内容可以赚币 分享](/master/images/share_but.png)
面向加密恶意流量的噪声标签检测方法.pdf
《面向加密恶意流量的噪声标签检测方法.pdf》由会员分享,可在线阅读,更多相关《面向加密恶意流量的噪声标签检测方法.pdf(5页珍藏版)》请在咨信网上搜索。
1、技术应用DOl:10.12379/j.issn.2096-1057.2023.10.13,TechnicalApplications面向加密恶意流量的噪声标签检测方法童家铖陈伟倪嘉翼李频(南京邮电大学计算机学院、软件学院、网络空间安全学院南京2 10 0 2 3)(O)A Noisy Label Detection Method for Encrypting Malicious TrafficTong Jiacheng,Chen Wei,Ni Jiayi,and Li Pin(School of Computer Science,Nanjing University of Posts and
2、Telecommunications,Nanjing 210023)Abstract Processing noisy datasets remains a challenge for training and evaluating data drivenencrypted malicious traffic detection models.A noise label detection method based on KRPD-DTwas proposed,which used differential training to train two identical models simu
3、ltaneously,extracted the training losses of samples in the two models,and detected noise samples based on thedifferences in training behavior between clean samples and noise samples.At the same time,inorder to amplify the difference in loss between samples,a relative noise weight estimation methodba
4、sed on KLIEP-RPD was proposed to estimate the relative probability density of each sample andused it as the weight of the sample loss behavior.This method effectively recovered theperformance of the malicious DoH traffic detection model after cleaning the CIC-DoHBrw2020dataset.Experiments verified t
5、hat this method had good stability and outperformed other noisedetection methods.Key words noisy label detection;noise weight;encrypt malicious traffic;DoH traffic;differentialtraining摘要对于基于数据驱动的加密恶意流量检测模型的训练及其评估,处理有噪声的数据集仍然是一项挑战,提出了一种基于KRPD-DT的噪声标签检测方法,使用差分训练的思想同时训练2 个相同的模型,提取样本在2 个模型中训练的损失,根据干净样本和
6、噪声样本在训练行为上的差异性检测出噪声样本.同时,为了放大样本间损失上的差异,提出了基于KLIEP-RPD的相对噪声权重估计方法,估计每个样本的相对概率密度,并把它作为样本损失行为的权重.该方法在对CIC-DoHBrw2020数据集清洗过后,有效地恢复了恶意DoH 流量检测模型的性能,实验验证了该方法具有不错的稳定性,并超过了其他几种噪声检测方法.关键词噪声标签监测;噪声权重;加密恶意流量;DoH流量;差分训练中图法分类号TP393.08收稿日期:2 0 2 3-0 5-17基金项目:国家重点研发计划项目(2 0 19YFB2101704)通信作者:陈伟()引用格式:童家铖,陈伟,倪嘉翼,等.
7、面向加密恶意流量的噪声标签检测方法J.信息安全研究,2 0 2 3,9(10):10 2 3-10 2 7网址http:/11023信息安全研究第9 卷第10 期2 0 2 3 年10 月Journalot lmformation Security BesearchVol.9No.10Oct.2023随着人工智能技术应用领域的扩展,越来越多的研究着眼于基于人工智能的网络安全防护,特别是在网络流量检测任务研究上取得很大进展1-2.然而,基于人工智能的方法难免会遭受噪声标签的干扰,尤其是在加密恶意流量检测领域,专家都很难分辨样本的真实标签,确保大规模数据集中所有标签的正确性是非常具有挑战性的,因为
8、产生加密恶意流量的技术和工具十分复杂且不断演变.这也影响了现在针对加密恶意流量检测模型的稳定性,进而增大了系统被恶意入侵的风险。近年来,有不少噪声标签检测方法被提出,主要分为3 类:1)剔除潜在的噪声标签数据;2)提高模型对于带噪声数据集的训练表现;3)检测出噪声标签后予以修正再进行训练.但是在二分类的加密恶意流量检测场景下,对攻击样本的数据收集本身有难度,并且恶意流量检测模型的精准度要求也比其他图片、语言类应用模型要高,因此第1类和第2 类方法并不适用于网络安全领域,而第3类方法也存在噪声标签检测精度不理想的问题综上所述,处理有噪声的数据集以改进加密恶意流量检测模型的训练及其评估仍然是一项挑
9、战.为此,本文提出了一种基于样本噪声权重计算与差分训练(KLIEPbased relative probabilitydensity and differential training,KRPD-DT)的噪声标签检测方法,使用差分训练的思想记录样本在2 个相同结构模型中训练的损失,根据干净样本和噪声样本在训练行为上的差异性来检测出噪声样本.同时,使用基于KLIEP-RPD的相对噪声权重估计方法,估计每个样本的相对概率密度,把它作为样本损失行为的权重来放大样本间的损失差异.本文针对恶意DoH加密隧道流量的检测场景验证了该方法的有效性。1相关工作检测和去除噪声标签对于确保机器学习模型的准确性和稳健
10、性至关重要.近年来,国内外关于噪声标签检测的研究比较多.Ren等人3 提出了一种元学习算法,该算法根据训练样本的梯度方向为其分配权重,为了确定样本权重,该方法对当前的小批量样本权重执行元梯度下降步骤,以最大限度地减少干净无偏验证集的损失.实验证明该方法在类不平衡和损坏标签问题上实现了不错的性能,但是在高噪声率的数据集上表现不佳.Arazo等人4提出了一种贝塔混合模型作为样本损失值的无监督生成模型,以此在训练期间估计样本被错误标记的概率,并通过深度神经网络的预测来校正损失.Xu等人5提出了一个通用框架来降低训练数据的噪声水平,用于训练任何基于机器学习的Android恶意软件检测,该框架利用2 个
11、相同的深度学习分类模型的所有中间状态,为每个输人样本生成噪声检测特征向量,并应用一组异常值检测算法降低给定训练数据的噪声水平,该方法在3 种Android恶意软件数据集上都取得了较好的降噪效果5。22本文方法2.1总体设计本文基于差分训练的思想进行改进,为样本计算相对噪声权重来更好地区分干净样本和噪声样本.整体方法架构如图1所示:下采样训练噪声检测模型训练噪声检测模型提取样本加权提取样本加权损失行为矩阵损失行为矩阵原始带噪声数据集离群点检测图1KRPD-DT方法架构10241下采样离群点检测差分训练选代清洗后的数据集技术应用.TechnicalApplications本文利用迭代的思想,在每个
12、迭代中通过训练2 个结构相同的深度学习模型,获取每个样本在训练过程中的训练行为,这里的训练行为由样本在训练期间的每个epoch产生的损失串联形成,然后给每个样本的训练行为乘以一个权重KLIEP-RPD,形成最终的样本损失矩阵.最后根据干净样本和噪声样本在损失上的差异性,将其送人离群点检测算法,进行噪声标签的检测.在进行多个迭代后可以有效地降低数据集中的噪声样本数量,从而提高模型再训练的精度,优化增量模型的检测效果.下面将对该方法的各个模块进行介绍.2.2木构建差分训练模型在本文提出的噪声标签检测方法中,使用CIC实验室的DoH数据集,将其中的标签按百分比进行随机翻转,作为原始噪声数据集,称之为
13、WS.随后在WS中使用Down Sampling下采样方法分离出一部分带噪数据集,我们将这一部分带噪数据集称为DS.在生成WS和DS后,这2 部分带噪数据集将分别送人2 个结构相同的LSTM模型进行训练,需要同时训练2 个模型,分别称为WS-LSTM 和 DS-LSTM,使用 Keras 建模并保持2个模型的初始状态、参数设置以及网络结构的一致.在每次的迭代训练中采用差分学习率的方法进行训练,随着每次的训练,动态地更新WS-LSTM和DS-LSTM的学习率,并且始终保持2 个模型的学习率一致.2.3建立样本加权损失行为矩阵KLIEP-RPD是基于KLIEP的相对概率密度(RPD)估计方法,根据
14、不同类别标签噪声的对比度来衡量一个样本是否为噪声样本的概率.根据文献6 中的结论,噪声点会影响模型拟合过程中的决策曲线,即模型在拟合不同标签的异质样本时噪声样本的概率密度是稀疏的;当模型在拟合相同标签的同质样本时概率密度保持稠密.因此,可以定义来自不同类的样本概率密度为异质概率密度P(X=;IYy,),来自同一类的样本概率密度为同质概率密度P(X=IY=y;),并将 RPD定义为两者的比率,这样噪声样本的RPD就比较大,而干净样本的RPD就比较小,因此有助于放大干净样本和噪声样本间的差异.P(X=Y+y)RPD(X)=P(X=/Y=y)式(1)定义的相对概率密度具有自然的比率结构,因此可以直接
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 面向 加密 恶意 流量 噪声 标签 检测 方法
![提示](https://www.zixin.com.cn/images/bang_tan.gif)
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。