基于课程学习权重集成的贝叶斯结构学习算法研究.pdf
《基于课程学习权重集成的贝叶斯结构学习算法研究.pdf》由会员分享,可在线阅读,更多相关《基于课程学习权重集成的贝叶斯结构学习算法研究.pdf(9页珍藏版)》请在咨信网上搜索。
1、DOI:10.11991/yykj.202305024网络出版地址:https:/ BN 中节点之间互相影响程度的测量,然后划分课程阶段,分阶段构造无向图骨架,并利用优化函数对骨架进行优化;通过集成策略,将各个集成学习结果所得到的课程权重进行集合,并通过边过滤来减少错误边的出现;最后,通过爬山搜索构建 BN 结构。实验结果表明,在 4 个标准数据集上,本文所提方法具有较高的精确度和稳定性。与多种传统贝叶斯结构学习(Bayesiannetworkstructurelearning,BNSL)方法相比,本文所提方法性能平均提高了 37.18%。本文分析结果可为 BNSL 的增量学习过程进一步提供参
2、考。关键词:贝叶斯网络;结构学习;课程学习;权重;边约束;权重互信息;集成学习;无向图骨架中图分类号:TP181文献标志码:A文章编号:1009671X(2024)01000109Bayesian network structure learning based on curriculum learningweight integrationLIUKaiyue,ZHOUYunScienceandTechnologyonInformationSystemsandEngineeringLaboratory,NationalUniversityofDefenseTechnology,Changsha
3、410073,ChinaAbstract:LearningBayesiannetwork(BN)fromalargenumberofcomplexdatahasalwaysbeenadifficultproblem.Basedontheideaofcourselearning,thispaperintroducesameasurementsuitableforthedegreeofmutualinfluencebetweennodesinBNstructure,thendividesthecoursestage,constructstheundirectedgraphskeletoninsta
4、ges,andusestheoptimizationfunctiontooptimizetheskeleton.Throughtheintegrationstrategy,thecourseweightsobtainedfromeachintegratedlearningresultareaggregated,andtheerroredgesarereducedbyedgefiltering.Finally,theBNstructureisconstructedbyhill-climbingsearch.Theexperimentalresultsindicatethatthemethodpr
5、oposedinthispaperexhibitshighprecisionandstabilityonfourstandarddatasets.Comparedwithvarioustraditionalbayesiannetworkstructurelearning(BNSL)methods,themethodproposedinthispapershowsanaverageperformanceimprovementof37.18%.Theanalyticalresultspresentedinthispapercanfurtherprovideinsightsintotheincrem
6、entallearningprocessofBNSL.Keywords:Bayesian network;structure learning;curriculum learning;weight;edge constraint;weighted mutualinformation;ensemblelearning;undirectedgraphskeleton贝叶斯网络(Bayesiannetwork,BN),又称信念网络,在 1985 年由 Pearl1首先提出,是一种模拟人类推理过程、处理不确定性知识的一种图模型。BN 通过有向无环图和条件概率表可以清晰表示出变量之间的关系,帮助进行决策
7、,为不确定性推理体系提供强有力的工具。目前,BN 已成功地应用于概率推理和因果建模的各种任务,同时在风险评估2、故障诊断3、决策系统4、基因序列分析、生物医学图像处理和疾病预测5等领域得到越来越多的应用。目前的 BNSL 方法都是通过训练全部数据样本来进行学习节点之间的依赖关系,容易出现数据量过大、训练时间过长、容易陷入局部最优的问题。由于认知科学的启发,Bengio 等6提出了课程学习(curriculumlearning,CL)的概念,让模型从简单样本学习逐步过渡至复杂样本。CL 在计算机视觉和自然语言处理等多种场景下,在提高各种模型的泛化能力和收敛率方面表现出了强大的能力7。本文基于课程
8、学习思想,提出了一种基于课收稿日期:20230531.网络出版日期:20231215.基金项目:国家自然科学基金项目(62276262);湖南省科技创新计划(2021RC3076);长沙市优秀青年创新者培训班项目(KQ2009009).作者简介:刘凯越,女,硕士研究生.周鋆,男,副教授,博士.通信作者:周鋆,E-mail:.第51卷第1期应用科技Vol.51No.12024年1月AppliedScienceandTechnologyJan.2024程学习权重集成的结构学习(Bayesiannetworkstructurelearningbasedoncurriculumlearningweig
9、htintegration,BN-CW)算法,通过模仿人类学习认知过程,分阶段构造 BN。该算法首先对原始数据集进行采样,对 15 次骨架结构学习执行一次集成学习。对于每个训练样本,衡量节点之间的相互影响程度,从具有简单依赖关系的样本节点到复杂且依赖关系不明显的节点,根据相应课程阶段分配课程权重,将各学习结果所获得的网络边的权重进行集成,并利用边过滤来去除错误的边,将正确的边加入白名单,提高搜索效率和学习结果的精确度。本文的研究重点包括 4 个方面:1)针对网络中节点之间的相互影响程度,提出了一种基于课程权重的互信息公式,相较于传统的互信息公式,可以更好地识别出变量之间的相互影响程度,且可以动
10、态识别出各个课程阶段节点之间相互影响程度的变化。2)基于课程阶段的划分,分阶段构造学习网络框架,在集成迭代中不断强化为修正项的学习,大大减少错误边的出现。3)通过边约束策略增加正确边的可靠性,严格限制了错误边的出现,大大缩小了 BN 的搜索空间,提高了后续搜索算法的效率。4)在不同标准数据集上的实验结果表明,本文提出的 BN-CW 算法可以有效减少 BN 中学习的误差,提高结构学习的效率和准确度。1贝叶斯网络学习相关工作1.1贝叶斯结构学习方法贝叶斯结构学习(Bayesiannetworkstructurelearning,BNSL)方法是给定问题领域中的变量,以及这些变量的相关观测数据,学习
11、变量间的相互影响关系的过程。由于结点间的影响是有向的,需要用一个有向无环的网络结构来描述,结构学习就是寻找与训练数据匹配度最好的 BN 结构。通过大量的样本数据来提炼挖掘变量之间潜在的关系是目前 BNSL 的一个主要趋势。然而由于候选结构的数量随着节点数量的增加呈现指数级的增长数据学习,因此 BNSL 是多项式复杂程度的非确定性问题(non-deterministicpolynomial,NP)8。目前主流的结构学习算法主要有:基于约束结构学习算法(constraint-basedstructurelearningalgorithm,CB)9、基于评分结构学习算法(score-basedstr
12、ucturelearningalgorithm,SB)10以及混合结构学习算法(hybridstructurelearningalgorithm,HS)11。相较于 SB 和 HS 算法,CB 是目前发展较为活跃的算法,主要由评分函数和搜索算法 2 部分组成。学者们侧重于通过对评分函数和搜索算法进行优化以提高算法的求解能力和准确度。评分函数主要包括基于信息论和基于贝叶斯 2 种,具有代表性的评分函数包括 K2 评分(CH 评分)12、贝 叶 斯 狄 利 克 雷 等 价 一 致 先 验(BayesianDirichletequivalentuniformprior,BDeu)评分函数13、贝 叶
13、 斯 信 息 准 则(Bayesianinformationcriterion,BIC)评分函数14等。BN 的搜索空间可以分为有向无环图(directedacayclicgraph,DAG)15、等价类16和节点序搜索空间173 种。大部分的结构学习方法是在 DAG 空间中进行搜索的,但 DAG 搜索空间会随着节点数的增加呈现指数级的增长,常用的搜索策略为爬山搜索18、迭代搜索19、分布估计算法20等。相较于 DAG 搜索空间,等价类空间搜索空间较小,且基于马尔可夫等价类进行划分,存在空间难以判断且复杂的问题。节点序搜索空间是按照节点的拓扑顺序进行划分的,算法的精确度对于节点序具有较强的依赖
14、性21。虽然基于评分函数的搜索算法有较高的准确度和效率,但当数据结构复杂时,搜索空间过大使得算法很难收敛,难以在巨大的搜索空间内寻找到最优的网络结构。为了解决 BN 结构学习中的一些主要问题,许多研究人员已经提出了一些优化策略,包括引入先验知识22、集成学习2324、专家知识整合25和矩阵分解26。但这些方法都是通过将训练样本整体放入算法中进行学习,来发现变量之间存在的依赖关系。在学习一些依赖关系时,不仅学习到的节点之间的数据噪声会影响到节点之间依赖关系的确立,一些无关的样本节点噪声也会干扰学习过程,导致错误依赖关系的建立。虽然一些学者通过 A*剪枝操作27、添加约束28等操作来降低,数据中存
15、在的大量噪声仍然会影响到算法本身的学习过程。1.2课程学习2009 年 的 国 际 机 器 学 习 大 会(InternationalConferenceonMachineLearning,ICML)上 Bengio等6首次在机器学习的背景下提出了课程学习的概念,旨在通过模仿人类认知学习过程,从简单样本出发逐步过渡到复杂样本,使得模型具有更高的效率和准确度。课程学习的本质是非凸优化中延拓方法的扩展,从更平滑的目标函数逐步过2应用科技第51卷渡至不太光滑的函数。随后,很多学者在相应的应用领域寻求课程学习的策略,比如弱监督物体定位29、物体检测30以及神经机器翻译3132等,这些工作均证明了课程学
16、习在小批量抽样中常规培训的明显好处。首次将课程学习策略应用与BNSL 的是文献 33,通过课程学习的思想来增量构建 BN 结构,并将各个阶段学习到的 DAG 结构作为下一阶段的初始网络结构,最终学习到完整的网络结构。课程学习虽然在各个领域都取得了较为显著的成功,但主流著作中对于课程学习的研究仍相对较少,尤其是在贝叶斯结构学习方面。考虑到前期课程阶段学习结果对后续课程阶段的影响,一旦前期课程阶段学习到错误边,会误导后续课程阶段的继续学习错误边。因此本文在前文研究的基础上,不再将前期课程阶段学习到的结果直接用于后续的课程学习,而是通过分配课程权重和权重集成约束的方式,将上一阶段的课程学习结果仅作为
17、后续课程学习的参考,通过权重约束逐步减少错误边的出现,提高可靠边的数量。2BNSL 基本概念2.1贝叶斯网络X1,X2,XnBN 由 DAG 和 对 应 的 条 件 概 率 表 组 成。DAG 中的节点表示随机变量,这些变量涵盖范围较为广泛,可以是可观测到的变量、隐变量,或者是未知参数等。节点之间的有向边表示 2 个节点之间存在依赖关系并非条件独立的,其关系的依赖程度用条件概率表示。BN 结构的数学表示为G=(V,E)VE式中:为 BN 中的所有节点的集合,为 BN 结构中存在的边的集合。BNSL 的目标是通过学习得到与样本数据集拟合度最高的网络结构。评分函数通常被用于判断 BN 的好坏。本文
18、采用 BIC 评分函数,BIC 是在样本满足独立同分布假设的前提下,利用对数似然来衡量结构与数据之间的拟合程度。BIC(S|D)=ni=1qis=1rik=1misklogisk12ni=1qi(ri1)logmqiximiskxisxikisk0 isk 1式中:为变量 父节点值组合的数量;为 的父节点取 的值,取 值时的样本数量;是似然条件概率,。2.2权重互信息的构建为了更好地划分课程阶段,衡量样本节点之间的相互影响程序,提出了权重互信息(weightsofmutualinformation,WMI)。XsXtXsXt定义 1已知数据集 D 中 2 个节点变量和,其和之间的相互影响程度
19、WMI 的计算公式定义如下:WMI(Xs,Xt)=arg maxXs,XtXI(Xs,Xt)nW(Xs)=arg maxXs,XtXxsXxtX(xs,xt)log(xs,xt)(xs)(xt)nInd(Xs)I(Xs,Xt)XsXtW(Xs)Ind(Xs)Xs式中:是节点和的互信息;为节点的课程权重值;为节点在课程集合中的位置,即权重由课程节点在课程中的学习次序决定。3基于 BN-CW 的贝叶斯结构学习本文主要是基于课程学习权重集成的思想来分 阶 段 构 建 贝 叶 斯 网 结 构,利 用 爬 山 法(hillclimbing,HC)搜索到最终的网络结构,图 1 给出了算法的整体框架。课程阶
20、段采样后数据数据集采样边约束ABDTSABCDTS骨架结构爬山法贝叶斯网络数据采样课程学习骨架学习优化权重集成.C1C2.CnC1C2CnC1C2CnC1C2Cn.ABCTDSABCTDSABCTDSABCDSTABCDSTABCDSTABCDST.ABCDSTABCDSTABCDST.ABCDSTABCDSTABCDST.ABCDST.ABCDSTABCDST.ABCDSTABCTDSA B D E T SA 0 2.4 0.41.51.7 1.1B 0.2 0 0.30.4 3.2 0.5D 0.40.3 0 1.2 0.9 2.8E 1.5 0.41.2 0 0.2 0.8T 1.7 3
21、.20.9 0.2 0 0.7S 1.10.50.2 0.8 0.7 0A B D E T SA0B 0.2D 0.4E 1.5T 1.7S 1.12.400.30.43.20.50.40.301.20.90.21.50.41.200.20.81.73.20.90.200.71.10.52.80.70.70AA 00.2 000.40.30.30.40.41.21.20.90.50.20.20.20.80.80.70.70001.51.71.10.41.51.71.10.52.4BB3.2DD2.8EETT3.20.9SS图1BN-CW 算法框架第1期刘凯越,等:基于课程学习权重集成的贝叶斯结
22、构学习算法研究3算法分为 4 个阶段:1)集成采样过程。通过 Bagging 集成抽样,通过可重复的抽样技术生成多个数据集。WMI(Xi,Xj)HiCiG2)课程学习阶段。利用,选择候选节点与课程节点集合中各节点相关性最强的节点作为下一个课程节点。根据课程阶段,得到课程节点之间的依赖关系,得到无向初始网络结构,不同的课程权重分配给学习的边。3)集成学习阶段。根据集成学习的结果,通过评分优化函数对每次得到的无向图骨架进行迭代优化,得到每条边集成后的权重值。Wk4)边过滤与搜索。通过集成学习优化得到的骨架,得到无向图骨架权重表示,通过设置阈值删除权重不满足阈值 的边,将得到的骨架作为初始 DAG,
23、通过爬山算法和 BIC 评分函数得到最终的 BN 结构。3.1课程阶段的划分C=Q1,Q2,QnBN-CW 算法构建基于课程学习的 BN,在培训步上训练标准序列。图 2 给出了 BN 构建的课程匹配机制、计算节点间以及节点与集合之间的相互影响程度,划分课程阶段,对不同课程阶段学习到的边匹配不同的权重。ABCDEFC1C2C3C4数据集课程ABCDEFABCEFABCDEFD图2BN 构造的课程匹配机制3.1.1初始节点的选取信息熵表示信息流中的平均信息量。对于由多个离散信源组成的信息,其信息熵可以用信源概率的负对数的均值来表示。H(X)=Elogpi=ni=1logpinpi式中:为信息源出现
24、的概率,n 为信息源个数。X1根据信息熵的定义,对于一个事件,整体概率越小,包含的信息量越大。扩展到网络中的节点,信息熵越小,节点包含的信息量越少,越容易学习。按照由浅入深的思路,初始节点满足:X1=argminXiXH(Xi)3.1.2后续课程节点的选取根据课程学习的思想,为了考虑不同课程阶段下课程节点与候选节点之间整体影响程度的变化,通 过 WMI 来 衡 量 变 量 之 间 的 关 联 方 式,WMI 可以更加准确描述变量可能存在的依赖关系,且不受数据节点序列的影响,更具有鲁棒性。CiHi定义 2将数据集 D 中的节点划分为课程节点集合和候选节点集合,其划分依据如下:C1 X1,X1=a
25、rgminXiXH(Xi)Ci Xj,CWMIXj=argmaxXiCi1,XjHi1WMI(Xi,Xj)H1=X/X1,i=1Hi=X/Ci,i,1DXiCi定义 3数据集中候选节点与课程集合中各课程节点的最大权重互信息定义如下:CWMIXj=maxXiCi,XjHiWMIXj通过衡量各个候选节点集合节点与课程节点之间的权重互信息,将满足条件的候选节点加入下一阶段的课程节点。3.2初始网络构建3.2.1无向图骨架构建SiSbicsEsEdEdeijSi1SbiWi本文采用集成优化的思想对原始数据进行采样,每隔 15 次设置一次集成学习。对于每个训练样本,课程学习构造的骨架被用作先验知识,对每
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 课程 学习 权重 集成 贝叶斯 结构 算法 研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。