基于特征置信度的无源域自适应方法.pdf
《基于特征置信度的无源域自适应方法.pdf》由会员分享,可在线阅读,更多相关《基于特征置信度的无源域自适应方法.pdf(12页珍藏版)》请在咨信网上搜索。
1、第40卷 第4期2023年8月工程数学学报CHINESE JOURNAL OF ENGINEERING MATHEMATICSVol.40 No.4Aug.2023doi:10.3969/j.issn.1005-3085.2023.04.001文章编号:1005-3085(2023)04-0511-12基于特征置信度的无源域自适应方法王世鹏,孙剑,徐宗本(西安交通大学数学与统计学院,西安 710049)摘要:由于隐私保护和数据安全等原因,传统的域自适应问题通常假设神经网络在向目标域迁移时源域数据是可读取的。假设并不总能被满足,为此提出一种无源域自适应方法,不需要读取源域数据,即可实现神经网络由
2、源域向目标域的迁移。该方法将目标域数据依置信度的高低划分为两部分,并基于分而治之的策略设计伪标签。对于高置信度数据,直接将神经网络预测作为伪标签;低置信度数据的伪标签则由神经网络的预测和周围高置信度数据的标签共同决定,这一过程被建模为一个优化问题,由优化问题的解析解给出了低置信度数据的伪标签。为更好地估计低置信度数据的伪标签,利用在低置信度数据上的信息最大化损失促使这些数据特征具有很好的聚类结构;同时,在高置信度数据上使用自监督损失,使得高置信度数据尽可能均匀的分散在特征空间中,从而保证每一个低置信度数据周围都存在高置信度数据。实验结果表明,本文所提方法不仅超过了最新的无源域自适应方法的表现,
3、还取得了优于传统的域自适应方法的表现。关键词:无源域自适应;伪标签;置信度分类号:AMS(2010)68T45中图分类号:TP183文献标志码:A0引引引言言言经过近十年的复兴与发展,深度学习方法在众多领域取得了跨越式的发展,并且在很多问题中都取得了重大的突破,特别是在计算机视觉中的分类1、检测2和分割3等任务。在大部分的深度学习方法中,神经网络需要在大量标注的有监督的训练数据上学习知识,然后在测试数据上实现分析、预测等目的。在很大程度上,深度学习的成功源自训练数据和测试数据是独立同分布的假设。当训练数据与测试数据的分布不一致的时候,神经网络很难泛化到测试数据上,这是目前深度学习方法面临的主要
4、挑战之一。为解决该挑战,域自适应问题被提出并得到了极大的关注。在域自适应问题中,神经网络从有标注的源域数据中学习知识,并希望将所学的知识迁移到服从不同分布的未标注的目标域数据上45。很多域自适应方法假设在实现迁移的过程中,源域数据与目标域数据同时存在69。这类方法的核心思想是减小源域数据与目标域数据在特征空间中的分布差异。收稿日期:2023-05-09.作者简介:王世鹏(1991),男,博士.研究方向:深度学习与优化.基金项目:国家自然科学基金(12125104).512工程数学学报第40卷然而在实际应用中,由于隐私保护和数据安全的需要,源域数据可能无法直接获取。比如,银行中的客户数据和医院的
5、病人数据,由于受到法律的保护,未经授权不能提供给第三方用于域自适应的问题。限制读取源域数据对域自适应问题带来了新的挑战。当这些源域数据不可用时,源域数据与目标域数据在特征空间中的分布差异无法被直接度量,这使得传统的域自适应方法不再适用。无源域自适应问题的目标是仅仅依赖在源域上学到的神经网络和无标签的目标域数据来实现从源域向目标域的迁移。具体来说,该问题提供基于源域数据的预训练神经网络,要求在不读取源域数据的前提下,仅通过无标签的目标域数据优化预训练的神经网络,以提高其在目标域数据上的表现。相比于传统的域自适应问题,该问题强调了隐私保护和数据安全,具有重要的研究价值,同时也面临着极大的挑战。由于
6、传统的减小源域数据与目标域数据在特征空间分布差异的思想不再适用,为了解决无源域自适应问题,常见的手段是伪标签的方法1012。伪标签方法的思路是利用在源域数据上预训练的神经网络,充分挖掘目标域数据的信息,并估计目标域数据的伪标签,然后利用目标域数据和对应的伪标签来优化预训练的神经网络。但是,由于分布差异的影响,所估计的伪标签信息是极其不准确的。因此,如何提高伪标签的准确率是解决无源域自适应问题的核心挑战。已有的无源域自适应方法常常利用聚类的思想来估计目标域数据的伪标签。SHOT10在估计了伪标签后,利用伪标签构造了有监督的数据对,并采用信息最大化的无监督损失来优化预训练模型。进一步地,SHOT额
7、外考虑使用自监督学习的技术促使神经网络能够学到更好的表示。虽然Yang等人12提出的NRC方法也是基于聚类的思想估计伪标签,但是NRC考虑了伪标签的局部一致的光滑性约束。为了准确估计目标域数据的伪标签进而实现预训练模型向目标域数据的迁移,本文提出了一种基于目标数据在特征空间的置信度的分而治之地估计伪标签的方法(Feature-Confidence-based Divide and Conquer,FCDC)。FCDC方法的核心思想是将目标域数据按照置信度的高低分为两部分,然后为这两部分数据分别制定估计伪标签的策略和优化预训练神经网络的策略。如果预训练的神经网络在数据上能取得可信且稳健的预测,那
8、么该数据被认为是置信度高的数据,否则是置信度低的数据。在置信度高的数据上,本文利用聚类的思想估计其伪标签,并基于伪标签构造有监督的交叉熵损失用于优化预训练的神经网络。对于置信度低的数据,本文基于在特征空间中近邻数据的标签应保持一致的先验假设,利用近邻的置信度高的数据的伪标签信息协助得到置信度低的数据的伪标签;为了实现这一思想,本文将求解置信度低的数据的伪标签问题建模为一个优化问题,通过该优化问题的解析解可以轻松地获得对应数据的伪标签。为了更好地估计低置信度数据的伪标签,本文进一步考虑了在低置信度数据上的信息最大化损失和在高置信度数据上的自监督损失。在低置信度数据上的信息最大化损失是为了促进由预
9、训练的神经网络提取到的特征具有很好的聚类结构。在高置信度数据上的自监督损失则是为了让这些高置信度数据的特征尽可能均匀的分散在特征空间中,从而使得每一个低置信度数据的邻域都存在尽可能多的高置信度数据。综上所述,本文的主要贡献总结如下:1)提出了一种新的筛选高置信度数据的方法。筛选的依据是预训练神经网络是否能第4期王世鹏,等:基于特征置信度的无源域自适应方法513取得可信且稳健的预测;2)基于筛选得到的高置信度数据和低置信度数据,分别设计不同的估计伪标签的策略,用于在目标域数据上进一步优化预训练神经网络;3)通过在公开数据集上进行实验,验证了本文所提方法能够在无源域自适应问题中取得令人满意的结果。
10、本文的结构如下:首先,在第1节回顾无源域自适应问题的相关工作;然后,在第2节介绍无源域自适应问题,并给出本文所提的方法;接着,在第3节通过实验验证本文所提方法的有效性;最后,在第4节对本文进行总结。1相相相关关关工工工作作作1.1域自适应方法研究进展大部分域自适应方法的思想是通过对齐源域数据与目标域数据在特征空间的分布来解决分布不一致的问题。早期的域自适应方法1315,采用特征的矩对齐的方式来对齐特征。后来出现大量依赖于对抗训练的方法来对齐分布,典型的方法包括DANN16、CDAN8等。Huang和Qi17则是通过最小化最大均值差异的方法来对齐分布,最大均值差异在希尔伯特再生核空间中衡量源域数
11、据特征和目标域数据特征的分布差异。Long等人18提出深度域自适应网络,使用多核选择方法进行均值嵌入匹配。Gu等人19提出在球面上利用伪标签来解决域自适应问题。最近,最优传输模型也被用于解决域自适应问题20。1.2无源域自适应方法研究进展与传统的域自适应问题不同,无源域自适应问题要求在限制读取源域数据的前提下,将在源域上预训练的神经网络迁移到目标域数据,这是一个更具挑战性的设置。为此,SHOT10基于伪标签的策略,利用信息最大化和熵最小化的思想,在目标域数据上无监督地优化预训练地神经网络。G-SFDA21通过考虑数据地邻域结构来实现迁移。A2Net22引入了一个额外的分类器,并通过对抗的策略,
12、来实现源域和目标域地对齐。SoFa23则是通过变分自编码网络在隐空间中编码目标域的数据分布,并利用解码器在原图空间中重构输入的图像,以此来实现对齐分布的目标。上述方法中,大部分方法都仅优化主干神经网络,而固定最终的分类器网络来保留相关的类别信息。2基基基于于于特特特征征征置置置信信信度度度的的的伪伪伪标标标签签签方方方法法法本节首先概述无源域自适应的问题设置,然后详细介绍本文所提出的基于特征置信度的分而治之地估计伪标签的方法。2.1问题设置无源域自适应问题包含两个阶段:预训练阶段和迁移阶段。在预训练阶段,参数为w的神经网络f(,w)在有标签的源域数据Ds=xsi,ysiNsi=1上学习知识,其
13、中xsi表示源域的数据,ysi表示对应的标签。此时只有源域的数据是可用的。神经网络f(,w)包含514工程数学学报第40卷两个模块,特征提取模块g和分类器h,并且有f=h g,其中表示函数的复合操作。预训练阶段结束后,保存得到的预训练神经网络f(,w0)。迁移阶段的目标是通过在没有标签的目标域数据Dt=xtiNti=1上优化神经网络f(,w0),使得f(,w0)可以在目标域数据上取得令人满意的表现。在迁移阶段,目标域数据的分布不同于源域数据的分布,并且源域的数据不再可用。容易发现,若想提高神经网络在目标域上的表现,可以从两方面下手。一方面是,提高预训练网络f(,w0)的泛化能力。f(,w0)的
14、泛化能力越好,意味着其在目标域数据上的初始表现越好。另一方面是设计好的迁移方法,这是目前大多数相关方法的着手点,也是本文关注的焦点。在给出本文所设计的迁移方法之前,先简单地讨论如何得到预训练网络f(,w0)。为保证与其他方法的比较保持公平客观,本文得到预训练模型的方法与其他工作中的方法保持一致。具体来讲,本文在源域数据上通过关于参数w最小化标准的交叉熵损失Lsrc=1NsNsi=1Kk=1qsiklogk(f(xsi,w)(1)来得到神经网络f(,w0)。式中K表示类别数量;qsik表示数据xsi的标签编码的第k个元素,即数据xsi是第k类的真实概率;k(a)=exp(ak)jexp(aj)表
15、示由Softmax函数输出的K维向量的第k个元素,即神经网络把数据xsi预测为第k类的概率。一般来讲,如果数据xsi属于第k类,那么qsik=1,否则qsik=0。但为了提高神经网络的判别能力和泛化性,这里同其他方法一样,也采用了标签光滑化的技巧。标签光滑化有助于数据在特征空间中呈现出更好的聚类结构24。在使用了标签光滑化技术后,目标函数(1)变为Llsrc=1NsNsi=1Kk=1qlsiklogk(f(xsi,w),(2)其中qlsik=(1 )qsik+K(3)表示平滑后的标签,为平滑因子,一般设置为0.1。2.2方法框架本小节将详细介绍本文所提出估计伪标签的方法FCDC。所提方法基于目
16、标域数据在特征空间中的置信度,采用分而治之的方法,来估计目标域数据的伪标签。为此,首先要解决如何划分目标域数据的问题。FCDC法按照置信度的高低来划分目标域数据,这将在第2.2.1节展开介绍。随后,在第2.2.2节和第2.2.3节分别介绍如何估计高置信度数据和低置信度数据的伪标签,并在第2.2.4节引入信息最大化损失和自监督损失作为正则项。最后,在第2.2.5节简短地总结FCDC方法。第4期王世鹏,等:基于特征置信度的无源域自适应方法5152.2.1依置信度高低划分目标域数据首先来介绍本文所提的FCDC法中划分目标域数据的策略。FCDC法按照置信度的高低将目标域数据划分为两部分,置信度的高低则
17、是由预训练神经网络f(,w0)是否能取得可信且稳健的预测来定义。如果f(,w0)针对目标域数据xti预测的类分布接近于独热编码,即在某一个类别的预测得分显著高于在其他类别上的预测得分,并且在神经网络f(,w0)被优化后,对目标域数据xti预测的类别保持不变,那么目标域数据xti便是高置信度数据。为此,本文首先估计目标域所有数据的伪标签,接着利用该伪标签优化预训练神经网络f(,w0),然后利用优化后的神经网络提取特征,并再次估计目标域所有数据的伪标签。如果优化前后,目标域数据xti的伪标签保持不变,且在对应类别上的预测得分高于指定阈值,便把xti归为高置信度数据。本文假设高置信度数据的伪标签是可
18、靠的,所以保留在高置信度数据的伪标签,用做高置信度数据的监督信号。为提高效率,这里仅在所有目标域数据上优化一次预训练神经网络f(,w0),具体过程如下。估计伪标签这里首先利用预训练神经网络f(,w0),按照c0k=ik(f(xti,w0)g(xti)ik(f(xti,w0)(4)估计目标域数据中每一类的类均值,其中c0k表示第k类的类均值。这些类均值能够可靠且鲁棒的反映目标域数据在特征空间中的分布。然后,按照近邻分类器 yt0i=argminkd(g(xti),c0k)(5)获得目标域样本xti的初始伪标签,其中d(a,b)是a和b的余弦距离的度量。接下来,利用估计的初始伪标签重新估计目标域中
19、每一类的类均值,并得到样本的最终伪标签c1k=iI(yt0i=k)g(xti)iI(yt0i=k),(6)yti=argminkd(g(xti),c1k),(7)其中I(y0t=k)为指示函数;yti表示目标域样本xti的伪标签。利用伪标签优化预训练神经网络在获得了目标域样本的伪标签后,本文基于伪标签,利用交叉熵损失,以w0为初始化,迭代更新神经网络的参数,获得参数为w0的神经网络f(,w0):w0=argminw1NtNti=1Kk=1I(yti=k)logk(f(xti,w),(8)为提高效率,这里仅在目标域样本上迭代更新一轮。再次估计伪标签基于在目标域上优化后的神经网络f(,w0),利用
20、公式(4)(7)给出的估计伪标签的过程,再次估计目标域所有样本的伪标签,为表述方便,将本次估计的样本xti的伪标签记为 yti。516工程数学学报第40卷依置信度高低划分目标域数据在本文中,高置信度数据要满足两点要求:(a)神经网络以显著高的预测得分将数据分为某一类,这里预测得分可以由Softmax得到;(b)神经网络能够稳健地将数据分为同一个类别,即神经网络在优化前后,对数据类别的预测保持不变。基于这两点,本文定义高置信度数据为Dth=(xti,yti)|yti(f(xti,w0)a,argmaxkk(f(xti,w0)=yti,yti=yti,(9)其中 yti(f(xti,w0)表示神经
21、网络f(,w0)将目标域数据xti预测为第 yti类的预测得分;a是给定的阈值,本文令a=0.8;argmaxkk(f(xti,w0)=yti表示神经网络f(,w0)的预测类别与伪标签一致;yti=yti要求前后两次估计的xti的伪标签一致。目标域中除高置信度数据外的其他数据即为低置信度数据,可表示为Dtl=xti|xti Dt,xti/Dth.(10)至此,目标域数据被依置信度高低划分为两部分Dth和Dtl,其中Dth表示高置信度数据及对应的伪标签的集合,Dtl表示低置信度数据的集合。2.2.2高置信度数据的伪标签及损失函数由公式(9)的定义可以知道,对于高置信度数据(xthi,ythi)D
22、th,本文直接将预训练的神经网络f(,w0)的预测 ythi作为伪标签,并在高置信度数据集上定义如下交叉熵函数用于在目标域数据上训练神经网络f:Lh(w)=1|Dth|Dth|i=1Kk=1I(ythi=k)logk(f(xthi,w),(11)其中|Dth|表示高置信度数据的个数。2.2.3低置信度数据的伪标签及损失函数对于低置信度数据xtli Dtl,考虑到在特征空间中邻近数据的标签应保持一致的光滑性假设,本文利用特征空间中数据xtli邻近的J个高置信度数据来估计其伪标签,这可以通过拉普拉斯正则化实现。具体地,令zi是低置信度数据xtli的概率单纯形,即zi K1=z 0,1k|1z=1,
23、令pi K1为由神经网络f预测得到的xtli的概率单纯形K1中的元素,即pik=k(f(xtli,w),本文通过关于zi最小化C(zi)=KL(zi|pi)Jj=1dijzizhj(12)求得最优值zi,进一步可得到xtli的伪标签。在式(12)中,KL表示Kullback-Leibler散度;dij=d(g(xtli),g(xthj)表示在特征空间中低置信度数据xtli与高置信度数据xthj的余弦相似性,相似性越大,表明两个数据在特征空间中距离越小;zhj K1且zhjk=第4期王世鹏,等:基于特征置信度的无源域自适应方法517k(f(xthj,w)表示由神经网络f预测得到的高置信度数据的概
24、率单纯性。最小化式(12)的第二项(负拉普拉斯正则项)是希望找到使内积zizhj最大的zi,从而使低置信度数据xtli和邻近的高置信度数据xthj属于同一类别。优化问题(12)的解析解及伪标签关于zi最小化C(zi)的过程中,要满足ziK1的约束,因此本文通过拉格朗日乘子法来求解优化问题(12)。优化问题(12)对应的拉格朗日函数为C(zi,i)=KL(zi|pi)Jj=1dijzizhj+i(1zi 1),(13)其中i为拉格朗日乘子。容易得到C(zi,i)关于zi的导数为ziC(zi,i)=(1+i)1+logzi logpiJj=1dijzhj.(14)令ziC(zi,i)=0,可以得到
25、最优解zi=(pi exp(Jj=1dijzhj)exp(i 1).(15)进一步,考虑到1zi=1,可以得到拉格朗日乘子为i=log(1(pi exp(Jj=1dijzhj)1.(16)将式(16)代入式(15),可以得到优化问题(12)的最优解的解析形式zi=pi exp(Jj=1dijzhj)1(pi exp(Jj=1dijzhj),(17)其中zi=zi1,zi2,ziK是一个K维向量。进一步,可以由ytli=argmaxkzi(18)得到向量zi中最大元素对应的索引ytli,即为xtli的伪标签。损失函数在得到Dtl中每一个低置信度数据xtli的伪标签ytli后,本文在这些低置信度数
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 特征 置信 无源 自适应 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。