基于几何感知双流网络的无监督域自适应模型.pdf
《基于几何感知双流网络的无监督域自适应模型.pdf》由会员分享,可在线阅读,更多相关《基于几何感知双流网络的无监督域自适应模型.pdf(12页珍藏版)》请在咨信网上搜索。
1、第 卷第 期计算机应用与软件 年 月 基于几何感知双流网络的无监督域自适应模型韩彦净马米米张淑莉(郑州工商学院工学院河南 郑州 )(河南工业大学河南 郑州 )收稿日期:。河南省优秀青年科学基金项目()。韩彦净,讲师,主研领域:无线通信技术。马米米,讲师。张淑莉,讲师。摘要为了克服几何信息不具有代表性和可区分性等缺点,提出一种基于几何感知双流网络的无监督域自适应模型。提出一种几何感知双流网络,从而实现跨域对齐和几何目标表示,在该网络中代表性信号通过对抗性适应网络获得;参考自适应几何统一标准的差异损失用于无监督几何对齐,目标域几何体受到约束。在无监督几何对齐中,通过几何一致性损失忽略目标数据的任意
2、映射。实验结果表明该方法能够在跨域识别应用中取得较好的效果。关键词无监督域自适应几何感知双流网络几何对齐中图分类号 文献标志码 :(,)(,),引言随着深度学习研究和应用,大数据领域中的数据挖掘算法也得到了飞速发展,其中训练数据集和测试数据集之间的认知偏差是数据挖掘的一个关键问题 。因此,如何实现源域与目标域之间的域自适应成为了研究的热点之一。近年来,学者们研究提出了许多无监督领域自适应方法。它们可以归纳为三类:实例选择、模型精化和表示自适应 。实例选择是解决目标域中缺少标签问题的一种传统方法,文献 以高置信度选择目标实例指导无监督域自适应,迭代降低目标域标签预测的不确定性。文献 针对由于类不
3、平衡导致模型泛化性能差的问题,提出了一种基于平衡概率分布和实例的迁移学习算法。实例选择方法虽然准确率较好,但其计算代价高,应用条件较为苛刻。模型精化是通过假设目标模型是源模型的移位,从而在无监督域自适 计算机应用与软件 年应中使用一些标记的数据精化源模型来获得目标模型。文献 通过对目标数据的软标签分配,源域深度学习网络的迭代细化,从而实现了无监督域自适应。虽然上述方法取得了一定效果,但模型精化方法的灵活性较差,因为在域更新期间,模型体系结构在源域和目标域中都是固定的。另外,这些方法假设源域和目标域共享相似的底层流形,但上述假设在实践中难以保证。表示自适应通过对齐跨域的数据分布来学习域不变特征,
4、这样由对齐的源特征训练的模型可以应用于对齐的特征空间中的目标域。文献 将跨域分布对齐建模为流形中子空间的移动,子空间也被建模为主成分分析的特征向量或字典学习模型,源域和目标域分布通过在源和目标域之间插入子空间来对齐。文献 通过使用对抗性学习技术实现分布对齐,提出了对抗性适应网络来学习域之间的不可区分特征。文献 没有在每个域中保留几何结构,而是应用最大平均偏差(,)标准来匹配源域和目标域中的几何结构。然而当各域之间的几何图形不一致时源数据和目标数据依赖于不同的流形,源域和目标域几何体是不变的,这样就会导致源数据和目标数据无法对齐。即几何体保留会导致较差的自适应性能。另外,反映数据关系的几何信息不
5、够具有代表性和可区分性,尤其是在没有标签的目标域中,因此,这种跨域几何体的直接对齐仅限于域自适应。为了解决上述问题,提出一种基于几何感知双流网络的无监督域自适应模型。提出的几何感知双流网络用于学习相似表示和统一几何结构分布的源域目标域特征。在该网络中,统一准则被设计为源域和目标域几何的差异损失。最后实验结果验证了本文模型的有效性。本文方法 问题描述将源样本和目标样本分别表示为 和 。表示每个源 目标样本的维度,和 分别表示源和目标样本的总数。待学习的源特征和目标特征分别表示为 和 。通常,特征维数 远低于原始源 目标样本的维数,即 。在无监督域自适应中,源标签 是已知的,而目标标签 是未知的。
6、本文用 表示源样本之间的几何结构,用 表示目标样本中的几何体。同样,特征空间中的源几何体和目标几何体分别表示为 和。除了数据表示之外,数据分布的几何结构在源域和目标域中是不同的。因此,本文将特征表示()和几何()跨域进行域适配。总体目标函数表示为:()式中:和 分别是特征对齐和几何对齐的损失函数;表示模型中要学习的一组参数;表示平衡参数。在式()中,在许多无监督域自适应方法中研究了用于特征对齐的损失函数。因此,本文着重于几何对齐建模,并使用先进的对抗式学习技术来实现特征对齐。几何理论 特征空间中的几何建模在每个域中 ,通过计算邻接矩阵 以表示反映源 目标特征邻域关系的几何体,每个元素 (,)是
7、特征 和 之间的几何距离,本文假设特征空间中有一个平面流形,对于归一化,采用余弦相似性计算几何距离,即 (,)()()。然而,包含全局几何信息,因此它对噪声和异常值非常敏感。由于给出了源标签,通过根据源标签 选择 中的代表性几何图形,可以在源域中克服此限制,以这种方式,可以增强源域几何体的可靠性。受局部嵌入的启发,建立了一个用于几何选择的判别稀疏图。在 中,每个源要素都链接到同一类中 最近值和不同类中 最远值。通过引入布尔矩阵 来记录 中的边缘。的每个元素定义为:()()其他()式中:()表示包含 的 最近的类内邻域;()表示包含 的 最远类间邻域。利用判别稀疏图的布尔矩阵,几何矩阵 更新为:
8、()()()式中:()是一种列规范化操作,用于规范化每个源特征。数据几何的流形学习与特征空间类似,源数据和目标数据的几何图形记录在邻接矩阵中 和 。然而,原始数据的维数 通常较大。在计算几何距离 (,)时,受到尺寸的限制,其中 ,。此外,源 目标样本之间没有平坦流形的假设,因此欧氏距离无法反映数据的几何结构。为了探索源 目标样本之间的内在几何结构,在每个域 中学习流形。然后第 期韩彦净,等:基于几何感知双流网络的无监督域自适应模型 将源 目标样本 嵌入到歧管 中,用于计算几何距离。数学上意义上的表达式为:(槡)(槡)()式中:是流形核的对角矩阵;()表示列规范化。用于无监督几何对齐的自适应几何
9、学习在获得源域和目标域中的几何体后,本文目标是对齐 和 以进行域自适应。但是目标标签不可用,因此源几何体和目标几何体之间的对应关系是未知的。假设几何体在域之间是一致的,即 ,跨域对齐几何体的一种方法是几何体匹配,它学习对应关系,同时保留每个域中的几何体信息。优化过程表达式为:(,)(,)()式中:是一个 矩阵,表示 和 之间的对应关系;和 分别是源域和目标域中的几何不变项。然而,这种一致几何形状的假设在实践中是无效的,因此,式()无法在实际场景中实现几何对齐。为了处理跨域几何不一致的问题,对每对源和目标数据之间的对应概率进行估计,并将目标几何与源域对齐。在数学上,通过以下方法优化目标特征的几何
10、结构:,()式中:是对应概率矩阵;,记录了 对应 的概率;,是将 ,与 ,对齐的概率。估计对应概率矩阵 是求解式()的主要难题,因为每对源数据和目标数据之间的对应关系很难评估,特别是在没有目标标签的无监督域自适应中。为了克服该问题,本文提出学习几何 ,其中 (,),可以表示源域或目标域。由于待识别的图像类别在源域和目标域中是相同的,域自适应几何体应具有区分域共享类别标签的特性。因此,如果 ,则应最小化 ,。相反,当 时,需要最大化 ,。这些标准在源域和目标域之间共享,以便源和目标几何图形与统一标准对齐。学习自适应几何的目标函数是:,(,)()式中:记录了属于每个类别的样本的概率;、和 为类别索
11、引;为类别总数。在式()中,指的是式()中的对应概率矩阵更容易估计的标签概率,但式()可能不收敛,因为它最小化了负平方项。为了避免不收敛,将式()改写为:,(,)()式中:如果,则 接近常数 。的值大于 中的大多数元素。具体而言,本文令 ,其中和 分别是 的平均值和标准偏差。在源域中,可以直接通过 获得,即,:,是在第 个元素中具有非零值的单位向量。因此,有:,()将源特征 聚类为 组,同一组中的源要素具有相同的标签,并且分布紧密。相反,来自不同组的源要素具有不同的标签,并且来自不同组的源要素之间的几何距离统一为 。与源域不同,标签在目标域中不可用,因此无法直接获取 。在本文中,通过限制目标特
12、征位于一组源特征的邻域来近似学习目标域中的自适应几何。换言之,每个目标特征对于一个类别具有高概率。结合式()的约束,每个目标特征分布在靠近某个类别 的源样本的位置,而远离其他类别的样本的位置,固定距离为 。这意味着 中的值最小化或优化为 。对于每个目标特征,最小化两个不同类别的高概率,即,其中。求所有样品和类别的和,通过最小化 ()学习目标域自适应几何。但如果没有目标标签的约束,每个目标样本的特征将任意接近随机类的源特征。为了避免任意对齐并使自适应几何学习更加可靠,本文为目标域几何集成了一致性损失。然后,目标域几何体的优化更新为:()(,)()式中:(,)是几何保持项,它约束目标特征和目标数据
13、之间的几何一致性。结合式()式(),研究了几何对齐的自适应几何学习优化问题:,()(,)()几何感知双流网络为了实现式()中的总体目标函数,本文搭建了一个几何感知的双流网络,优化了 和。几何感知双流网络由源 、目标 、域鉴别器和分类器组成。在训练阶段,给定带标签的源图像和未标记的目标图像,对网络进行特征和几何对齐的损失训练。在 计算机应用与软件 年源域中,采用分类损失来进行特征识别。为了获得对齐特征,引入了对抗性学习算法,并使用域损失来区分目标特征和源样本特征。对于无监督几何对齐,设计了具有统一几何标准的几何一致性损失和差异损失,以满足式()中自适应几何学习的目标。训练后,利用训练后的源 提取
14、源图像的特征。在测试阶段,使用训练的目标 将目标图像映射到对齐的特征空间。然后,通过训练的分类器对目标特征进行分类以预测类别标签,或者与源特征匹配以进行重新识别。整体结构如图 所示。图 整体结构 源域中的分类丢失本文将源 和目标 的映射分别表示为 和,即 (),()。分类器表示为 ,源域分类损失表示为:(,)(,)()()式中:表示源标签;表示类的索引;()是概率矩阵;是第 个元素中非零值的单位向量。非鉴别域损失基于非鉴别域的思想,本文引入了域鉴别器 来对齐源和目标特征。如果 不能正确预测源和目标特征 ,的域标签,则将源特征 和目标特征视为对齐。域不区分损失表示为交叉熵损失函数:(,)()()
15、()式中:源样本和目标样本的域标签分别为 和 。另外,将域鉴别器 设计为对抗网络,以确保其在分配期间的鉴别。域鉴别器 的损失函数为:(,)()()()同时更新源 、目标 和域鉴别器的参数,忽略式()的情况下学习判别鉴别器。受式()的约束,即使是判别式鉴别器也无法正确预测源和目标特征的域标签。换言之,源特征 和目标特征 是对齐的。无监督几何对齐损失式()优化以学习用于无监督几何对齐的自适应几何,优化分为两个损失:)达到域自适应几何统一标准的差异损失;)保留目标域几何信息的几何一致性损失。在源域中,本文将差异损失设为式()中的。为了计算目标域中的差异损失,引入式()中的分类器 来估计概率矩阵 ,即
16、 ()。目标域差异损失公式如下:(,)()()()()()式中:是一个全为 的列向量;因此 表示矩阵 中所有元素的总和。几何一致性损失是式()中的几何保留项,其计算公式为:(,),(,)(,)()式中:(,)()是一个具有 函数中点 的 函数;和 分别是 和 的平均值。利用式(),相似的目标样本保持在特征空间中近的位置。因此,在对齐的目标特征之间保留目标域中的几何信息。总之,几何感知双流网络需要解决以下优化问题:(,)(,)()()(,)()()()(,)(,)(,)(),(,)(,)()()()()()(,)()()()(,)(,)(,)()()()()()()优化过程将源 、目标 、域鉴别
17、器和分类器的参数分别表示为、和。为了解决上述优化问题,通过保持其他模块不变来优化、和。在每次迭代中,计算参数的梯度,并使用小批量随机梯度下降()通过反向传播更新参数。第 期韩彦净,等:基于几何感知双流网络的无监督域自适应模型 和 的梯度式()和式()是可推导的,因为 和 是典型的交叉熵损失,而 是二次损失。通过简单地计算 和 的导数,得到了 和 的梯度和(),如下:()()()()()()()()()()()()()的梯度与 和 的梯度计算类似,式()中 的 和梯度可以通过推导计算。另一方面,式()中的 是基于成对相似性 的公式。该公式的计算复杂度为 (),这在从大规模数据集学习的深度学习网络
18、中是不可取的。受无偏估计的启发,本文采用了无替换的子采样策略,将 的复杂度降低到 ()。特别地,的无偏估计量表示为:()()式中:;和 。在深度学习模型中,标准化损失用于源特征 和,因此,可以近似为 ()()。在小批量 中,只需要考虑相对于每个 的梯度,并且可以通过从每个 的梯度组合来计算 的梯度。本文只介绍()的梯度计算,即:()()()()其中:()()()()()()总之,式()中 的梯度是、和 梯度的总和:()()()()()()()的梯度类似地,采用无偏估计来降低式()中 的复杂度,将 的无偏估计表示为:(,)(,)()式中:()();和 。对于每对 和,有:(,)()(,)()()
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 几何 感知 双流 网络 监督 自适应 模型
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。