基于记忆提炼的对比度量增强在线类增量学习图像分类方法.pdf
《基于记忆提炼的对比度量增强在线类增量学习图像分类方法.pdf》由会员分享,可在线阅读,更多相关《基于记忆提炼的对比度量增强在线类增量学习图像分类方法.pdf(11页珍藏版)》请在咨信网上搜索。
1、()指挥控制与仿真 引用格式:王宏辉,殷进勇,杨建基于记忆提炼的对比度量增强在线类增量学习图像分类方法指挥控制与仿真,():,():基于记忆提炼的对比度量增强在线类增量学习图像分类方法王宏辉,殷进勇,杨 建(江苏自动化研究所,江苏 连云港)摘 要:图像分类中类增量学习具有知识灾难性遗忘现象,现有的基于经验回放方法着重考虑的是记忆库的更新和采样方式,忽略了新旧样本之间的特征关系。为此,提出了一种基于记忆提炼的对比度量增强在线类增量学习图像分类方法(),设计了两种新的正负样本对,对旧样本信息进行了加强重复再利用,强化了模型对冗余特征和共性特征的表达能力,基于最近邻均值分类器改善了嵌入空间中的样本分
2、布合理性。最后,通过对比实验和消融实验验证了所提方法的有效性和高效性。关键词:在线类增量学习;灾难性遗忘;对比学习;经验回放中图分类号:文献标志码:,(,):,(),:;收稿日期:修回日期:作者简介:王宏辉(),男,硕士研究生,研究方向为增量学习。殷进勇(),男,博士,研究员。深度神经网络作为数据驱动模型取得了巨大的成果,随着近年来各种数据的爆炸式增长,模型的迭代更新需求也得到了相应的提升。然而,深度神经网络在接受新任务训练时,对旧任务性能的表现通常会迅速降低,这一现象被称为灾难性遗忘。为了使神经网络模型能够持续学习新知识而不会遗忘已有知识,在线类增量学习问题得到了广泛的研究。目前,解决灾难性
3、遗忘问题的增量学习方法主要可以分为正则化,、参数隔离、重演回放三大类。正则化技术主要是在训练时施加惩罚限制以引导模型的更新;参数隔离方法的典型特征为不断增加单独的模型参数以适应新类别;重演回放方法则研究如何更有效地保存和提取部分原始样本或伪样本以进行联合训练。由于重演回放方法保留了更多的历史数据,其综合分类性能往往最佳。为了进一步解决灾难性遗忘问题,可以对储存的历史数据进行增强利用,等提出有监督对比回放()方法充分发挥最近邻均值分类器()的聚类性能,等提出重复增强回放()方法讨论了回放样本时模型欠拟合过拟合问题,等提出基于代理的对比回放()方法来解决样本不平衡问题以缓解灾难性遗忘。基于这类思想
4、,本文提出了一种基于记忆提炼的对比度量增强(,)在线类增量学习图像分类方法,重新审视了对比学习中的对比关系,提出了两类新的正负样本对,改进了增量学习过程中的目标损失函数。同时,通过多种对比实验与消融实验验证了所提方法的有效性及高效性,并分析了不同样本对之间的权重关系,不同采样批次大小对模型训练精度与时间的影响。第 期指挥控制与仿真 相关工作 基于记忆提炼的方法目前,大多数基于重演的方法仅关注旧样本的存储和采样,而未对旧样本进行特殊处理,只是简单地与新样本混合训练。为解决这一问题,方法通过重复使用过去任务的信息来解决重演回放过程中模型拟合旧任务不足的情况。尽管对同一数据集重复训练容易导致过拟合,
5、但该方法指出,在增量学习中的新任务样本可以作为数据依赖的正则化因子,在此基础上融合旧任务样本进行联合训练,既可以重复利用旧任务信息,又不损失模型泛化能力。基于这种重复利用的思想,本文提出了一种记忆提炼(,)方法,将每批次训练样本已计算好的对比特征相似度信息进行提炼,通过反复利用现有的计算结果,在记忆区容量有限的情况下,增强了旧知识的利用率,从而降低模型学习新任务时对旧知识的遗忘。基于对比度量增强的方法基于正则化的方法主要通过向学习目标中添加正则项来约束模型学习。一些方法在学习新任务时,将梯度投影到子空间,从而约束梯度的更新方向,减少对先前任务的干扰,这需要足够的先验知识且不具有通用性。另一类方
6、法是通过计算参数重要性,限制与旧任务高度相关的参数更新,来缓解旧知识的遗忘,但这样盲目计算所有参数会使计算量过大。虽然一些方法通过注意力机制分别关注新旧不同任务,学习表示注意力分布的关注度向量,对损失函数添加约束项,同时优化新旧任务损失,提高模型的泛化能力,。然而,这些正则化增量学习方法在类增量学习设定下通常不能很好地工作。因此,方法提出使用 分类器替换 分类器,避免了对新类的全连接层结构变化,并基于对比学习思想正则化约束模型训练,在在线类增量学习场景下达到了较好的性能。然而,该方法没有充分考虑所有样本间的对比关系,基于此,本文提出了一种对比度量增强(,)方法,在有监督对比学习的基础上添加了两
7、个具有不同意义的正则化约束项,改进了目标损失函数,进一步将“相似”样本聚类,将“不同”样本分散,优化了样本在嵌入空间中的分布方式,提高了模型的泛化能力。基于融合对比损失的类增量在线学习 问题描述在线类增量学习旨在从流数据 中持续学习不同类。为了研究方便,我们假设输入数据具有确 定 性 类 ()标 签,其 中,。通过将所有数据流划分为一系列的增量学习任务 ,则对于含有 类标签的数据集,其特定学习任务的类数量应为 ,且不同任务 在类中没有重叠部分。假设增量任务序列为,其中,在特定任务阶段所接收到的新任务数据集为(),由于不同任务阶段数据集之间所含类别互斥,故 中只含有任务阶段的 个带标签样本()。
8、此时,保留在经验回放区中的旧任务数据集为前 个任务阶段储存的少部分样本子集,。故在整个类增量学习的过程中,当前任务模型的训练阶段只能使用数据集 ,且 中的流数据,()只能看到一次,除非该样本被保留在 中进行经验回放。总体框图为充分利用在线类增量学习过程中每个稍纵即逝的样本,本文提出了一种基于记忆提炼的对比度量增强()在线类增量学习图像分类方法,如图 所示。本文基于对比监督重放的类增量学习基础上,对存放在记忆缓冲区和当前任务数据集中的数据进行了多次特征增强利用,通过提炼训练阶段可用样本所涵盖的重要特征信息,改进了现有的有监督对比学习方法,提出了特定正负样本对的设置方法,在模型训练过程中有意识地扩
9、充同类但异体、个体和增强样本之间的度量距离,改进了样本特征在嵌入空间中的分布方式,有效地提高了模型的整体性能。基于记忆提炼的方法由于在线类增量学习在整个学习过程中无法提供所有类别的、大量的训练数据集,导致模型通过当前任务数据集训练出的参数信息会覆盖之前已掌握的旧类别分类信息,从而造成灾难性遗忘问题。基于重演回放的方法则通过保留旧类别的训练数据集,让模型尽可能地获取所有类别的数据集信息,从而减少对旧知识的遗忘。因此,在基于重演回放的各种不同方法之间,对旧样本信息的利用方式在很大程度上影响了增量学习 算 法 的 性 能。为 此,本 文 提 出 了 记 忆 提 炼(,)的方法,实现在有限的内存条件下
10、,对记忆区存放的样本特征相似度信息进行了加强重复再利用,在没有额外增加大量计算量和训练时间的前提下,提高了增量学习算法的精度。为了方便表示训练数据集中的不同正负样本对,可以将 中存在的类别定义为,每个类 王宏辉,等:基于记忆提炼的对比度量增强在线类增量学习图像分类方法第 卷别 中 的 个 体 则 定 义 为,、,等,此时 ,。通过使用裁剪缩放、翻转、颜色扰动和灰度转换等数据增强方法,对每个样本特征进行扩充,可以得到对应的增强样本,。对样本 而言,假设其对应的类别标签为 类,则该样本可表示为,相对于此样本的其他类则为,。图 基于记忆提炼的对比度量增强的在线类增量学习框架 表 三种不同对比方式的正
11、负样本对设置 对比方式锚点正对集合负对集合监督对比()()同类对比()()增强对比 图 不同对比方式的正负对集合维恩图 基于上述定义,通过表 表述的三种不同正负样本 对,用 监 督 对 比 损 失(,)将相似的样本点(正对)推到一起,并拉开不同的样本点(负对)来产生数据的特征表示。在此基础上,根据类增量学习需要学习一系列任务的特殊问题设定,基于记忆提炼的对比度量增强在线类增量 学 习 图 像 分 类 方 法 基 于 信 息 熵 对 比 估 计(,)的思想,在现有特征信息的基础上,进一步考虑其他特殊正负样本对之间的对比关系:同类间对比(,):通过第 期指挥控制与仿真 同一个类别间的不同样本对比,
12、训练模型可以关注到聚类簇中的每个个体样本,避免模型的特征提取器只能获得某一个类别的粗糙特征表示,增强模型的泛化能力;本体与增强样本之间的对比(,):由于本体样本与增强样本的高级语义特征基本相同,但二者之间在低级特征如颜色、纹理、形状等与原数据仍存在一定差异,会产生新的特征表示,故通过 可以引导模型认知本体样本与增强样本之间的微小差异,增强模型的鲁棒性。图 所示的集合维恩图,可以通过可视化的方法清晰地发现这三种正负对设置没有产生额外的计算量,深入地挖掘了每个样本之间的特征信息,实现了对旧信息的重复增强再利用。一种改进的对比损失函数在使用 分类器聚类方法的情况下,需要着重考虑样本在嵌入空间中的分布
13、情况,这直接关系到样本特征编码聚类后的分类结果,而且基于度量学习的嵌入空间网络能够较好地保持已有知识。因此,研究一种适合增量学习过程的特征提取方式,合理调整样本的聚类分布,可以提高模型的分类能力并降低模型在增量学习时的遗忘率。受有监督对比回放方法的启发,通过强调不同类别样本之间的差异性,可以让样本在嵌入空间中获得较好的特征分布。为了改善这种特征分布方式,合理调整样本间差异对模型参数的影响,本文提出一种对比度量增强(,)方法,通过表 中额外提供的同类对比和增强对比两种对比方式,可以优化模型的训练方式,提取样本间的冗余特征,完善样本特征编码聚类方式,改善每个样本在嵌入空间中的分布情况,让模型在增量
14、学习的过程中得到性能提升。为了方便表示改进之后的对比损失函数,定义如下:给定当前任务的某个训练批次含有 个样本,加上每个样本对应的增强视角样本 ,批次共有 个训练样本,其中 作为该批次所有样本的索引集。每个样本 通过编码器得到()用于下游 分类任务,再将其输入投影网络可得到(),故此时特征投影输出为 ()。对于锚点 而言,与其标签一致的本体样本和增强样本可以分别表示为():、():;同理,与锚点的类别不一致的本体样本为():,对 应 的 增 强 样 本 为():。最 后,定 义(,)()()表示两个样本之间的相似度或差异,其中超参数 是对比学习中用来控制正负对分离程度的温度系数。()()()(
15、)()(,)(,)()()(,)()()(,)()()(,)()()()()(,)()(,)()()()通过上述符号定义,有监督对比学习损失如公式()所示。训练的模型可以有效地区分开同类与异类样本,但没有深入地探讨每个聚类簇中的样本分布情况。为了让模型更好地适应在线类增量学习过程,本文进一步研究了不同样本对表之间的距离分布关系对模型性能的影响,调整了不同样本对在嵌入空间中的距离位置。公式()通过 表示自身样本与同类其他样本之间的差异大小,公式()通过 表示了自身样本与增强样本之间的低级特征区别。结合上述三种对比损失函数,通过加权和的方法可以得到本文训练模型时的损失函数 如公式()所示。本文分析
16、了三种对比方式的不同目的,明确了模型首先要区分的对象为不同类之间,其次是类间个体,最后才是增强个体。因此,超参数系数 ,、,时,模型的性能表现较好。从公式()()中可以发现,本文所提出来的对比损失函数无须额外计算其他的样本间相似度,只需要使用 训练过程中产生的计算结果进行增强再利用,实现了在没有增加大量内存消耗及计算量的同时,改进了训练模型的损失函数。基于记忆提炼的对比度量增强()方法的系统框架如图 所示。为了学习一系列增量学习任务,模型在训练阶段,通过当前任务的流数据 接收一个小批量数据,通过 和重演回放区储存的数 王宏辉,等:基于记忆提炼的对比度量增强在线类增量学习图像分类方法第 卷据 提
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 记忆 提炼 对比 度量 增强 在线 增量 学习 图像 分类 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。