关系嵌入和类协方差度量的小样本图像分类.pdf
《关系嵌入和类协方差度量的小样本图像分类.pdf》由会员分享,可在线阅读,更多相关《关系嵌入和类协方差度量的小样本图像分类.pdf(10页珍藏版)》请在咨信网上搜索。
1、云南民族大学学报(自然科学版),():收稿日期:基金项目:云南少数民族“百名人才”文化产品 电子商务系统建设项目()作者简介:赵蕊(),女,硕士研究生 主要从事机器学习、小样本学习研究通信作者:佘玉梅(),女,教授,硕士生导师 主要从事智能计算研究关系嵌入和类协方差度量的小样本图像分类赵蕊,佘玉梅,白梦茹(云南民族大学 数学与计算机科学学院,云南 昆明 )摘要:在小样本图像分类的问题情景下,图像之间具有结构性、辨别性的特征关系还未被重视,图像的特征关系匹配不足,导致特征嵌入不完善,度量效果不明显 为了关注图像特征之间的匹配关系,通过关注单个图像的空间信息及匹配图像间的特征,实现度量嵌入特征的关
2、系,提出基于关系嵌入和类协方差度量的网络结构,通过自相关注意表示和交互相关注意来学习图像内和图像间的特征关系 其中,将单个图像的基本特征表示映射成自相关张量,关注其中的通道空间信息,学习图像张量内结构信息 而对于图像对,计算 个图像表示的互关联信息,并生成共同注意,从而得到图像间具有判别性的关系信息 最后用马氏距离度量特征关系 经过大量实验验证之后,在 个小样本基准数据集中评估,并与大量现有方法进行对比,结果显示网络结构对学习特征间关系具有一定的有效性关键词:小样本学习;关系嵌入;相关注意;马氏距离中图分类号:文献标志码:文章编号:()小样本图像分类目的在于通过少量样本学习新的视觉概念,通过极
3、其少量的支持图像去学习特征表示,并且用适合的方式使得目标类分类准确 然而,模型在学习少量的标识数据时,由于样本的稀疏,以及代表性样本的缺乏,有限的样本之间联系较少,标志特征的匮乏都会成为模型拟合水平表现不佳的原因,这些是小样本图像分类面临的困境与此同时,嵌入模型在小样本图像分类的问题上,往往存在过拟合一些不相关的特征,而忽略具有判别性质的特征,有关联的特征之间难以匹配,如何运用特征的相关性便成为嵌入过程中值得关注的问题 等 提出在视觉任务中比起纹理特征,应该重视包含视觉底层语义的形状特征,等 则认为有监督的学习对特征语义层不太敏感,对同类别的不同图片缺乏区分度 在受一些不匹配特征干扰的情况下,
4、用嵌入模型学习特征关系的全面信息,是有一定难度的目前对于小样本图像分类的研究方法有很多分类:基于元学习、基于优化、基于模型等 本文是基于度量的元学习方法,即在元学习结构的形式下,对支持集样本数据学习嵌入,以此为元知识迁移到查询样本并帮助其分类,其中的两个关键点便是嵌入和度量模块的设计因此,本文在训练过程中通过设计嵌入模型 和相似性度量 减少不相关特征对模型的干扰,提升特征关系匹配的嵌入效果 从考虑相互关系的嵌入模式出发,在相互关联的模式下,学习特征的相关性,既学习图像自身的关注对象是什么,还要学习图像与图像之间在空间位置的匹配特征,在此基础下再形成嵌入,通过关注独立特征关系的马氏距离进一步度量
5、嵌入信息本文提出了一个关系嵌入和类协方差度量网络,旨在进一步运用特征表示间的关系 首先运用自相关注意表示,对带有结构信息的自相关张量分别在通道和空间 个维度学习网络应该关注的对象和位置,通过学习强调或抑制信息,有效地帮助网络内的信息流 得到表示 再通过交互相关注意,将这些表示的信息,通过整合到 维向量中并用 卷积匹配过滤几何不一致信息,筛选同类别信息,从而形成关系嵌入信息 最终由度量模块对测试的样本与类别之间进行相似度匹配,为了进一步度量特征之间的关系嵌入,用类协方差矩阵估计类别特征的马氏距离 度量特征关联 相关工作小样本图像分类 小样本图像分类是提供少量图片样本然后对目标图像识别准确的过程,
6、参与训练的数量具有局限性,一些解决样本数量少的方法被广泛应用到小样本分类中,如数据增强和正则化,对于模型的过拟合有一定的缓解作用,但是却不能够彻底解决数据量少的问题 目前主流的一些方法主要分为 个分支,一个是元学习分支,基于度量的方法,通过学习一个嵌入模型将图像信息映射到度量空间,再由距离函数测量图像对之间的距离,根据距离远近判断类别 基于优化的方法,在面对数据量少而导致模型欠拟合严重的问题下,通过优化模型当中的参数,使其具有良好的泛化能力 基于模型的方法则是通过一些外部存储器组件等减轻低数据状态下的训练负担,构建快速泛化的模型 另一个分支便是迁移学习,通过转移已经学习过的相关任务中的知识,进
7、而来改进新任务中的表现 本文属于元学习分支下基于度量的方法,基本思路是:给定训练的数据,从训练的数据中学习得到嵌入空间,通过插值或者外推特征,将训练数据上训练得的嵌入模型应用到不可见目标类上 ,再由固定的距离度量或者是可学习距离的网络度量出样本间相似度,同类的距离近,相似度就高,反之相似度低自相关,互相关 由 等 提出局部自相似描述子,通过描述尺度空间中的关键位置、关键点并生成特定的特征向量 自相关通过测量局部的相似程度来比对图像结构布局 ,通常被用作描述符,被深度神经网络用来学习有效表示,本文受 等 和 等 对于空间结构特征看法的启发,引入了一个自相关注意模块,与之前的自相关处理模式不同的是
8、:使用了通道相关,保留了特征向量的丰富语义,并使用通道和空间注意,为图像识别提供目标对象空间尺度更聚集的特征信息,利用这些信息作为自相关张量,进而学习训练样本对象 互相关的概念广泛用于通信信号领域,用于 个有关联关系的变量或者信号上,通过相关函数测量相似度程度 在图像视觉领域,支持或查询集中的测试图像由于未经训练,因此特征很难关注到目标对象 也可以理解为,对于包含多个对象的测试图像,特征会更关注已经在训练集中出现过的参与训练的对象,而忽略未经训练的对象,因此 提出 种通过考虑可见类和不可见类的样本中最相关的区域去提高特征分辨力的方法 中,图像的局部特征在数量较少的时候使用图像对图像的度量不如图
9、像到类的度量,所以提出基于局部描述符的图像到类的度量去代替基于特征的度量 而本文的互相关是关注特征之间的几何关系,利用 卷积提炼互相关张量,过滤掉几何不一致的相关信息,由此获得可靠的注意信息,减轻训练过程中由于图像外观变化大导致相关性不强的影响度量 通常在基于元学习设定的小样本分类的任务下,训练类内的数量较少,会出现分类器优化困难等问题 度量的目的是学习同类样本距离近且不同类样本距离远的度量空间 度量方式的选择可以根据样本特征的关注点去选择,对于独立特征的度量方法可以选择欧氏距离、余弦距离等 但是这些方法会忽略特征之间的相关性,而马氏距离计算向量间的距离时,考虑到特征间的相关性,因此本文考虑学
10、习特征之间相关性的马氏度量,进一步从度量函数关注特征的相关性 小样本图像分类任务描述通常情况下,小样本图像分类,使用的是任务训练机制,一个任务 中包含支持集()和查询集(),每个支持集和查询集以 的形式分配,即每个集有 个类别,每个类别有 个样本 在小样本分类时,从训练类 中选取训练数据 训练优化模型,在测试类 中,选取测试数据 评估,其中 和 不相交,训练数据的标签空间与测试数据的标签空间也不相交,且均按照任务机制分组 训练的时候,训练数据 迭代采样每个任务分组,让模型从支持集和查询集中学习映射,再用映射去测试 中的查询集属于支持集的哪个类别 模型介绍关系嵌入和类协方差度量网络(:),可以分
11、为 个部分,第 部分就是关于嵌入模块的构建,其中包含关注图像自身的自相关注意表示模块和关注图像对之间关系的交互相关注意模块 第 部分是度量嵌入向量的度量模块,根据不同类别的协方差是不一致的,考虑使用类别相关的马氏距离度量 整个网络架构图如图 所示第 期赵蕊,佘玉梅,白梦茹:关系嵌入和类协方差度量的小样本图像分类图 网络架构图 嵌入模块概述嵌入模块由 个模块构成,自相关注意表示()和交互相关注意()模块 首先,用特征提取器对查询和支持图像提取基础表示,然后经过 模块,即基础表示先通过自相关计算形成张量,再由带有通道空间注意机制的卷积块,将基础表示转变为自相关表示 其次 模块对自相关表示学习,分别
12、生成支持和查询的共同注意映射、,对自相关表示加权映射,最终得到图像嵌入 和 自相关注意表示()自相关注意表示(:)模块:转换自相关张量为带有通道空间注意映射的结构相关的信息,进而给后续的特征间关系匹配提供输入,由自相关计算、自相关表示构成 整个过程为:从特征提取器得到查询图片和支持图片的基表示,通过自相关计算得到张量,后使用通道空间注意机制关注张量中关键区域信息,并用卷积块降维以便被添加到基表示上,最终形成关注自身信息的自相关表示对,为后续匹配特征关系的 模块提供输入 模块的实现如图所示图 模块构图 自相关计算对特征提取器得到的基表示 (代表基表示的维度),计算每个像素点的 维向量及其 轴,轴
13、邻域向量的 积,将其转为自相关张量 (代表张量的维度),由式()可以得出:(,)()()()()()其中的 表示像素点 ,的空间位置,即 ,沿着 轴和 轴方向,像素点的空间范围为 和 ,、均为 这样保留空间位置的形式,能够揭示图像的结构模式,进而保留特征向量的丰富语义便于学习关系 自相关表示为了进一步分析自相关张量 中的空间结构关键信息,分别对张量 在空间和通道两个维度提取特征,通过卷积运算混合跨通道和空间得到张量 如图 ,然后再沿 维应用一系列 维卷积云南民族大学学报(自然科学版)第 卷在对通道和空间维度用卷积提取特征时,对于空间信息的聚合,普遍采用的是平均池化 等 建议使用平均池化来有效地
14、学习目标对象的范围,等 则认为最大池化收集了关于独特对象特征的重要线索,以推断更精细的通道式注意力而本文中 模块结合 种池化,对自相关张量即使用了平均池化又使用最大池化最后输出张量 分别在通道和空间维度处理完特征后,沿 维再进行卷积块 ()学习自相关模式,即使用通道尺寸缩小的点向卷积层、变换的 卷积层和恢复通道的点向卷积层组成卷积块逐步聚合局部相关模式 最终将空间维数 降低到 ,输出卷积后信息与基表示就能保持一个维度结合,为了将学习得到的注意映射信息聚合到基表示上,需要式()计算得自相关表示 ,为基表示:()()图 对 跨通道和空间提取信息 交互相关注意()交互相关注意模块(:):对自相关表示
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 关系 嵌入 协方差 度量 小样 图像 分类
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。