MAFDNet:复杂环境下图像自适应分类新方法.pdf
《MAFDNet:复杂环境下图像自适应分类新方法.pdf》由会员分享,可在线阅读,更多相关《MAFDNet:复杂环境下图像自适应分类新方法.pdf(14页珍藏版)》请在咨信网上搜索。
1、ISSN 10049037,CODEN SCYCE4Journal of Data Acquisition and Processing Vol.38,No.6,Nov.2023,pp.1392-1405DOI:10.16337/j.10049037.2023.06.014 2023 by Journal of Data Acquisition and Processinghttp:/Email:sjcj Tel/Fax:+8602584892742MAFDNet:复杂环境下图像自适应分类新方法叶继华1,黎欣1,陈进1,江爱文1,化志章1,万文涛2(1.江西师范大学计算机信息工程学院,南昌 3
2、30022;2.江西师范大学教育学院,南昌 330022)摘要:复杂环境下,往往困难样本和简单样本并存,现有分类方法主要针对困难样本进行设计,所构建网络用于分类简单样本时会造成计算资源的浪费;而网络修剪和权重量化等方法则不能同时兼顾模型的准确度和存储开销。为提升计算资源的使用效率并有更好的准确率,本文着眼于输入样本的空间冗余,提出了复杂环境下图像自适应分类网络 MAFDNet,并引入置信度作为分类准确性的判断,同时提出了由内容损失、融合损失和分类损失组成的自适应损失函数。MAFDNet由 3个子网组成,输入图像首先被送入到低分辨率子网中,该子网有效提取了低分辨率的特征,具有高置信度的样本先被识
3、别并从网络中提前退出,低置信度的样本则需要依次进入更高分辨率的子网中,而网络中的高分辨率子网具有识别困难样本的能力。MAFDNet将分辨率自适应和深度自适应结合在一起,通过实验表明,在相同计算资源条件下,MAFDNet 在 CIFAR10、CIFAR100 和 ImageNet 这 3 个复杂环境数据集上的top1准确率均得到提升。关键词:MAFDNet;复杂环境;自适应分类;自适应损失;置信度中图分类号:TP391 文献标志码:AMAFDNet:A New Method of Image Adaptive Classification in Complex EnvironmentYE Jih
4、ua1,LI Xin1,CHEN Jin1,JIANG Aiwen1,HUA Zhizhang1,WAN Wentao2(1.College of Computer Information Engineering,Jiangxi Normal University,Nanchang 330022,China;2.College of Education,Jiangxi Normal University,Nanchang 330022,China)Abstract:In complex environments,difficult samples and simple ones often c
5、oexist.The existing classification methods are mainly designed for difficult samples,and the constructed network causes a waste of computing resources when it is used to classify simple ones.However,network pruning and weight quantization couldn t take into account both accuracy and storage cost.To
6、promote the efficiency of computing resources with better accuracy,focusing on the spatial redundancy of input samples,this paper proposes an adaptive image classification network MAFDNet in complex environment,introduces the confidence as the classification accuracy of judgment,and puts forward the
7、 adaptive loss function composed of the content loss,fusion loss and classification loss at the same time.MAFDNet consists of three subnets.The input images are first sent to the low-resolution subnet,which effectively extracts low-resolution features.Samples with high confidence are first identifie
8、d and removed from the network in advance,while samples with low confidence need to enter the subnet with higher resolution in turn.The high resolution subnet in the network has the ability to identify difficult samples.MAFDNet combines resolution adaptive 基金项目:国家自然科学基金(62167005,61966018);江西省教育厅重点科研
9、项目(GJJ200302)。收稿日期:20230305;修订日期:20230406叶继华 等:MAFDNet:复杂环境下图像自适应分类新方法and depth adaptive.Through experiments,the top-1 accuracy of MAFDNet is improved in CIFAR-10,CIFAR-100 and ImageNet data sets under the same computing resource conditions.Key words:MAFDNet;complex environment;adaptive classificati
10、on;adaptive loss;confidence引 言在实际场景中,因光照不足、物体遮挡和雨雾模糊等恶劣环境导致获取的图像模糊不清晰、严重退化,难以被正确分类,此类图像被称为困难样本;简单样本则为较容易正确分类的图像。针对简单和困难样本同时存在的情况,即复杂环境下,简单的网络只可正确分类简单样本,很难正确分类困难样本,复杂的网络虽然可以正确分类困难样本,但是对于简单样本来说无疑存在较大的计算资源的浪费。尽管计算机硬件的进步使人们能够训练非常深的卷积神经网络(Convolutional neural network,CNN),例如 ResNet1和 DenseNet2,但深层 CNN 带来
11、的大量计算消耗在许多应用中仍然无法承受。为了既可以正确分类困难样本,又可以较少的资源正确分类简单样本,国内外许多学者已做了很多研究,例如,网络修剪3、权重量化4和自适应网络57等。其中,网络修剪首先将低于某个阈值的权重连接全部剪除,之后对剪枝后的网络进行微调以完成参数更新。这种方法的不足之处在于,剪枝后的网络是非结构化的,即被剪除的网络连接在分布上没有任何连续性,这种稀疏的结构导致 CPU 高速缓冲与内存频繁切换,从而限制了实际的加速效果,同时稀疏数据结构将会需要额外存储开销,而且目前对稀疏操作加速支持的库非常有限;权重量化则通过将 float32格式的数据转变为 int8格式,虽然可以降低内
12、存和存储的开销,但在一定程度上降低了模型的精度;自适应网络旨在通过动态调整网络结构来减少简单样本上的计算冗余,已显示出很好的性能,但是仍存在模型准确率和计算消耗不能同时兼顾的问题,本文基于已有的自适应网络模型,利用数据样本中的信息冗余,克服了之前自适应网络的不足。现有的大多数关于自适应的工作都集中在通过容易识别的特征来减少网络的深度或宽度。研究表明,不同样本的分类难度大不相同:简单样本可以通过较少层数或通道较小的网络进行正确分类,而另一些样本可能需要较复杂的网络。例如多尺度密集网络(Multiscale dense network,MSDNet)6允许一些样本在达到其预测置信度时从辅助分类器中
13、退出,没有考虑通过利用图像中的空间冗余来设计自适应模型。本文与现有工作侧重于网络结构中的计算冗余相反,目的是利用数据样本中的信息冗余。由于低分辨率特征图足以对简单样本进行分类,而使用高分辨率特征图来探测细节对于准确识别某些困难样本是必要的。从信号频率的观点8,可以使用包含在低分辨率特征中的低频信息正确地对简单样本进行分类,当无法精确预测具有低分辨率特征的样本时,高频信息仅用作识别困难样本的补充。为加快网络速度,目前主要通过修改网络模型来实现。如设计轻量级模型 MobileNet9和 ShuffleNet10、修剪冗余网络连接3或量化网络权重4、知识蒸馏11等方法,这些方法可以看作是静态模型加速
14、技术,通过整个网络推断所有输入样本。相反,动态自适应网络可以根据输入复杂度策略性地分配适当的计算资源,以对输入图像进行分类,该研究方向近年来受到越来越多的关注。最直观的是集合多个模型,并以级联或混合方式有选择地执行模型的子集。最近的工作还提出自适应地跳过层或块12,或动态选择通道13,分类器也可以附加在深度网络的不同位置,以允许尽早分类成功简单样本。然而,这些现有技术中的大多数集中于利用网络的架构冗余来设计自适应网络。由于输入图像的空间冗余已在最近的工作中得到证明8,因此本文提出了一种新颖的自适应学习模型,该模型同时利用了神经网络的结构冗余和输入样本的空间冗余。由于单尺度网络中的下采样操作可能
15、会限制网络识别物体的能力,因此最近的研究提出在网络中1393数据采集与处理 Journal of Data Acquisition and Processing Vol.38,No.6,2023采用多尺度特征图以同时利用粗略和精细特征,可显著改善许多视觉任务的网络性能,包括图像分类14、目标检测15、语义分割16和姿态估计17,并且多尺度结构在自适应网络6和高效存储网络18中体现了显著的效果。虽然通过深层神经网络保持高分辨率特征图对于识别某些非典型困难样本或某些特定任务(例如姿态估计)17是必要的,但对高分辨率特征的频繁卷积操作通常会导致模型的资源匮乏。可以观察到,对于所有具有低分辨率输入的样
16、本,轻量级网络可以产生较低的错误率。ADASCALE19还自适应地选择了输入图像的比例,该比例提高了视频对象检测的准确性和速度。基于上述分析,本文提出了基于 DenseNet融合的自适应分类网络 MAFDNet(Multiresolution image adaption classification network based on dense network fusion),该网络实现了在深度 CNN 中分辨率自适应的思想。MAFDNet由具有不同输入分辨率的子网组成,简单样本通过最低分辨率的子网进行分类,当先前的子网无法达到给定阈值时,将使用分辨率更高的子网,同时,来自先前子网的粗略特征
17、将被重用并融合到当前子网中。当使用低分辨率子网可以准确预测样本时,则避免对高分辨率特征执行不必要的卷积操作,MAFDNet的自适应机制减少了冗余的计算,从而提高了网络的计算效率。本文参考文献 6 中单张图像预测和多张图像预测的设置,在 3个图像分类数据集(CIFAR10,CIFAR100和 ImageNet)上评估 MAFDNet性能。1 MAFDNet网络 1.1分辨率自适应设置将 MAFDNet设置为具有 K 个分类器的网络,分类器连接在模型的不同深度上。给定一个输入图像 x,第 k个分类器(k=1,2,K)的输出可以表示为pk=fk(x,k)=pk1,pk2,pkCT RC(1)式中:k
18、表示与第 k个分类器相对应的子网的参数,每个元素pkC 0,1 为第 C个分类器的预测置信度,k在此处具有共享参数。自适应模型通过样本的复杂度动态分配适当的计算资源,样本将在其输出满足输出条件的第一个分类器处退出网络。由于 softmax 作为输出层,结果可以直接反映概率值,并且避免了负数和分母为 0的情况,因此在本文中,将 softmax 输出的概率最大值作为分类正确的置信度,这意味着最终输出将是第一个分类器的最大输出大于给定阈值的值。这可以表示为k*=min k|maxCpkC y arg maxCpk*C(2)式中阈值控制了测试时分类精度和计算成本之间的平衡。1.2总体框架图 1为 MA
19、FDNet的总体架构。它包含一个初始层和对应于不同分辨率的 H 个子网。每个子网在最后几个块中都有多个分类器。与 MSDNet 相似,本文采用多尺度体系结构和密集连接。尽管MAFDNet和 MSDNet具有类似的多尺度结构,但是它们的详细体系结构设计和计算却有很大差异。最突出的区别是 MAFDNet需要首先提取低分辨率特征,而这不遵循经典的深层 CNN(包括 MSDNet、ResNet和 DenseNet等)中首先提取高分辨率特征的传统设计。MSDNet和 MAFDNet之间差异的更多详细信息将在 1.4节中讨论。MAFDNet的基本思想是,网络首先使用最低空间分辨率的特征图即第一个子网预测样
20、本,以避免因对大型特征进行卷积而导致较高的计算成本。如果第一个子网对样本的预测不可靠,则第一个子网的中间特征将以更高的分辨率融合到下一个子网中。然后,由具有较大特征的下一个子网执行分类任1394叶继华 等:MAFDNet:复杂环境下图像自适应分类新方法务。重复此过程,直到一个子网产生可靠的预测,或者进入最后一个子网。在每一个子网中添加了密集跳跃连接,就是把密集块看成一个整体,第一个卷积层的输出以及每个密集块的输出,都输入给之后的所有密集块。由于这样做,所有的特征都串联起来,这样直接输入全连接层会产生巨大的计算开销,因此添加了一个核大小为 11的卷积层来减小特征数量,这个卷积层称为瓶颈层。算法
21、1进一步说明了 MAFDNet的分辨率自适应过程。算法 1 MAFDNet的分辨率自适应过程输入:待分类图像 x(1)初始化层生成 S个大小的 H 个基本特征图(例如,图 1中 3个标度,s=1代表最低分辨率),对应于子网 h中尺度 s的基本特征可以表示为xs,h0;(2)子网 i(i初始值为 1)使用低层次的特征xi,i0进行分类;(3)如果子网 i中的分类器预测置信度(使用 softmax概率的最大值作为置信度度量)超过预先确定的阈值,则退出网络;(4)如果子网 i无法以高置信度获得分类结果,子网 i中的中间特征被依次融合到子网 i+1中;(5)使用较大特征(xi+1,i+10)的子网 i
22、+1进一步对样本 x进行分类;(6)如果中间子网的分类器预测置信度无法达到阈值,则返回步骤(3)直到分类器的预测置信度达到预先确定的阈值或者达到整个网络的最后一个分类器。输出:步骤(3)中的分类器预测结果。值得注意的是,即使是 MAFDNet通常也会由粗到细的处理输入图像,MAFDNet中的每个子网在正向传播期间仍会对特征进行下采样,直到达到最低分辨率(s=1),并且所有分类器仅在每个子网的最后几个卷积块之后添加。上述分辨率自适应过程符合图像识别的常规认知。即使仅提供低分辨率输入,也能以高置信度对具有代表性特征的简单样本进行正确分类。具有非典型特征的困难样本只能从基于高分辨率特征图中提取带有精
23、细细节的信息来正确分类。1.3网络细节1.3.1初始化层初始化层用于生成包含 S个尺度的 H 个基本特征,在图 1中其仅包含垂直连接,可以将其垂直布局视为一个微型 H 层卷积网络(H 为网络中基本特征的数量)。图 1显示了具有 3个尺度的 3个基本特征的 MAFDNet。具有最大比例的第一个基本特征是从常规卷积(此处的常规卷积层由一个瓶颈层和一图 1本文提出的 MAFDNet整体框架Fig.1Overall framework of the proposed MAFDNet1395数据采集与处理 Journal of Data Acquisition and Processing Vol.38
24、,No.6,2023个规则的卷积层组成。每一层由 BN 层、ReLU 层和 1 个卷积层组成。)产生的,而粗略特征是从以前的高分辨率特征中通过步长卷积(即步长为 2 的卷积)得到的。值得注意的是,这些基本特征的比例可以相同。例如,一个 MAFDNet 可以具有 3 个比例的 4 个基本特征,其中最后两个基本特征具有相同的分辨率。1.3.2不同尺度的子网因为初始化层生成 H 个基本特征,可将 MAFDNet分为 H 个子网络,这些子网络由不同的卷积块组成。除第一个子网外,每个子网都由其对应的基本特征图和上一层子网的中间特征图组成。子网 1处理最低分辨率的图像,输入为输入x1,10。子网 1中的密
25、集块有 t层,如图 2(a)所示。每个密集块中第 i层的输出x1,1i(i=1,2,t)也将传播到子网 2,以重用子网 1的特征。通常,可以将子网 1视为具有多个分类器的 DenseNet,从而处理分辨率最低的特征图。尺度为 s的子网 h(h 1)处理基本特征xs,h,并从子网(h-1)融合特征。同时在参考文献 20 在子网中添加了密集跳跃连接,就是把密集块看成一个整体,第一个卷积层的输出以及每个密集块的输出,都输入给之后的所有密集块。由于这样做,所有的特征都串联起来,这样直接输入全连接层会产生巨大的计算开销,因此添加了一个核大小为 11的卷积层来减小特征数量。将具有特征融合功能的密集块称为融
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- MAFDNet 复杂 环境 下图 自适应 分类 新方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。