单参数通道注意力模块.pdf
《单参数通道注意力模块.pdf》由会员分享,可在线阅读,更多相关《单参数通道注意力模块.pdf(6页珍藏版)》请在咨信网上搜索。
1、收稿日期:2023-02-14摇 摇 摇 摇 摇 摇 修回日期:2023-06-15基金项目:科技创新 2030 “新一代人工智能冶重大项目(2022ZD0115805);新疆维吾尔自治区重大科技专项(2022A02011)作者简介:姚亮亮(1997-),男,硕士研究生,研究方向为计算机视觉;通信作者:张太红(1965-),男,博导,博士,研究方向为人工智能。单参数通道注意力模块姚亮亮1,2,3,张太红1,2,3*,张洋宁1,2,3,温钊发1,2,3(1.新疆农业大学 计算机与信息工程学院,新疆 乌鲁木齐 830052;2.智能农业教育部工程研究中心,新疆 乌鲁木齐 830052;3.新疆农业
2、信息化工程技术研究中心,新疆 乌鲁木齐 830052)摘摇 要:随着深度学习的发展,通道注意力在卷积神经网络上的表征能力上发挥了巨大的作用。为了进一步加强通道注意力模块在深度神经网络中的作用,针对通道注意力的参数量方面,提出了一种单参数通道注意力(APA)模块。首先,APA 模块在图像通道特征的求和向量上加单参数。然后,通过度量通道向量和求和向量在方向上的关系,求取通道注意力权重。最后,经过激活函数(Sigmoid)激活注意力权重,使其分布更平稳。与其他通道注意力模块相比,该模块只有微量参数,且该模块的代码实现非常简单。在数据集 CIFAR-10 与 CIFAR-100 上,使用 APA 模块
3、嵌入到 MobileNet,ResNet系列主干,与同类方法压缩激励模块(SE)、有效的通道注意力模块(ECA)进行了实验对比,验证了 APA 模块的有效性。关键词:卷积神经网络;深度学习;通道注意力;图像分类;计算量中图分类号:TP18摇 摇 摇 摇 摇 摇 摇 文献标识码:A摇 摇 摇 摇 摇 摇 文章编号:1673-629X(2023)12-0215-06doi:10.3969/j.issn.1673-629X.2023.12.030Single-parameter Channel Attention ModuleYAO Liang-liang1,2,3,ZHANG Tai-hong1,
4、2,3*,ZHANG Yang-ning1,2,3,WEN Zhao-fa1,2,3(1.School of Computer and Information Engineering,Xinjiang Agricultural University,Urumqi 830052,China;2.Intelligent Agriculture Ministry of Education Engineering Research Center,Urumqi 830052,China;3.Xinjiang Agricultural Information Engineering Technology
5、Research Center,Urumqi 830052,China)Abstract:With the development of deep learning,channel attention has played a huge role in the representation ability of convolutionalneural networks.In order to further strengthen the role of channel attention module in deep neural network,a single parameter chan
6、nel at鄄tention(APA)module is proposed for the parameter quantity of channel attention.First,the APA module adds a single parameter to theimage channel feature summation vector.Then,the channel attention weight is obtained by measuring the relationship between thechannel vector and the summation vect
7、or in the direction.Finally,the attention weight is activated by the activation function(Sigmoid)to make its distribution more stable.Compared with other channel attention modules,the proposed module has only trace parameters,andthe code implementation of the module is largely simple.By embedding th
8、e APA module into the MobileNet and ResNet seriesbackbones on the data sets CIFAR-10 and CIFAR-100,it is compared with the similar method Squeeze-and-Excitation module(SE)and Effective Channel Attention Module(ECA),which shows the effectiveness of the APA module.Key words:convolutional neural networ
9、k;deep learning;channel attention;image classification;amount of calculation0摇 引摇 言从计算机视觉任务诞生起始,方法从机器学习主导转为深度学习主导,而卷积神经网络也成为计算机视觉中的主要方法。以卷积神经网络为主干模型的任务包括图像分类1-2、目标检测3-4、图像分割任务5-6等。而现存采用较为广泛的主干模型包括 ResNet7系列、MobileNet8系列等。而这些模型的成功离不开卷积神经网络优秀的结构设计。卷积神经网络结构的设计大致分为两方面,一个是模型整体7-8的设计,另一个是模型中即插即用9-10的模块。因此
10、,网络设计是深度卷积神经网络中一个必不可少的因素。当前,卷积神经网络的结构变得越来越复杂,模型层数的增加,或者是模型宽度的增加。但是其基本操作都是围绕卷积为核心,归一化和激活函数为辅助构成的。随着网络深度越来越深,宽度越来越宽,深度卷积神经网络的表征能力也越来越强,尤其是在大数据第 33 卷摇 第 12 期2023 年 12 月摇 摇 摇 摇 摇 摇 摇 摇 摇 摇计 算 机 技 术 与 发 展COMPUTER TECHNOLOGY AND DEVELOPMENT摇 摇 摇 摇 摇 摇 摇 摇 摇 摇Vol.33摇 No.12Dec.摇 2023上的表现超乎其想象。但是,在小数据集上越深的网络
11、或越大的网络,对其效果越不好。大网络模型由于其神经元超多,也就是参数超多,对待小数据集就会陷入过拟合。所以,为了减少参数量,避免由于神经元过多而产生过饱和这样的现象,模型的发展往往朝着轻量化发展,同时也是为了适应工业的发展,加快模型的推理速度。伴随着这一需求的出现,卷积神经网络的设计成为一个极具挑战性的问题。除去卷积神经网络本身发展的更迭,一种方便提升卷积神经网络的表征能力的模块9-10也发展得尤为火热,例如通道注意力模块。这种模块独立于卷积神经网络,不受神经网络的约束,可以根据各种神经原理、数学原理方便地计算通道的注意力权重。且这种模块适用范围广,可以方便地应用到计算机视觉的各种任务。为了更
12、好地改进通道注意力,使之更为精巧,该文主要关注使用一个参数更好地提取到通道的注意力权重。主要贡献如下:(1)提出一种即插即用的而非卷积神经网络新架构的通道注意力模块(APA)。(2)在数据集 CIFAR-10 与 CIFAR-100 使用该模块在多个流行的卷积神经网络主干上进行图像分类,取得了良好的性能。1摇 相关工作在这部分,将叙述卷积神经网络的设计和卷积神经网络中注意力模块的代表性工作。1.1摇 卷积神经网络设计的发展20 世纪 60 年代,加拿大科学家从猫的视觉中枢发现了感受野、双眼视觉等视觉功能,这是神经网络发展的里程碑事件。1980 年左右,出现了类似卷积神经网络的神经认知网络,用于
13、手写字符识别和其他识别任务。1998 年,Yann LeCuu 等人11提出了基于梯度下降的学习算法冥LeNet,这是卷积神经网络后续发展的开端。LeNet 网络由简单卷积层和全连接层组成。2012 年,随着 AlexNet1的出现,深度卷积神经网络从此主导了计算机视觉任务,当然计算机硬件资源的提升也功不可没。AlexNet 的突出特点是采用了非线性激活函数 Relu 和 Dropout 层,旨在解决梯度消失问题,防止过拟合。然后在2014 年,VGG2网络使用了大量的 3伊3 卷积和 2伊2 池来扩展卷积神经网络的感受野。同年出现了 GoogLeNet12,整个卷积神经网络由初始模块组成,其
14、本质是将信道分成几个感受野不同的信道,从而得到不同的感受野。初始模块使用了大量的1伊1 卷积,其主要作用是降低数据的维数,节省计算量。2015 年,ResNet7网络的出现,让卷积网络更加深入。ResNet 主要利用剩余模块组成整个网络,其跳转连接结构在缓解深度网络梯度消失的同时,极大地提高了网络特征提取的能力。2016 年,DenseNet13重用了网络中各层的特征图,旨在缓解梯度消失问题,提高 网 络 表 示 能 力,减 少 网 络 参 数。2018 年,MobileNet8采用深度可分卷积作为网络的基本模块,减少了参数数量和计算量,使模型更轻便。1.2摇 通道注意力模块在人类的视觉系统中
15、,人眼总是对感兴趣的事物关注度比较高,对不感兴趣的事物关注度低,或完全不关注。例如,在电影院中,为了让观众获得更好的体验,往往采取关灯的方式,让观众只关注电影屏幕。同样在卷积神经网络中,为了让卷积神经网络获得更好的性能,研究者会采用更好的方式去抑制或提高图像特征块中通道的重要性,给每个通道赋予一个注意力权重。在深度卷积神经网络提取特征的过程中,特征图的不同通道和不同空间位置通常是不同的部分。在计算机视觉的任务中,不同部分的相对重要性是不同的。为了使网络更有效地学习特征,注意力机制可以通过自适应学习对不同部分赋予不同的权重,这可以看作是一个特征选择的过程。通道注意力的通用形式可以表述为:Xo=X
16、i*f(Xi)(1)式中,Xo表示输出特征向量,Xi表示输入特征向量,f()表示计算注意力权重的方法。从公式(1)中可以看出计算通道注意力的过程分为两步:(1)根据输入特征向量利用计算通道注意力的方法计算出通道注意力权重,也就是式中的 f(Xi)。(2)将计算出的通道注意力权重乘到输入特征向量的对应通道中,也就是 Xi*f(Xi)。当前,卷积神经网络中最具有代表性的通道注意力模块当属压缩激励模块(SE)9。在压缩激励网络这篇文章中首先提出了通道注意力的概念,压缩激励模块计算通道注意力权重的方式分为两部分:压缩与激励。压缩部分是通过全局平均池化计算通道的全局上下文信息,以获得通道的依赖关系。激励
17、部分是通过全连接层去调整通道的依赖关系,以使获得的通道注意力权重更加准确。至此,每年的计算机视觉顶级会议中都会出现一些通道注意力模块相关的设计,不过大多数都是压缩激励模块方法的改进。其中,最具有吸引力的是有效的注意力模块(ECA)14,这种模块改进压缩激励模块中的激励部分,认为获得更合适的注意力权重,不应该使用降维的方式,遂采取一维卷积来代替激励部分的全连接层,该模块简单有效,且参数量极少。由 Gao 等人15提出的 GSoP-Net 在压缩模块中使用全局二阶池(GSoP)来捕获全局信息,以提高612摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 计算机技术
18、与发展摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 第 33 卷其捕获高阶统计信息的能力。Lee 等人16提出的SRM 模块采用与信道宽度相同的 style pooling 和 fullconnection layer(CFC)分别代替压缩激励模块(SE)中的压缩和激励部分。Yang 等人17提出的 GCT 通过范数捕获信道的全局信息,并应用一个可学习的向量(琢)来缩放该特征。然后采用通道规范化的竞争机制进行通道间的互动。像其他常见的正常归一化方法一样,可学习的尺度参数(酌)和部分 茁 用于调整归一化。最后,tanh 激活用于控制注意力载体。同时国内有很多关于通道注意
19、力的应用,如 Jiang 等人18应用压缩激励模块(SE)进行表情识别。Zhang 等人19利用通道注意力提升表情识别任务的性能。2摇 方摇 法在这部分先介绍单参数通道注意力(APA)模块的原理和代码实现,再讨论卷积神经网络中具有代表性的通道注意力模块压缩激励模块(SE)9和有效的通道注意力模块(ECA)14与 APA 模块在操作上的差异以及参数量的对比。文中方法和传统的通道注意力模块在计算通道注意力权重的方式上大有不同,但是最终的目的都是为了计算通道注意力权重。2.1摇 APA 参数设置与代码实现从减少通道注意力模块参数的角度,该文提出了一种只有单参数通道注意力模块(APA)。APA 在计算
20、通道注意力权重是基于简单的数学原理。流程如图1 所示。12CSigmoidH W CH W 11 1 C1 1 CH W CH W 1b图 1摇 单参数的通道注意力(APA)模块流程计算通道注意力的方式同传统的通道注意力一样,也分为两部分。设输入特征向量为 FC,H,W,其中C,H,W 分别代表输入特征向量的通道数以及高和宽。第一部分如公式(2),先将 FC,H,W的通道求和,然后在得到的向量上 加一个参 数(b)得 到 特 征 向 量(F1,H,W)。第二部分如公式(3),将第一部分得到的特征向量和输入特征向量的每个通道求取余弦相似度,然后通过 Sigmoid 激活函数进行非线性激活,最后得
21、到了通道注意力权重。再将得到的通道注意力权重乘到输入通道向量的对应通道中,如公式(4)。F1,H,W=移Ci=0Fi,H,W+b(2)Attention=Sigmoid(cos(F1,H,W,Fi,H,W)=Sigmoid(移H伊Wj=0F1,j伊 Fi,j移H伊Wj=0(F1,j)2伊移H伊Wj=0(Fi,j)2)摇 摇 i=1,2,C(3)Foutput=Attention 伊 FC,H,W(4)接下来,解释一下这样做的原因。之所以对通道求和是因为求和这项操作会将通道的依赖关系隐式映射到 F1,H,W上,而添加 b 是因为要利用余弦相似度去度量 FC,H,W与 F1,H,W的相似度,余弦相
22、似度是为了度量两个向量在方向上的关系。b 的改变会导致F1,H,W在方向上发生改变,如图 2 所示,从而达到动态调整通道依赖关系的目的,以使得到的通道注意力权重更加适合各个卷积神经网络以及各类视觉任务。F1F2S=F1+F2F1F2S=F1+F2+b图 2摇 参数(b)对向量(S)在方向上的影响为了说明 APA 的简单性,图 3 给出了 APA 模块基于 Pytorch 框架的实现代码。摇 摇 APA 代码def APA(self,input)摇 摇#input_size:B,C,H,W,b_size:1摇 摇 S=torch.sum(input,dim=1)+b摇 摇#cos摇 摇 outp
23、ut=Cosine Similarity(S,input,dim=C)摇 摇摇 摇 return摇 sigmoid(output)图 3摇“APA 代码冶形式表现2.2摇 APA 与 SE,ECA 的差异表 1 展现了文中模块(APA)和压缩激励(SE)、有效的注意力模块(ECA)在操作上的差异以及参数量的对比。表 1摇 SE,ECA,APA 模块操作以及参数的对比注意力模块操作参数SE9GAP,FC,ReLU,Sigmoid2 C2/rECA14GAP,C1D,SigmoidkAPA+,cos,Sigmoid1摇 摇 注:GAP,FC,C1D 分别代表全局平均池化、全连接层、一维卷积;C,r
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 参数 通道 注意力 模块
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。