基于改进残差池化层的纹理识别.pdf
《基于改进残差池化层的纹理识别.pdf》由会员分享,可在线阅读,更多相关《基于改进残差池化层的纹理识别.pdf(8页珍藏版)》请在咨信网上搜索。
1、纹理一直是物体图像最重要的特征之一。针对现有纹理识别模型在复杂数据集下识别准确率不高的问题,提出一种基于改进残差池化层的纹理识别算法。首先,提出多维特征融合模块,在纹理识别模型中同时利用高层特征和低层特征来提取更加有效的纹理特征;其次,对残差池化层进行改进,在原残差池化层的基础上,引入全局最大池化支路,为纹理识别模型增加全局空间结构观察,将原残差池化层与全局最大池化支路得到的特征向量进行拼接后作为纹理特征,提升纹理识别的准确率;再次,应用局部二值模式辅助识别策略,使用局部二值模式编码映射图像为纹理识别模型提供辅助信息;最后,将得到的纹理特征输入到分类层中,得到纹理识别结果。与现有的纹理识别方法
2、 B-CNN、Deep filter banks、Deep TEN、TEX-Net-LF、locality-aware coding、DRP-Net 相比,该方法具有更好的纹理识别效果。关键词:纹理识别;残差池化层;全局最大池化;多维特征融合模块;多尺度特征中图分类号:TP391.41摇摇摇 摇 摇 文献标识码:A摇 摇 摇 摇 摇 摇 文章编号:1673-629X(2023)09-0037-08doi:10.3969/j.issn.1673-629X.2023.09.006Texture Recognition Algorithm Based on Improved DeepResidual
3、 Pooling LayerGUO Rui1,2,XIONG Feng-guang1,2*,XIE Jian-bin1,2,YIN Yu-hui1,2,LIU Lei1,2(1.School of Data Science and Technology,North University of China,Taiyuan 030051,China;2.Shanxi Vision Information Processing and Intelligent Robot Engineering Research Center,Taiyuan 030051,China)Abstract:Texture
4、 is always one of the most important features of object images.Aiming at the low recognition accuracy of existingtexture recognition models in complex datasets,we propose a texture recognition algorithm based on improved residual pooling layer.Firstly,a multi-dimensional feature fusion module is pro
5、posed to extract more effective texture features by using both high-level featuresand low-level features in this texture recognition model.Secondly,the residual pooling layer is improved.On the basis of the original re鄄sidual pooling layer,the global maximum pooling branch is introduced to raise the
6、 global spatial structure observation for the texture rec鄄ognition model.The feature vectors obtained from the original residual pooling layer and the global maximum pooling branch are splicedas texture features to improve the accuracy of texture recognition.Thirdly,with local binary patterns aided
7、recognition strategy,localbinary patterns encoded mapping images are used to provide auxiliary information for the texture recognition model.Finally,the obtainedtexture features are input into the classification layer to obtain the texture recognition results.The proposed method has better texture r
8、ec鄄ognition effect than that of the existing texture recognition methods B-CNN,Deep filter banks,Deep TEN,TEX-Net-LF,locality-awarecoding,DRP-Net.Key words:texture recognition;residual pooling layer;global maximum pooling;multi-dimensional feature fusion module;multi-scale feature0摇 引摇 言纹理图像含有丰富的纹理特
9、征,纹理特征是人类了解和认知物体重要的视觉特征之一。因此,对纹理图像的识别是非常重要的。近些年来,深度学习在纹理识别领域取得了瞩目的成绩,大大提升了纹理识别的准确率。然而,纹理识别任务是极具挑战性的,现有的纹理识别方法存在复杂的纹理数据集上识别效果不佳的问题。因此,针对纹理识别模型在复杂数据集下第 33 卷摇 第 9 期2023 年 9 月摇 摇 摇 摇 摇 摇 摇 摇 摇 摇计 算 机 技 术 与 发 展COMPUTER TECHNOLOGY AND DEVELOPMENT摇 摇 摇 摇 摇 摇 摇 摇 摇 摇Vol.33摇 No.9Sep.摇 2023的识别展开深入的研究。主要工作如下:第
10、一,提出多维特征融合模块,充分利用高层特征与低层特征,提取更有效的纹理特征;第二,提出对残差池化层的改进,在原残差池化层的基础上,加入了全局最大池化支路,提升纹理识别的准确率;第三,应用 LBP(Local Binary Patterns,局部二值模式)辅助识别策略,使用 LBP 编码映射图像为纹理识别模型提供辅助信息,使纹理识别模型达到更好的效果。1摇 相关工作目前,纹理识别方法主要分为传统方法、深度学习方法、多类方法相结合三种类型。在传统方法领域最为突出的纹理描述符就是 LBP 算法。LBP1算法对图像的局部邻域特征进行编码,计算编码值的直方图作为纹理图像的特征。此外,LBP 算法还有很多
11、的变体2,如尺度不变的 LBP 纹理特征3、局部二元圆周和径向导数模式4、凹凸微结构模式5和局部二值模式直方图傅里叶变换6。赵曌等7融合 LBP 纹理和局部灰度特征,实现了纹理材料图像的识别与分割。这些需要手动设计纹理特征,过程复杂、时间成本高而且不是端到端的方法。很多深度学习方法在纹理识别任务中获得了成功。M.Cimpoi 等8完成了深度学习纹理识别的初尝试,提出 FV-CNN。在 FV-CNN 的基础上又进行了很多研究9-10,取得了不错的效果。但是这些研究8-10将纹理识别任务分割成了多个小任务,不是端到端方法。Zhang 等11提出的 Deep TEN 网络,在卷积层之上集成了一种新的
12、编码层,开辟了端到端纹理识别的先河。Hu 等12提出多级纹理编码,提升了纹理描述符的有效性。相较传统方法,深度学习方法尽管准确率上有一定的提高,但其效果仍不理想。多方法相结合方面,Gil Levi 等13通过 MDS 多维映射的方法得到了原始图片 LBP 码的编码映射图像,使得 LBP 算法与 CNN 方法相结合成为了可能。RaoMuhammad Anwer14提出一种双流融合训练网络的方法,提高了模型的效果。张雪梅等15结合 LBP 和WLD 两种纹理描述算子,实现了人脸表情识别。但是这类方法存在计算复杂、纹理识别性能不高的问题。Mao 等16提出深度残差池化层,该方法的残差编码方案是从预训
13、练的 CNN 的最终卷积层中提取特征映射作为字典来计算残差。该残差池化层结构见图1。该残差池化层由残差编码模块和聚合模块组成,通过此残差池化层得到了低维有效的纹理特征,提升了纹理识别的效率。但是该残差池化层存在如下问题:第一,此方法仅使用了预训练 CNN 的最终卷积层,中间卷积层并没有利用起来,特征相对单一,提取的纹理特征有效性不强;第二,此方法缺少对图像全局空间结构的观察,导致识别准确率不高。Pre-trained Deeplearning featureSigmoidResidualAggregationmoduleConvolutionalTransfer moduleResidual
14、encoding moduleResidual pooling layer图 1摇 原残差池化层结构2摇 基于改进残差池化层的纹理识别2.1摇 模型结构该文提出一种基于改进残差池化层的纹理识别模型,模型结构如图 2 所示。第一步,将标准 RGB 图像输入到基础特征提取模块,提取图像的基础特征,常用的基础特征提取网络有Resnet、Densenet 等;第二步,将基础特征提取模块得到的特征图输入到多维特征融合模块中,得到融合不同维度特征的特征图;第三步,融合不同维度特征的特征图输入到改进的残差池化层中,得到纹理特征向量;第四步,将纹理特征向量输入到分类层中,得到纹理识别的结果。RGBRGB图 2
15、摇 模型模块结构2.2摇 多维特征融合模块针对文献16原残差池化层纹理识别模型中,仅使用了预训练 CNN 的最终卷积层,未充分利用多层特征导致提取的纹理特征有效性不高的问题,该文提出了多维特征融合模块。在 CNN 网络架构中,不同尺度的特征中蕴含着不同的特征信息。浅层特征中蕴含着图像的全局特征信息,高层特征中蕴含着图像的局部信息。在以往基于CNN 的纹理识别算法中,大多只采用了高层特征,忽略了浅层特征。而在纹理识别任务中,图像的高层特83摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 计算机技术与发展摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇
16、 摇 摇 摇 第 33 卷征以及浅层特征都是需要关注的。将高层特征与浅层特征融合,对纹理识别任务是有益的。通过基础特征提取模块可以得到 Pre-trainedDeep learning feature,在 Pre-trained Deep learningfeature 中,存在多个卷积块,不同的卷积块可以输出大小不同的 feature map。Resnet 残差网络是经典的分类网络,其内部的残差块使用了跳跃连接,缓解了在深度神经 网 络 中 增 加 深 度 带 来 的 梯 度 消 失 问 题。以Resnet50 为例,通过 Resnet50 得到的 Pre-trained Deeplearn
17、ing feature 中有 5 个卷积块,其中,卷积块 Conv_1仅是一个单层卷积层的输出,并未学习图像信息,故在本方法中没有使用 Conv_1 输出的特征。在卷积块Conv_2、Conv_3、Conv_4 和 Conv_5 中输出特征图尺寸分别为 56伊56伊256、28伊28伊512、14伊14伊1 024 和 7伊7伊2 048。多维特征融合模块中使用到了卷积块 Conv_2、Conv_3、Conv_4 和 Conv_5 输出的特征图。在多维特征融合模块当中,将来自基础特征提取模块的不同维度特征进行融合,多维特征融合模块结构见图 3。多维特征融合模块工作流程如下:首先,将Conv_2
18、、Conv_3、Conv_4 和 Conv_5 四种尺寸的特征图经过一个 1伊1 的卷积层,该操作不改变特征图的大小;之后,将 Conv_5 支路得到的特征图输入到改进残差池化层中,获得尺寸为 1 伊2 048 的特征向量;将Conv_2、Conv_3、Conv_4 特征图依次进行上采样,相加操作,得到两个融合多维特征的特征图,尺寸分别为28伊28伊1 536、56伊56伊1 792;将上述两个特征图通过3伊3的卷积层和改进残差池化层,通过改进的残差池化层处理后可以得到特征向量。将三个改进残差池化层得到的特征向量进行拼接,可以得到最终的纹理特征向量。多维特征融合模块具有如下优势:第一,该方法综
19、合了高层特征与低层特征,得到了更为有效的纹理特征;第二,多维特征融合模块利用了基础特征提取网络的中间输出,并没有增加复杂的计算过程,计算量极少量增加,对算法的时间复杂度负担小;第三,多维特征融合模块中的各个模块都是可学习的,可以支持端到端的纹理识别模型;第四,多维特征融合模块可以灵活应用于多个主干网络当中。Conv1_xConv2_xConv3_xConv4_xConv5_x7x7x2 04814x14x1 02428x28x51256x56x2561x1,2 0481x1,1 024Conv2_xConv3_x1x1,5121x1,2567x7x2 04814x14x1 02428x28x5
20、1256x56x256AddAddUpsamplingUpsampling3x3,5123x3,512Improve residualpoolingImprove residualpoolingImprove residualpooling图 3摇 多维特征融合模块结构2.3摇 改进残差池化层针对文献16原残差池化层纹理识别模型中缺少对图像全局空间结构的观察,导致识别准确率不高的问题,提出改进残差池化层。改进残差池化层的结构如图 4 所示。此层即为图2 中的改进残差池化层,是在原残差池化层的基础上进行改进的,所以改进残差池化层分为两部分,第一部分是原残差池化层的保留,即图 4 中的非虚线框部分
21、,第二部分为该文对残差池化层的改进,增加全局最大池化支路,即图 4 中的虚线框部分。改进残差池化层的工作流程如下:首先,预训练的特征映射 C 由预训练的 CNN 不同的卷积层获得。特征映射 C 的计算如公式(1)所示:C=fcnn(I),C 沂 R7伊7伊2 048(1)其中,C 为预训练 CNN 的特征映射,I 为输入图像,fcnn()为预训练的 CNN 模型(此处以 Resnet50 为例)。将通过基础特征提取模块得到的特征映射 C 输入到Convolutionaltransfermodule中 学 习 特 征X,Convolutional transfer module 如图 5 所示,
22、其包括对特征图的 Convolutional layer(1x1)、drop out、Batch nor鄄malization、sigmoid 操 作,其 中 drop out 和 Batchnormalization 操 作 用 来 避 免 过 拟 合。Convolutionaltransfer module 模块操作公式表示如下:X=fctm(C),X 沂 R7伊7伊2 048(2)其中,X 为 学 习 到 的 特 征,fctm()为 Convolutionaltransfer module 对特征映射 C 的操作。在该方法中,预93摇 第 9 期摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇
23、 摇 摇 郭摇 锐等:基于改进残差池化层的纹理识别训练的特征 C 和学习到的特征 X 在空间上是有序的,所以位置(i,j)处的残差映射值 Zij计算公式如下:Zij=Xij-鄣(Cij),Zij,Xij,Cij沂 R2 048(3)其中,Zij为位置(i,j)处的残差映射值,Xij为位置(i,j)处学习到的特征,Cij为位置(i,j)处预训练的特征映射值。鄣()为 sigmoid 函数,强调了学习到的特征和预先训练的特征之间的差异。这迫使卷积传输模块学习一个适合于纹理识别的新特征。Pre-trained Deeplearning featureSigmoidResidualAggregatio
24、nmodulePre-trained Deeplearning featureSigmoidGlobal MaximunPoolingCatL2 normalization图 4摇 改进残差池化层结构摇摇将 残 差 映 射 Z 输 入 到 Aggregation module,Aggregation module 结构组成如图 5 所示,使用此模块可以聚合残差获得无序特征。此模块包括对特征图的ReLU、Batch normalization、Global Average Pooling 操作,其中 ReLU 作为特征选择器,将负残差置为零,学习到的特征 X 与相应的预训练映射特征 C 则被保留
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 改进 差池 纹理 识别
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。