![点击分享此内容可以赚币 分享](/master/images/share_but.png)
基于边缘增强和特征融合的伪装目标分割.pdf
《基于边缘增强和特征融合的伪装目标分割.pdf》由会员分享,可在线阅读,更多相关《基于边缘增强和特征融合的伪装目标分割.pdf(11页珍藏版)》请在咨信网上搜索。
1、第 39 卷 第 1 期2024 年 1 月Vol.39 No.1Jan.2024液晶与显示Chinese Journal of Liquid Crystals and Displays基于边缘增强和特征融合的伪装目标分割李明岩1,2,吴川1,2*,朱明1,2(1.中国科学院 长春光学精密机械与物理研究所,吉林 长春 130033;2.中国科学院大学,北京 100049)摘要:伪装目标分割的任务是使用像素级分割掩码将与背景高度相似的目标进行准确分类和定位,与传统的目标分割任务相比更具挑战性。针对目标与周围环境高度相似、边界模糊、对比度低等问题,构建了一种基于边缘增强和特征融合的伪装目标分割方法
2、。首先,设计了一组边缘提取模块,能够更准确地分割有效的边缘先验。之后,引入了多尺度特征增强模块和跨层级特征聚合模块,分别挖掘层内与层间的多尺度上下文信息。提出了一种简单的层间注意力模块,利用相邻层级间的差异有效滤除融合后存在的干扰信息。最后,通过将各级特征图与边缘先验逐级结合的方式,获得准确的预测结果。实验结果表明,在 4个伪装目标基准数据集上,该模型的表现都优于其他算法。其中加权 F值提升了 2.4%,平均绝对误差减少了 7.2%,在 RTX 2080Ti硬件环境下分割速度达到了 44.2 FPS。与现有方法相比,该算法能够更准确地分割伪装目标。关键词:深度学习;伪装目标;图像分割;边缘特征
3、;特征融合中图分类号:TP391.4 文献标识码:A doi:10.37188/CJLCD.2023-0064Camouflaged object segmentation based on edge enhancement and feature fusionLI Mingyan1,2,WU Chuan1,2*,ZHU Ming1,2(1.Changchun Institute of Optics,Fine Mechanics and Physics,Chinese Academy of Sciences,Changchun 130033,China;2.University of Chin
4、ese Academy of Sciences,Beijing 100049,China)Abstract:The task of camouflaged object segmentation is to accurately classify and localize objects that are highly similar to the background using pixel-level segmentation masks,which is more challenging than traditional object segmentation tasks.Aiming
5、at the problems that the target is highly similar to the surrounding environment,the boundary is blurred,and the contrast is low,a camouflaged target segmentation method based on edge enhancement and feature fusion is constructed.First,a set of edge extraction modules is designed,aiming to accuratel
6、y segment valid edge priors.Afterwards,a multi-scale feature enhancement module and a cross-level feature aggregation module are introduced to mine multi-scale contextual information within and between layers,respectively.In addition,a simple inter-layer attention module is proposed to effectively f
7、ilter out the interference information existing after fusion by utilizing the difference between adjacent layers.Finally,accurate prediction results are obtained by 文章编号:1007-2780(2024)01-0048-11收稿日期:2023-02-20;修订日期:2023-03-20.*通信联系人,E-mail:第 1 期李明岩,等:基于边缘增强和特征融合的伪装目标分割combining feature maps of all
8、levels with edge priors step by step.Experimental results show that the model outperforms other algorithms on four camouflaged target benchmark datasets.Among them,the weighted F value increased by 2.4%,the average absolute error decreased by 7.2%,and the segmentation speed reached 44.2 FPS under th
9、e RTX 2080Ti hardware environment.Compared with existing methods,this algorithm can segment camouflage targets more accurately.Key words:deep learning;camouflaged object;image segmentation;edge feature;feature fusion1 引言伪装原本是指动物用来隐藏自己或欺骗其他动物的一种方法,而伪装能力通常会影响这些动物的生存概率。随着仿生学技术的发展,伪装技术也常被人类应用于某些场合,例如现代军
10、队所使用的迷彩。与显著目标检测(Salient Object Detection,SOD)相比,伪装目标通常与背景具有高度相似性,因此伪装目标检测(Camouflage Object Detection,COD)更加具有难度。传统的方法主要关注图像的底层特征(如颜色、纹理、梯度等)来评估物体与背景的差异,基于三维凸度1、灰度共生矩阵2、Canny 边缘检测器3、光流4等方法进行伪装目标检测。这些方法往往只考虑图像的一部分特征,难以适用于所有场景。近年来,深度学习的方法在许多领域展现出优异的性能,为一些传统方法难以处理的问题提供了新的解决方案5。在图像领域,通过卷积神经网络(Convolutio
11、n Neural Network,CNN)提取出的深度特征的表示能力要远强于图像的底层特征,因此,研究人员开始尝试用深度学习的方法来解决伪装目标分割的问题。Le 等人建立了一个新的伪装图像数据集用于基准测试,并提出了一个端到端网络,其中包括一个分割分支和另一个分类分支。分类分支用于预测图像包含伪装对象的概率,随后用于增强分割分支中的分割性能6。Fan等人提出了 SINet模型,该模型包含两个模块:搜索模块定位伪装目标,识别模块精确检测伪装目标,同时建立了首个大规模伪装目标数据集7。Mei等人在伪装目标分割任务中引入了干扰的概念,开发了一种新的干扰识别和去除的干扰挖掘方法,帮助对伪装目标的准确检
12、测8。Zhai等人将特征映射解耦为两个特定的任务:一个用于粗略地定位对象,另一个用于准确地预测边缘细节,并通过图迭代推理它们的高阶关系9。Li等人提出联合训练 SOD 和 COD 任务,利用相互矛盾的信息同时提高两个任务的表现10。以上模型在多个伪装目标数据集上已经取得了较好的效果,但仍存在一些问题:模型的全局建模能力不足,在存在多个伪装目标且与背景高度相似时,模型容易出现漏检和误检的问题。其次,这些模型舍弃了较低层次的特征,而较深层次的特征在进行数次下采样后分辨率迅速下降,虽然减少了计算量,但同时也丢失了大量的边缘等细节信息,这也导致了模型的精度下降。最后,这些模型大多使用了极其复杂的特征融
13、合策略,大幅提高了模型的复杂度与推理时间。针对以上问题,本文提出了一种基于边缘增强和多级特征融合的伪装目标分割模型。首先,选择ResNet-50作为骨干网络,提取多级深度特征。其次,设计了一个边缘提取模块,选择融合细节信息丰富的两个较低层级特征,通过网络的不断学习,得到精确的边缘先验。同时,通过引入多尺度特征增强模块和跨层级特征聚合模块,分别在层内和层间增强特征表示,弥补多尺度表征能力不足的问题。之后,设计了一种简单但有效的层间注意力模块,利用相邻层的差异性,有选择地筛选出各层级间有用的信息,在保持层内语义完整的同时滤除背景噪声,再与边缘先验引导结合,输出精确的预测图。最后,为了增强网络的学习
14、能力,本文采用加权二元交叉熵损失与加权IOU(Intersection-Over-Union)损失两部分作为损失函数,对 3 个不同尺度的输出预测同时进行深度监督;采用单独的加权二元交叉熵损失对边缘预测图进行监督,边缘的真值可以使用 Canny 边缘检测方法从标注图中得到。本文方法在 4个伪装目标公开数据集 CHAMELEON11、CAMO6、COD10K7、NC4K12上与先进的方法进行对比实验。实验结果表明,本文方法在所有数据集的49第 39 卷液晶与显示4 个常用的评价指标上均优于其他方法,同时能够满足实时性的需要,表明本文方法在伪装目标分割任务上具有优异的性能。2 本文方法如图 1所示
15、。对于一幅输入图像I RH W 3(其中H为图像高,W为图像宽,通道数为 3),采用 ResNet-50 作为特征提取网络13,获得不同尺度的特征fi,i 1,2,3,4,5。首先,使用一个边缘提取模块来显式地建模边缘特征,以此指导网络学习并提升检测性能。然后,将获得的多级特征通过多尺度特征增强模块(Multi-scale Feature Enhanced Module,MFEM)筛选出更具辨识度的特征。增强后的特征图每 3 个层级为 1 组,同时输入到跨层级特征聚合模块(Cross-level Fusion Module,CFM),有选择地结合不同尺度下的有效特征。通过注意力模块给有价值的信
16、息以更高的权重。最后与边缘信息加以结合,得到最终的伪装目标分割预测图。2.1边缘提取模块早期的一些相关工作14-15已经证实了边缘信息有助于提升计算机视觉任务的性能。在伪装目标分割任务中,由于目标与背景的高度相似性,难以清晰地辨别伪装对象与周围环境之间的边界。现有的研究表明16,通常只有低级特征保留了大量的边缘细节信息,而在经过多个下采样操作后,细节信息会丢失。因此,本文设计了一个边缘提取模块,如图 1 所示。自 ResNet-50 中提取出最低两层的特征f1 RH4W4 64、f2 RH4W4 256,分别经过两个包含 33 卷积、批归一化(Batch Normalization,BN)及
17、ReLU 激活函数的卷积组,用来保证两组特征的通道数一致。然后通过逐元素相乘的方式得到融合的特征表示。将融合后的特征分别与卷积后的特征相加,用来抑制背景噪声和增强感兴趣区域。增强后的特征再次分别输入两个卷积组,通过拼接和一组 11卷积进行降维,得到全局边缘引导特征图fe。最后,将边缘特征图通过双线性上采样的方式恢复到与原图相同的尺寸,用来监督学习边缘表示。目标边缘的真值图可以通过对二值标注图进行 Canny边缘检测得到。Block-1Block-2Block-3Block-4Block-5MFEMMFEMMFEMMFEMMFEMCFMCFMCFMAACCCconvconvconvconvcon
18、vconvconvconv11convCfefefe11 conv11 conv11 conv多级监督f1f2边缘提取模块Block-i:ResNet-50卷积组MFEM:多尺度特征增强模块CFM:跨层级特征聚合模块fef1f2f3f4f5conv:卷积+批归一化+ReLU函数:相乘:相加C:拼接A:注意力模块标注图像:(13522)边缘监督:(13522)输入图像:(33522)图 1网络结构图Fig.1Network structure diagram50第 1 期李明岩,等:基于边缘增强和特征融合的伪装目标分割2.2多尺度特征增强模块伪装目标通常具有较大的尺度范围。每个单独的卷积层只能处
19、理一种特定的尺度,为了从单个层级获取多尺度信息以表征尺度的变化,受Inception-V317启发,设计了一个多尺度特征融合模块(MFEM),如图 2 所示。对于每个输入的特征fi,每个 MFEM 包含 4 个并联的残差支路和一个主路。在每个残差支路中,首先使用一个11 卷积将特征的通道数降为 64。接下来的两层分别为(2i-1)1和1(2i-1)大小的卷积核,i 1,2,3,4。这两层卷积的串联等效于两个(2i-1)(2i-1)大小的卷积核的串联,在不影响模块表征能力的同时能够减少计算的损耗。在支路的最后是一个膨胀率为(2i-1),i 2,3,4 的 33 卷积层,增大感受野以捕捉细粒度特征
20、。最后,将 4 个支路的特征拼接在一起并通过卷积来保证通道数一致,拼接后的特征与主路相加后,通过 ReLU 函数来获得输出特征f i。2.3跨层级特征聚合模块在跨层级特征融合的过程中,如何有效地保持层内语义的一致性及利用层间的相关性是构建伪装目标分割网络的关键。为此,本文提出了一个跨层级特征聚合模块(CFM),如图 3所示。给定一组特征fi-1,fi,fi+1,i 2,3,4,首先将较高层的特征fi+1与中间层特征fi分别经过一个卷积组后进行逐元素相乘,其中fi+1在卷积前进行一次双线性上采样操作以保证维度大小相同。将聚合后的特征再次进行上采样与卷积操作并与较低层特征相乘,得到f i-1,f
21、i,f i+1,i 2,3,4。之后,将初步融合后的特征由较高层到较低层逐级进行拼接操作。最后,将拼接后的特征矩阵分别经过一个 33大小的卷积组和一个 11大小的卷积核,将通道数减少为原始通道数,得到最后的输出特征ffusei,i 2,3,4。整个过程定义如式(1)式(5)所示:f i+1=Conv(fi+1),(1)f i=Conv(fi)f i+1,(2)f i-1=fi-1 Conv(f i),(3)fci=Cat(f i-1,Conv(Cat(f i,f i+1),(4)ffusei=Conv1(Conv(fci),(5)其中:Conv()表示一个 2倍的双线性上采样接一个包含 33卷
22、积、批归一化和 ReLU 函数的卷积组,Cat()表示对括号内的两个元素进行拼接操作,Conv1()是一个单独的 11 卷积核。接着,将输出特征传入注意力模块进行筛选。2.4注意力模块通过简单的拼接或相加的方式融合的特征往往是复杂且低效的,大量的噪声及低置信度的信息混杂在一起会对网络的学习造成巨大的困难。为此,设计了一个简单的注意力模块,对CFM融合后的特征进一步结合并筛选,模块结构图见图 4。首先将两组相邻层级的特征fi,fi+1,i 2,3 进行卷积处理,再分别通过一个 11卷积将通道维度由 C降为 1。即:f1 h wi=Conv1(Conv(fc h wi),(6)其中:h、w分别表示
23、特征的高度、宽度两个维度的大小,c为通道数。将处理后的矩阵拼接并在通道维度上进行 Softmax 函数计算,可以得到两个不同的权重矩阵1 h w1、1 h w2。将两个权重矩阵分别与对应的特征图相乘,可以得到:f()x,y i=f()x,yi ()x,y1,(7)f()x,y i+1=f()x,yi+1 ()x,y2,(8)f(x,y)表示该特征矩阵上对应于(x,y)位置的元convconvCCconvconvconv11 convfi-1UpUpfifi+1Upfifusefifi-1fi+1图 3跨层级特征聚合模块Fig.3Cross-level fusion module11 convC
24、11 conv11 conv13 conv31 conv33 conv(膨胀率=3)11 conv15 conv51 conv33 conv(膨胀率=5)11 conv17 conv71 conv33 conv(膨胀率=7)f1fifi图 2多尺度特征增强模块Fig.2Multi-scale feature enhanced module51第 39 卷液晶与显示素。其中(x,y)1+(x,y)2=1,值越大,表示该位置的信息越应该被保留,反之则被舍去。最后,将两个特征相加,并经过卷积平滑操作,得到最终的输出结果:pi=Conv(f i+f i+1).(9)采用这种注意力机制可以有效地筛选出各
25、级特征中更有效的信息,抑制噪声,增强不同尺度特征的表示能力。需要注意的是,由于f4是由较高 3 个层的特征聚合得到,在卷积的过程中已经被过滤掉了大量的细节和噪声信息,因此将f4不经过注意力机制筛选而直接输出,即:p4=f4.(10)最后,将p2、p3、p4分别与全局边缘引导fe拼接,经过 11卷积降维后,上采样回原图尺寸,得到最终的预测图P2、P3、P4。其中P2作为最终的预测结果用来评估网络性能。2.5损失函数在伪装目标分割过程中,使用了加权二元交叉熵损失18(weighted binary cross entropy loss,wBCE)及加权交并比损失18(weighted inters
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 边缘 增强 特征 融合 伪装 目标 分割
![提示](https://www.zixin.com.cn/images/bang_tan.gif)
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。