![点击分享此内容可以赚币 分享](/master/images/share_but.png)
基于局部窗口交叉注意力的轻量型语义分割.pdf
《基于局部窗口交叉注意力的轻量型语义分割.pdf》由会员分享,可在线阅读,更多相关《基于局部窗口交叉注意力的轻量型语义分割.pdf(9页珍藏版)》请在咨信网上搜索。
1、2023 年(第 45 卷)第 9 期汽车工程Automotive Engineering2023(Vol.45 )No.9基于局部窗口交叉注意力的轻量型语义分割*金祖亮1,隗寒冰1,Zheng Liu1,2,娄路1,郑国峰1(1.重庆交通大学机电与车辆工程学院,重庆400074;2.University of British Columbia Okanagan,Kelowna,BC,Canada)摘要 在自动驾驶汽车环境感知任务中,采用环视相机在统一鸟瞰图(birds eye view,BEV)坐标系下对车道线、车辆等目标进行语义分割受到广泛关注。针对相机个数增加致使任务推理延迟线性上升、实
2、时性难以完成语义分割任务的难题,本文提出一种基于局部窗口交叉注意力的轻量型语义分割方法。采用改进型EdgeNeXt骨干网络提取特征,通过构建BEV查询和图像特征之间的局部窗口交叉注意力,完成对跨相机透视图之间的特征查询,然后对融合后的BEV特征图通过上采样残差块对BEV特征解码,以得到BEV语义分割结果。在nuScenes公开数据集上的实验结果表明,该方法在BEV地图静态车道线分割任务中平均IoU达到35.1%,相较于表现较好的HDMapNet提高2.2%,推理速度相较于较快的GKT提高58.2%,帧率达到106 FPS。关键词:鸟瞰图;语义分割;局部窗口;交叉注意力Lightweight S
3、emantic Segmentation Method Based on Local Window Cross AttentionJin Zuliang1,Wei Hanbing1,Zheng Liu1,2,Lou Lu1&Zheng Guofeng11.School of Electromechanical and Vehicle Engineering,Chongqing Jiaotong University,Chongqing400074;2.University of British Columbia Okanagan,Kelowna,BC,CanadaAbstract For th
4、e environmental perception of autonomous vehicle,the application of circumnavigation cameras in the Birds Eye View(BEV)coordinate for semantic segmentation of lanes,vehicles and other targets has attracted wide attention.For the problems of linear increase of task inference delay due to the increasi
5、ng number of cameras as well as difficulty in completing semantic segmentation tasks in real-time in autonomous driving perception,this paper proposes a lightweight semantic segmentation method based on local window cross-attention.The model adopts the improved EdgeNeXt backbone network to extract f
6、eatures.By constructing the local window cross attention between BEV query and image features,the feature query between the cross-camera perspectives is constructed.Then,the fused BEV feature map is decoded by up sampling residual block to obtain the BEV semantic segmentation results.The experimenta
7、l results on the nuScenes dataset show that the proposed method achieves 35.1%mIoU in the lane static segmentation task of BEV map,which is 2.2%higher than that of HDMapNet.In particular,the inference speed increases by 58.2%compared with that of GKT,with the frame detection rate reaching 106 FPS.Ke
8、ywords:BEV;semantic segmentation;local window;cross-attention doi:10.19562/j.chinasae.qcgc.2023.09.010*国家自然科学基金(52172381)资助。原稿收到日期为 2022 年 11 月 28 日,修改稿收到日期为 2023 年 01 月 03 日。通信作者:隗寒冰,教授,博士,E-mail:。汽车工程2023 年(第 45 卷)第 9 期前言自动驾驶汽车高度依赖于自车对场景的理解,例如湿滑地面检测1、交通标志检测2和障碍物检测等。在环视多相机语义分割任务中,前期研究基于DeepLap3、UNe
9、t4等单目相机分割得到2D目标,然后采用跨相机后处理方式将分割结果投影至统一车身坐标系下获得3D输出5。这类方法不能跨视图处理特征,分割结果容易受到环境影响而出现歧义,严重影响语义分割准确度。建立统一的鸟瞰图(BEV)矢量空间提取多视图相机内的特征已成为了当前代替单目后处理方式的主流方向。建立统一矢量空间完成BEV环视感知任务,需要网络能够在特征提取阶段之后完成透视图到BEV的转换。Philion等6提出LLS(lift splat shoot)网络,该方法能显式预测出每个像素点深度的离散分布和上下文向量,从而通过离散分布和向量间内积确定沿相机射线方向上特征点的深度,然后结合相机参数将 2D
10、特征提升到了统一 3D 空间,最后借鉴PointPillars7中的体柱方法将特征解码得到分割结果。Hu等8在LLS的基础上提出了FIERY网络,该方法在LLS基础上有效地融合了时间序列,进一步提升了分割效果。Huang等9也按照LLS的视图转换方法完成了3D目标检测任务。上述基于深度估计的方法随着感知距离增加,深度估计精度也会随之下降,并且逐点估计的伪点云方法会占用大量计算资源,导致推理时间长、速度慢,难以实时地完成自动驾驶感知任务。Pan等10提出VPN网络采用两层感知机(multi-layer perceptron,MLP),通过映射方式将透视图特征转化为 BEV特征。Li等11提出的H
11、DMapNet 网络同样采用 MLP 的方式完成视图转换,为了确保转换有效性,该网络还将BEV特征重投影回透视图,以对转换结果进行检查。基于MLP的方法速度虽然有所提升,但仍然没有使用相机内参作为几何先验以及缺乏深度信息。Zhou等12提出基于Transformer13完成视图转换的CVT网络,该网络通过构建 BEV 查询(query),采用交叉注意力(cross attention)完成与图像特征之间的查询,且图像特征添加了由相机参数计算得到的位置嵌入以提供较好的先验。由于语义分割任务采用BEV网格这种密集的查询来完成BEV下的分割,但网络复杂度和计算量与BEV查询的分辨率和透视图特征分辨率
12、相关,因此网络采用缩小分辨率的方式来减少计算量,提高推理时间。Li等14提出的BEVFormer利用了可形变注意力机制用于BEV分割,使注意力关注在BEV重投影透视图的相关稀疏位置以减少计算量。Chen等15提出的GKT利用几何先验引导注意力聚集在2D参考点的核区域,并且建立BEV和2D的查找表用于快速推理。基于Transformer的方法能更好地完成视图转换且模型权重拥有强数据关联性,相比基于深度估计和MLP的方法具有更好的鲁棒性和精度。尽管基于Transformer的方法达到了当前最佳的检测精度和计算速度,但其计算量仍然较大,模型推理速度高度依赖于高算力GPU。针对上述问题,本文中提出一种
13、轻量型实时BEV语义分割模型,以完成对自动驾驶场景中道路边缘、车道线和人行横道线的分割。本文提出的BEV语义分割模型包含3个关键设计:(1)借鉴特征金字塔(feature pyramid networks,FPN16)思想对轻量型骨干网络EdgeNeXt17进行改进,以完成对多尺度特征的提取;(2)构建交叉视图转换编码器来完成透视图特征到BEV特征转换;(3)提出了一种局部窗口交叉注意力方式,由此完成视图转换,以解决视图转化中全局查询带来的计算量大的问题。1算法设计1.1网络整体设计本文提出的网络整体结构如图1所示。骨干网络 采 用 改 进 的 EdgeNeXt 网 络,基 本 思 想 是 在
14、EdgeNeXt基础上添加残差块18的方式构建特征金字塔来捕获全局和局部信息,完成特征提取和融合。交叉视图转换编码器用于透视图特征到BEV特征的转换,编码器包含BEV局部窗口查询向量构建、局部窗口交叉视图注意力。BEV 特征解码器用于BEV 特征解码,从而输出分割结果,解码器借鉴FCN19网 络,通 过 多 个 上 采 样 残 差 块(upsample block)得到分割结果。1.2骨干网络改进在骨干特征提取网络上,本文中设计了一种改进型EdgeNeXt网络。EdgeNeXt作为一种快速推理的混合神经网络,结合了卷积神经网络 CNN 和Transformer模型的优势,能够有效地学习局部和全
15、局信息。同时为了增强模型的表现力,获取更多的上下文信息,骨干网络通过构建特征金字塔来聚合 16182023(Vol.45)No.9金祖亮,等:基于局部窗口交叉注意力的轻量型语义分割多尺度特征。1.2.1骨干网络改进如图2(a)中骨干网络整体框架所示,EdgeNeXt模型包含4个Stage模块。除Stage1外,所有的模块都包含一个下采样、多个卷积编码器和一个深度转置编码器。为了减少冗余的位置编码带来的推理速度下降,仅需在第一个深度转置编码器前,即Stage2模块内添加一次位置编码。特征金字塔如图2中的黄框所示,金字塔搭建在Stage 2、3、4的输出上,图像经过多个Stage得到宽高下采样8倍
16、、16倍、32倍的特征图。对Stage 2的输出下采样2倍,Stage 4的输出上采样2倍率,同时与Stage 3的输出拼接,拼接结果通过一个残差块聚合特征。高层特征和浅层特征在通过残差块融合,进一步增强了特征的表达能力。骨干网络的金字塔的输出,分别为宽高下采样32倍和下采样16倍大小的特征图。1.2.2卷积编码器受到MobileNet20和ConvNeXt21启发,卷积编码器由一系列深度可分离卷积和残差连接组成,深度可分离卷积由深度卷积和逐点卷积组成。对应不同的骨干网络模块,深度卷积采用不同的卷积核大小来提取特征,同时使用正则化和高斯误差线性单元(GeLU)非线性激活特征映射,如式(1)所示
17、。xi+1=xi+Pw(G(Pw(N(Dw(xi)(1)式中:xi RH W C为输入特征图;xi+1 RH W C为输出特征图;Pw为逐点卷积;Dw为深度卷积;N为正则化;G为GeLU激活函数。1.2.3深度转置注意力编码器深度转置注意力编码器由两个基本模块组成。在第1个模块内,输入由通道方向被切分为均等的4个子集,每个子集由上一个子集的输出特征融合后,再通过33大小的深度可分离卷积得到,最终将4个子集拼接后得到不同空间级别的多尺度感受野特征。模块 2 通过转置注意力编码全局图像特征表示,不同于传统多头自注意力对空间维度的外积计算,转置注意力对跨通道维度外积,从而生成全局表示的潜在表达注意力
18、特征图。具体步骤如下。(1)将输入特征图转化为序列向量,通过一个线性投射层得到查询(Query,Q)、键(Key,K)和值(Value,V),即Q,K,V=M(XP)(2)式中:M为线性投射层;Xp为图像特征,Xp RC H W。(2)Q的转置和K点乘计算并通过softmax归一化后和V相乘得到自注意力图,即Attention()Q,K,V=V softmax()QTK(3)(3)将得到的注意力图与输入残差连接并将序特征图特征图EdgeNeXt正则化鸟瞰图查询Q前馈神经网络+正则化局部窗口交叉注意力局部窗口交叉注意力+正则化前馈神经网络+正则化上采样残差块3分割头自车位置下采样上采样+相加2倍
19、上采样卷积正则化非线性激活+卷积正则化卷积2倍上采样卷积正则化非线性激活卷积(a)总体框架(b)上采样残差块(c)分割头 特征图6HW36 96H6W66 160H16W166 304H32W32图1网络整体结构 1619汽车工程2023 年(第 45 卷)第 9 期列向量变换回特征图,如式(4)所示。Xo=R(Attention(Q,K,V)+Xp)(4)式中:Xo RC H W为输出特征图;R为resize操作。1.3交叉视图转换编码器为了实现透视图特征到BEV特征的转换,CVT网络提出了交叉注意视图模块,该方法构建的BEV查询与全部视图进行交叉注意力操作,带来了一定的计算资源消耗。本文在
20、此基础上提出的交叉视图转换器通过将BEV网格划分为多个窗口,窗口内的BEV查询仅和自身感兴趣视图完成交叉注意力,这种方式能够为窗口内的查询提供显式的指引,带来一定的性能提升,并且有效地降低模型计算量。1.3.1BEV局部窗口查询构建将环视透视图特征F RN H W C转换为 BEV特征G RX Y C,H和W为像素大小,X和Y为网格大小,BEV网格长度由感知距离与分辨率决定。为了减少交叉注意力计算的复杂度,模型先下采样BEV网格尺寸,在完成视图转换后再通过上采样残差块还原BEV原始大小。然后根据相机的内外参将BEV网格投影至图像坐标系,并结合相机视角场(field of view,FOV),得
21、出组成环视的 6 个相机在BEV下的FOV,如图3所示。针对不同相机视图FOV区域存在重叠,可根据相机视角FOV确定BEV网格内所有网格点所关联的视图。将BEV网格划分为多个窗口,窗口内的网格查询只与该窗口对应的感兴趣视图进行交叉注意力。如图4所示,本文将BEV网格划分为4个窗口,44 卷积层33 卷积编码器下采样+深度转置注意编码器32下采样深度转置注意编码器8下采样2特征图特征图特征图特征图输出1特征图输出2NN深度可分离卷积正则化全连接层非线性激活全连接层+输入33深度可分离卷积拆分33深度可分离卷积33深度可分离卷积拼接转置注意力+正则化前馈神经网络非线性激活前馈神经网络+(b)卷积编
22、码器(c)深度转置注意编码器Stage1Stage2Stage3Stage4残差块下采样上采样+相加位置编码 55 卷积编码器77 卷积编码器深度转置注意编码器77 卷积编码器6HW36 96H8W86 160H16W166 304H32W326 304H32W326 128H16W16(a)骨干网络整体框架图2骨干网络结构YX右前视左前视前视右后视左后视后视图3视图FOV 16202023(Vol.45)No.9金祖亮,等:基于局部窗口交叉注意力的轻量型语义分割每个窗口会与3个视图进行交叉注意力,如深蓝色窗口对应的FOV则为前视、左前视、左后视。1.3.2交叉视图注意力BEV坐标Xw通过相机
23、内外参可以转化为图像坐标XI,计算公式如下:()uvd=I E-1 Xw(5)XI=()uIvI1=()u/dv/dd/d(6)式中:u、v为图像坐标;d为深度;I为相机内参矩阵;E为相机外参矩阵。由上式可知,BEV坐标能够通过内外参重投影回透视图坐标系。与之相反,由于缺少深度d,透视图坐标难以转换至BEV坐标系下。本文通过构建透视图像反投影的 BEV 坐标和BEV网格坐标之间的余弦相似度完成交叉注意力,从而隐式学习图像深度完成视图转换。simn(XI,Xw)=()EK-1XI()XwEK-1XIXw(7)交叉视图注意力具体实现过程如下。(1)根据透视特征图大小,构建特征图的反投影索引,并通过
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 局部 窗口 交叉 注意力 轻量型 语义 分割
![提示](https://www.zixin.com.cn/images/bang_tan.gif)
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。