基于自动驾驶道路场景的语义分割方法研究.pdf
《基于自动驾驶道路场景的语义分割方法研究.pdf》由会员分享,可在线阅读,更多相关《基于自动驾驶道路场景的语义分割方法研究.pdf(4页珍藏版)》请在咨信网上搜索。
1、第期(总第 期)年 月机 械 工 程 与 自 动 化ME CHAN I C A LE N G I N E E R I N G&AUT OMA T I ONN o D e c 文章编号:()基于自动驾驶道路场景的语义分割方法研究张佳琪,袁骏,惠永科,胡勇,张睿(太原科技大学 计算机科学与技术学院,山西太原 ;中国机械科学研究总院集团有限公司,北京 )摘要:针对现有的自动驾驶道路场景的语义分割模型在特征提取阶段提取特征不充分以及忽略了不同级别特征图中存在的特征重要性差异进而导致分割结果不佳的问题,提出了一种改进的D e e p L a bV 算法,该方法结合了不同的注意力机制;针对原始模型的主干网
2、络结构较为复杂且需要更多的计算资源来训练的问题,将主干网络更换为R e s N e t .通过实验验证,本方法平均交并比(M I o U)指数达到了 ,相较于其他方法具有更高的分割准确度.关键词:自动驾驶;道路场景;语义分割;改进的D e e p L a bV 算法中图分类号:T P 文献标识码:A山西省机械产品质量司法鉴定中心企业委托项目();太原科技大学教学改革与研究项目(J G );山西省高等学校教学改革创新项目(J );太原科技大学研究生联合培养示范基地项目(J D );太原科技大学大学生创新创业训练项目(X J );年山西省高等学校教学改革创新项目(J )收稿日期:;修订日期:作者简
3、介:张佳琪(),女,山西晋中人,本科.引言自动驾驶领域中利用语义分割技术对路况进行分类有助于系统了解路况,进而做出更为精确的路径规划以及更为及时地规避障碍物,确保行车的安全,因此关于道路场景的分割对自动驾驶系统来说有着重要的现实意义.现有的基于语义的图像分割方法已难以适用于多个目标的分割任务,而基于深度学习的方法为计算机视觉领域的研究带来了新的突破.与经典的体系结构相比,卷积神经网络(C o n v o l u t i o n a lN e u r a lN e t w o r k s,C N N)图像语义分割技术能显示出更好的效率和准确性.陈先昌和F a r a b e t等提出了一种使用从
4、原始像素训练的多尺度卷积网络对密集特征向量进行提取,以图像中每个像素为中心,为多个大小的区域进行编码的方法;L o n g等提出的全卷积神经网络(F u l l yC o n v o l u t i o n a lN e t w o r k s,F C N)的流水线虽然扩展了卷积神经网络,并且可以预测任意尺寸的输入图像,但是F C N预测结果分辨率比较低;R o n n e b e r g e r等提出的UN e t在上采样部分中具有大量特征通道,使得较高分辨率层能够接收到上下文信息,通过“U”字网络形状获得深度特征和浅层信息,达到了预测的目的.随着大规模公共数据集和进化的高性能图形处理器(G
5、 r a p h i cP r o c e s sU n i t,G P U)技术的发展,出现了一种高效的语义分割网络C P N e t,能够捕捉到类与类之间的语义关系,进而提高了该网络对道路场景的理解分析能力.而基于像素的纵向位置且有选择性的突出信息属性的网络HAN e t则可以更好地实现城市街道场景图像的语义分割.由上述的研究现状可知,现存算法在特定场景下可能会产生漏检、误判问题,并且未考虑到多个特征之间特征重要性的差异,丢失了特征图的大量细节信息,导致最后的分割结果不佳.为了解决上述问题,本文提出一种改进的D e e p L a bV 算法,解决了对特征图重要性的忽略问题以及细节信息丢失
6、的问题.道路场景语义分割的优化算法设计由于D e e p L a bV 原始模型的特征提取不充分,没有考虑到不同级别的特征存在的特征重要程度不同,并且忽略了大量的细节信息,进而导致分割结果不佳.因此本文提出了改进的D e e p L a bV 模型,将主干网络X c e p t i o n替换为R e s N e t ,除此之外,还在使用主干网络为R e s N e t 的D e e p L a bV 原始模型上做了一些改进,根据不同级别的特征图特点引入适配的注意力机制.改进后的D e e p L a bV 网络结构如图所示.采用本文所提算法对图像信息空间分布特性进行了分析并结合了各通道中不同
7、特征的重要性,为各特征引入不同的注意力机制,通过卷积网络池化等一系列操作提高分割精度;同时在R e s N e t 主干网络的基础上,给出了编码器和解码器的设计方案.在编码器端输入的图像先通过R e s N e t 完成特征的首次提取,之后采用不同倍率的空洞空间金字塔池化模块对特征进行了进一步提取,并将其转换为特征向 量,与 此 同 时 通 道 注 意 力 机 制 模 块C A(C o o r d i n a t eA t t e n t i o n)也会对从主干网络提取出的特征图进行处理,即C A将高级特征fhRWHC展开为fhfh,fh,fhC(其中fhiRWH为fh的第i片,W为输入图像
8、的宽,H为输入图像的高,C为总通道数).在经过注意力模块C A时,首先对每个fhi应用平均池化得到特征向量vhRC;接着,将通道之间的依赖关系建立在两个连续的全连接层上,这两个全连接层分别放置于非线性函数R e L U的两侧(如图所示),并 编 码 通 道 方 向 的 特 征 向 量;最 后,通 过S i g m o i d运算对映射到,编码后的通道特征向量采取归一化处理.求解最终输出特征过程如下:FC A(vh,WC)fcfc(vh,WC),WC()其中:FC A(vh,WC)为进行完激活函数后的输出;WC、WC、WC均 为 通 道 注 意 力 模 块 中 的 参 数;为S i g m o
9、i d操作;fc、fc分别为第一个全连接层和第二个全连接层;为R e L U函数.最后采用C A注意力模块对背景信息进行权重计算,进而得到该模块的最终输出fh:fhFC Afh()图改进后的D e e p L a bV 网络结构图通道注意力结构C A将对响应较高的通道给予较大的加权,为了进一步提高融合性能,将之前输入图像中的不同通道进行拼接融合,然后使用卷积来进行维度的降低,与此同时使用C A注意力模块融合从主干网络提取出的特征图,并提取丰富的上下文信息,得到有效的高阶特征.在解码器端输入图像并通过R e s N e t 模型的输入层后,首先将两个特征图同时提取出来作为解码器的特征输入信息,根
10、据迁移残差连接的思想,将所提取出的两个特征图分为两条路径,一路经过注意力机制S E(S q u e e z e a n d E x c i t a t i o n)模块,在S E模块中对高阶特征进行处理,产生有效的特征图,从而提高分割结机 械 工 程 与 自 动 化 年第期果,另一路不通过S E模块;接着再将两路提取出的低级特征分别经过的卷积操作降维后再叠加,之后融合编码器中四倍上采样获取的高级特征,最后经过的卷积和上采样的方法将其还原到与输入图像相同的分辨率,并对特征进行进一步的精细化,进而恢复空间信息.本文采用了信息论中的重要函数 交叉熵损失函数,交叉熵损失函数计算公式定义为:Lyil o
11、 gpi(yi)l o g(pi)()其中:yi为输出的真实值,yi或yi;pi为样本的预测概率.实验验证与结果分析 数据集本文采用C i t y s c a p e s这一大型的数据集来对实例语义标签 进行训练和测试.C i t y s c a p e s是从 个城市中春、夏、秋季的街头采集到的各式各样的三维图像,其中 张图像是具有高品质的像素级注释,而另外 张图像则进行了粗略的注释,这样就可以更好地使用这些标注过的数据.实验平台本实验是在W i n d o w s 操作系统下使用P y c h a r m平台以及P y t h o n 语言开发的,C P U为I n t e l(R)C o
12、 r e(TM)i KC P U GH z;G P U采用NV I D I AR T X .实验评价指标本实 验 使 用 的 评 价 指 标 为 平 均 交 并 比(M e a nI n t e r s e c t i o no v e rU n i o n,M I o U)和 总 体 精 度(O v e rA c c u r a c y,OA).M I o U计算公式为:M I o Unnipi injpi jnjpj ipi i()其中:n为标签标记的类别数;n为包含空类或者背景的总类别数;pi i为模型预测与实际均为i类的像素个数;pi j为预测为j类但实际为i类的像素个数;pj i为预
13、测为i类但实际为j类的像素个数.M I o U的取值范围为,表示准确的预测,表示完全错误的预测,M I o U值越高表示模型性能越好.改进模型消融实验对使用R e s N e t 为主干网络的D e e p L a bV 模型进行改进,改进后的网络根据每个通道中存在特征的重要程度,针对不同的特征引入不同的注意力机制.本文对不同模型进行了消融实验,分别为:使用主干网络为X c e p t i o n的原始D e e p L a bV 模型的实验;使用主干网络为X c e p t i o n并且加入注意力机制的改进算法的实验;使用主干网络为R e s N e t 的原始D e e p L a bV
14、 模型的实验;使用主干网络为R e s N e t 并且加入注意力机制的改进算法的实验.得到的消融实验结果如 表所 示.由 表可 知:改 进 后 的 主 干 网 络R e s N e t 并加入注意力机制模型分割效果较原始模型增加了十个百分点,提高了模型的分割精度.表不同模型结构的消融实验结果模型结构M I o UOA主干网络X c e p t i o n 主干网络X c e p t i o n并加入注意力机制 主干网络R e s N e t 主干网络R e s N e t 并加入注意力机制 性能对比实验在数据集C i t y s c a p e s上将改进后的D e e p L a bV 模
15、型与近三年较新的算法如 年提出的A e r i a l P A S S 以及 年提出的S t r e a m D E Q 分割效果做对比,除此之外,还与一些经典的语义分割模型如F C N以及P S P N e t分割效果性能做对比,结果如表所示.表不同网络模型C i t y s c a p e s数据集分割效果对比网络模型M I o UA e r i a l P A S S S t r e a m D E Q F C N P S P N e t 改进D e e p L a bV 从表中可以看出:改进后的D e e p L a bV 模型在M I o U上较其他算法的精度高,且对某些小目标的类分
16、割准确率也有显著提高.实验结果验证了改进后的D e e p L a bV 算法的有效性.原始模型分割结果和改进后D e e p L a bV 模型分割结果对比如图所示.从图中可以看出:本文算法对各种类型的物体具有更好的边界分割,对路面和车辆更是有着精确的分割,对复杂场景中各类目标的鉴别能力也更强,对电线杆等一些小目标也有较好的识别度.图原始模型分割结果和改进后D e e p L a bV 模型分割结果对比结论本文将D e e p L a bV 模型的主干网络X c e p t i o n替换为R e s N e t ,作为改进模型的主干网络.在此基础上,通过对基于主干网络的高阶特征进行空间关注
17、以及对低阶特征进行通道关注,充分提取了高低阶特征并高效融合了高低阶特征.通过与近三年的模型和一些经典模型在C i t y s c a p e s数据集上进行比较,验证了本文所提方法的有效性.参考文献:田启川,孟颖卷积神经网络图像语义分割技术J小型微型计算机系统,():陈先昌基于卷积神经网络的深度学习算法与应用研究D杭州:浙江工商大学,:F a r a b e tC,C o u p r i e C,N a j m a n L,e t a l L e a r n i n gh i e r a r c h i c a lf e a t u r e s f o r s c e n e l a b e
18、l i n gJI E E E 年第期张佳琪,等:基于自动驾驶道路场景的语义分割方法研究T r a n s a c t i o n so nP a t t e r nA n a l y s i sa n dM a c h i n eI n t e l l i g e n c e,():L o n gJ,S h e l h a m e r E,D a r r e l l TF u l l y c o n v o l u t i o n a ln e t w o r k s f o r s e m a n t i c s e g m e n t a t i o nJI E E ET r a n s
19、 a c t i o n so nP a t t e r nA n a l y s i sa n dM a c h i n eI n t e l l i g e n c e,():R o n n e b e r g e rO,F i s c h e rP,B r o xT U n e t:C o n v o l u t i o n a ln e t w o r k s f o r b i o m e d i c a l i m a g e s e g m e n t a t i o nC/M e d i c a l I m a g eC o m p u t i n g a n dC o m p
20、 u t e r A s s i s t e dI n t e r v e n t i o n M I C C A I :t hI n t e r n a t i o n a lC o n f e r e n c e M u n i c h,G e r m a n y:S p r i n g e rI n t e r n a t i o n a lP u b l i s h i n g,:Y uC,W a n gJ,G a o C,e ta l C o n t e x t p r i o rf o rs c e n es e g m e n t a t i o nC/P r o c e e d
21、 i n g s o f t h e I E E E/C V FC o n f e r e n c eo nC o m p u t e rV i s i o na n dP a t t e r nR e c o g n i t i o n s l :s n ,:C h o iS,K i mJT,C h o oJ C a r sc a n tf l yu pi nt h es k y:I m p r o v i n g u r b a n s c e n e s e g m e n t a t i o n v i a h e i g h t d r i v e na t t e n t i o
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 自动 驾驶 道路 场景 语义 分割 方法 研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。