基于改进YOLOX-s的机场跑道冰雪状态感知.pdf
《基于改进YOLOX-s的机场跑道冰雪状态感知.pdf》由会员分享,可在线阅读,更多相关《基于改进YOLOX-s的机场跑道冰雪状态感知.pdf(13页珍藏版)》请在咨信网上搜索。
1、第57 卷第10 期2023年10 月文章编号:10 0 6-2 46 7(2 0 2 3)10-12 9 2-13上海交通大学学报JOURNAL OF SHANGHAI JIAO TONG UNIVERSITYVol.57 No.10Oct.2023DOI:10.16183/ki.jsjtu.2022.303基于改进 YOLOX-s 的机场跑道冰雪状态感知邢志伟,阙犇,刘子硕,李彪,罗谦3(1中国民航大学电子信息与自动化学院,天津30 0 30 0;2.天津航空机电有限公司,天津30 0 30 8;3.中国民航局第二研究所工程技术研究中心,成都6 10 0 41)摘要:针对机场冰雪跑道安全性
2、和适航性状态感知能力不足及跑道表面状况报告交互的新需求,提出一种面向多尺度特征融合的机场跑道冰雪状态感知模型.以YOLOX-s模型为基础,在主干特征提取网络中引入全局上下文模块,获取更丰富的浅层与深层特征;将颈部结构中路径聚合网络替换为双向特征金字塔,以提升特征融合能力;在加强特征提取网络尾部添加自适应空间特征融合结构,进一步增强特征融合效果;使用-EIoU优化损失函数,提高模型收敛速度与精度.实验结果表明,改进后的YOLOX-s模型在跑道冰雪实验系统所得的冰雪污染物数据集上平均精度达到了91.53%,比原始的YOLOX-s模型提高了4.6 8%,能够为机场跑道除冰雪作业提供决策支持.关键词:
3、跑道冰雪状态感知;YOLOX-S;全局上下文模块;双向特征金字塔网络;自适应空间特征融合结构;-EIoU损失函数中图分类号:TP391.9文献标志码:AAirport Pavement Snow and Ice State Perception Based onImproved YOLOX-sXINGZhiwei,KAN Ben,LI U Zi s h u o,LI Biao,LU O Q i a n(l.School of Electronic Information and Automation,Civil Aviation University of China,Tianjin30030
4、0,China;2.AVIC Tianjin Aviation Machinery and Electricity Co.,Ltd.,Tianjin 300308,China;3.Engineering Technology Research Centre,Second Research Institute ofCivil Aviation Administration of China,Chengdu 61004l,China)Abstract:Aimed at the lack of awarness of safety and airworthiness state perception
5、 ability of airport icerunway and the new demand of interaction of runway surface condition report,a multi-scale feature fusionbased ice and snow state perception model of airport runway is proposed.Based on the YOLOX-s model,first,the global context block(GC block)is introduced into the backbone fe
6、ature extraction network toobtain more abundant shallow and deep features.Then,the PANet networks in neck are replaced with thebi-directional feature pyramid network(BiFPN)to improve the feature fusion ability.Afterwards,anadaptive spatial feature fusion(ASFF)structure is added to the tail of the en
7、hanced feature extractionnetwork to further enhance the feature fusion effect.Finally,-EloU is used to optimize the loss functionto improve the convergence speed and accuracy of the model.The experimental results show that theimproved YOLOX-s model has an average accuracy of 91.53%in the snow and ic
8、e pollutant data set收稿日期:2 0 2 2-0 8-0 4修回日期:2 0 2 2-11-2 3录用日期:2 0 2 2-12-0 1基金项目:国家重点研发计划(2 0 18 YFB1601200)资助项目作者简介:邢志伟(197 0-),教授,从事机场运行控制,民航装备与系统的应用研究.通信作者:李彪,助理教授;E-mail:18 330 2 2 7 7 0 16 3.c o m.第10 期obtained from the runway snow and ice experimental system,which is 4.68%higher than the ori
9、ginalYOLOX-s model,and can provide decision-making support for airport runway snow removal operations.Key words:pavement snow and ice state perception;YOLOX-s;global context block(GC block);bi-di-rectional feature pyramid network(BiFPN);adaptive spatial feature fusion(ASFF);-EloU loss function邢志伟,等:
10、基于改进YOLOX-s的机场跑道冰雪状态感知12932021年11月4日,国际民航组织(Internation-al Civil Aviation Organization,I C A O)要求按照统一的全球跑道表面状况报告格式(GlobalReportingFormat,GRF)1评估和报告跑道表面状况.按照新的模式,跑道摩擦系数仅用于干跑道表面状况的日常监测和道面维护,不再作为跑道适航性的认定标准.对于有冰雪覆盖物污染的跑道,机场运行方应根据跑道道面污染物的种类、覆盖范围、深度等跑道表面状况,确定跑道状况代码,提供给管制和航空情报服务部门.因此,如何科学精确地感知跑道表面状态及演化规律,确
11、保跑道运行的适航性,是冬季冰雪气象条件下机场不停航运行需要突破的核心关键技术.目前,国内外学者针对ICAO提出的跑道运行新标准,展开了多方面的研究:一是道面冰雪污染物的状态识别,如Kim等2 提出一种利用毫米波传感器和人工神经网络(Artificial Neural Network,ANN)接收信号强度统计特征来识别冰雪种类;Ma等3 利用多波长非接触光学技术,发现黑冰、结冰和下雪条件下的归一化反射率不同,用于辨识路面冰雪状态;Baby等4基于电容传感原理,提出一种可以集成到远程操作车辆(RemotelyOperated Vehi-cle,RO V)中的电容式传感器,用于自动检查跑道等重要位置
12、的冰层及形态;Troiano等5 设计了一种用于估计路况的低成本电容式传感器,建立了一种当水或冰覆盖其表面时传感器的电容变化模型,并评估环境温度变化对道面冰雪厚度及状态的影响.二是道面冰雪污染物的厚度、界限检测,如Hoshino等6 1针对跑道受冰雪污染问题,在道面嵌人检测冰雪的激光传感器,通过光散射理论检测冰雪厚度;任宏宇等7 针对复阻抗式结冰检测技术,提出一种温度漂移补偿方法,提升冰雪厚度测量精度以及稳定性;Hong等8 利用系统动力学理论,建立随时间变化的道路结冰的界限和位置检测模型;勾一等9 基于红外热波检测技术,搭建了闪光红外热波检测系统,并提出将高斯-拉普拉斯金字塔算法与面积滤波算
13、法两者相融合识别冰雪界限.三是道面冰雪污染物的演化规律研究,如Qin等10-1基于Bessel函数提出一种描述冰膜演化动力学的热传导数学模型,通过该模型计算地温分布,研究冰膜的状态演化规律;Chen等12 利用改进粒子群优化算法对最小二乘支持向量机的核函数和惩罚函数进行优化,实现道面冰雪厚度与多气象因子的非线性映射演化模型;Costa等13 提出一种基于道面温度、湿度等气象因子的ANN模型,模拟路面积冰状态演化过程。上述在跑道埋设传感器等接触式冰雪检测方法受环境影响大,且多传感器间的数据难以实现深度融合,无法实现对道面冰雪状态的精确感知,但是基于图像理解的冰雪状态感知受气象条件影响很小,无需庞
14、大的数据融合,可在不接触道面冰雪的前提下对冰雪状态进行感知;与上述利用电磁波、光波等非接触式冰雪检测方法相比,以图像作为状态感知的依据,几乎不受环境限制,对黑冰、雪水混合物、冰水混合物等污染物复杂情况感知精确、可信度高.本文从图像层面实现机场跑道冰雪状态感知,设计并搭建跑道冰雪实验系统,采集冰雪状态微观图像并制作数据集,通过改进YOLOX-s14I模型来感知冰雪状态.在CSPDarknet53主干特征提取网络中,添加全局上下文模块(GlobalContext block,GC block)来提高网络注意力使用双向特征金字塔网络(Bi-directional Feature Pyramid Ne
15、twork,BiFPN)替换原加强特征提取网络,提高网络对多尺度的特征提取能力;同时引人自适应空间特征融合(Adaptive Spatial Feature Fusion,A SFF)结构,进一步提升特征融合能力;使用-EIoU损失函数代替原有的IoU损失函数,进一步提高模型的收敛速度与感知准确率,实现跑道冰雪状态智能感知,可为道面除冰提供决策依据,有助于提高冬季机场跑道适航性。1实验系统与数据采集1.1跑道冰雪实验系统跑道模型结构分解如图1所示,在距道面10 cm1294处铺设电热线,向上以2.5cm为间隔分别埋设3层PT-100,每层均匀埋设8 个PT-100.电热线层主要上海交通大学学报
16、水泥第57 卷用于对道面进行加热,控制道面温度,使冰雪呈现不同状态,模拟道面冰雪状态演化的过程.3层PT-第1层PT-100100用来监测跑道每层温度分布,利用传热学研究第2 层PT-100跑道导热效率对道面冰雪状态的影响。第3层PT-100跑道冰雪实验系统如图2 所示,当实验系统实电热线40际运行时,将跑道模型置于高低温试验箱或者冬季户外冰雪环境中,模拟冬季机场跑道表面实际情况,运行状态如图3所示.30图1跑道模型结构分解(cm)Fig.1 Structure decomposition of runway model(cm)冰雪状态感知器气象传感器温度传感器数据采集装置USB3.0BT4.
17、0USB3.0数据传输模块!电热线电源温控器串口工控机跑道模型加热装置置驱动个温控装置通信终端图2 跑道冰雪实验系统Fig.2Runway ice and snow experiment system图3实验系统实际运行Fig.3Actual operation of experimental system1.2数据采集与分类通过实验系统模拟冬季机场道面环境,共采集到2 59 2 像素X1944像素的图片56 6 8 张,并根据北海道大学低温科学研究所对冰雪的分类方式15-16 与ICAO发布的GRF标准中的跑道表面污染物分状态雪雪浆融雪冻冰湿冰水类,结合文献17 中的冰雪状态图像灰度区分表,
18、得到如表1所示的道面冰雪状态分类标准.将由实验系统采集的56 6 8 张冰雪污染物图片划分为6 类:雪、雪浆、融雪、冻冰、湿冰、水,如图 4 所示.使用Labe-limg工具对图像进行标注,生成xml类型的标签文件.表1跑道冰雪状态分类Tab.1Classification of ice and snow state of runway特点颗粒状,遇热变形雪半融解产物雪融解后产物雨雪冻结而成冻冰半融解产物冰雪完全融解产物含杂质晶体状态粒径0.0 5mm以上互不相连的圆粒粒径0.5 1mm的圆粒相互成网状连接粒径1mm以上互不相连的颗粒粒径0.0 5 2 mm的多结晶冰,含粒径0.0 1 0.1
19、mm气泡粒径0.1 0.4mm的多结晶冰,含粒径0.1 0.5mm气泡透明且流动不止,含有大量气泡灰度区间488081111235255112144145207第10 期邢志伟,等:基于改进YOLOX-s的机场跑道冰雪状态感知1295(a)雪(b)雪浆(c)融雪(d)冻冰2基于多尺度特征的冰雪状态感知模型YOLOX-s算法是2 0 2 1年旷视科技研究院提出的高性能One-Stage目标检测网络14。它巧妙地将解耦头、数据增强、无锚点等目标检测领域优秀进展应用到YOLO上,其网络结构由3个部分组成,如图5所示.其中Backbone部分即主干特征提取网络使用的是CSPDarknet53网络,Ne
20、ck部分加强特征提取网络使用的是路径聚合网络(Path-Aggrega-tionNetwork,PANet),Prediction部分即检测头使用了3个解耦头(DecoupledHead).Backbone部分BackbonePredictionCSP2_1SPPCSP2CBSCSP1_37CBSInputCSP13CBS1640640 x3CSP1CBSFocus(e)湿冰图4冰雪状态Fig.4Ice and snow state对输入图片进行浅层特征提取得到3个特征层,Neck部分再对3个特征层进行深层特征提取,最终再分别传人3个DecoupledHead进行目标框检测,得到检测结果141
21、.基于YOLOX-s框架,在CSPDarknet53主干特征提取网络中引人GCblock,将提取后的3个特征图经过BiFPN加强特征提取,得到3个具有不同尺度信息的特征图,再引入ASFF自适应地学习各尺度特征,增强特征融合效果,最后使用-EIoU损失函数代替原有的IoU损失函数,提高模型精度和加快收敛速度改进后的YOLOX-s(I m p r o v e dYOLOX-s,IYOLOX-s)网络结构如图6 所示.iNeckCBSCBSCBSx2CBSCatDownsUpsCBSCatCSP2_1CSP2_1CatCBSDowns门Ups川CatCSP2_图5YOLOX-s 网络结构Fig.5S
22、tructureof YOLOX-s network(f)水ConvSigConvSigCBSConvCBSx2Decoupled headCBSConvSigCBSCBSx2ConvSigCBSConvCBSx2CBSConvSigCBSCBSCatCatCBSx2ConvSigCBSConvCBS2ReShReShCatReShOutputCatTransL858.400l1296Conv_BN_SiLU(160,160,128)CspLayer(160,160,128)二二二二二二二二Conv_BN_SiLU(80,80,256)Neck(BiFPN-s)CspLayer(80,80,2
23、56)GcblockConv_BN_SiLU(40,40,512)CspLayer(40,40,512)Conv_BN_SiLU(20,20,1 024)SPPBottleneck(20,20,1 024)CspLayer(20,20,1 024)2.1基于GCblock的主干特征提取网络主干网络提取特征的能力可以直接影响目标检测效果,在对图片浅层特征提取阶段使用改进的CSPDarknet53作为主干网络.由于卷积受限于局部感知的特点,只可以对局部区域进行上下文建模,限制感受野的大小.并且在道面冰雪污染物图像中,冰雪晶体状态呈现大小和形状不同的特点,且有灰尘等杂质以及相干斑噪声的干扰,不易进行
24、状态感知。所以引人GCblock到CSPDarknet53特征提取网络的CSP结构后,不仅可以提取全局上下文信息,以此获得更丰富的浅层和深层特征,还可以大大降低计算量。如图7 所示,GCblock181由非局部均值模块(Non-Local block,NL block)19、压缩激励模块(Squeeze-Excitation block,SE block)201 组合而成,组合过程及机理如下.图中:C为特征层的通道数;H为特征层高度;W为特征层宽度;r为缩减比例.Step1简化并融合NLblock.图7 中,为输出信号代表当前位置的像素,;为所有与;位置特征相似、大小相等的像素,NLblock
25、 利用嵌人高斯计算j,其表示;与,之间的归一化注意力权重即两者位置的相关性,可以使两者相隔一定距离的i与,建立联系来增强识别效果,同时还可以明显降低图像中的噪声,计算公式为f(ai,a,)Wij=C()上海交通大学学报Backbone(CSPDarknet)SPPBottleneckInputs(640,640,3)Conv2D_BN_SiLUFocus(320,320,12)Conv_BN_SiLU(320,320,64)Zmexp(2exp(Wkzn)m=1Step2引人SEblock.exp()GC block 在融合 NL block 的过程中对其进行(1)了简化,在减少计算量的同时,
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 改进 YOLOX 机场 跑道 冰雪 状态 感知
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,个别因单元格分列造成显示页码不一将协商解决,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。