基于深度学习的铁路限界快速检测算法_王辉.pdf
《基于深度学习的铁路限界快速检测算法_王辉.pdf》由会员分享,可在线阅读,更多相关《基于深度学习的铁路限界快速检测算法_王辉.pdf(9页珍藏版)》请在咨信网上搜索。
1、第 20 卷 第 4 期2023 年 4 月铁道科学与工程学报Journal of Railway Science and EngineeringVolume 20 Number 4April 2023基于深度学习的铁路限界快速检测算法王辉1,2,吴雨杰2,范自柱2,杨辉2(1.华东交通大学 软件学院,江西 南昌 330013;2.轨道交通基础设施性能监测与保障国家重点实验室,江西 南昌 330013)摘要:列车行驶环境快速、可靠、精准感知是列车安全、高效运行的前提和关键支撑技术。列车若无法提前感知非法侵入铁路限界范围内的异物,并在短时间内有效制动,将会导致严重的安全事故。为解决列车运行环境内
2、影响运行安全的异物侵限问题,基于深度学习算法,提出一种铁路轨道限界快速检测算法。该方法首先采用预设行锚框的方式对图像进行划分,将传统分割算法的逐像素预测,转变为对每个行锚框进行逐网格预测,以达到显著降低算法计算量,并提高检测速度的目的。同时,通过快速识别图像中属于轨道部分的像素,结合轨道线的连续特征进行追踪,达到铁路轨道坐标的智能快速识别。最后根据标准轨距下限界的定义,对识别出的轨道线坐标和侵限区域进行扩充,以确定铁路异物入侵限界的范围。通过在真实轨道数据集上的对比实验,验证所提算法能以172FPS的速度快速检测铁路限界,且轨道线和限界区域的识别精度分别达到98.96%和98.12%,F1值分
3、别达到99.68%和98.95%,限界区域检测的平均交并比MIoU达到96.88%,各类指标均取得当前最好的准确率和性能,满足高速列车对环境感知精度和速度要求,可以为异物侵限检测、目标跟踪和列车控制等环境感知及运行控制等下游任务提供基础,提升列车运行的安全性。关键词:铁路限界;行锚框;深度学习;铁路轨道;图像分割中图分类号:TP391;U216.3 文献标志码:A 开放科学(资源服务)标识码(OSID)文章编号:1672-7029(2023)04-1223-09Fast detection algorithm of railway clearance based on deep learnin
4、gWANG Hui1,2,WU Yujie2,FAN Zizhu2,YANG Hui2(1.School of Software,East China Jiaotong University,Nanchang 330013,China;2.State Key Laboratory of Performance Monitoring and Protecting of Rail Transit Infrastructure,Nanchang 330013,China)Abstract:The fast,reliable,and accurate perception of driving env
5、ironment is a fundamental and key technology for safe and efficient train running.The failure to detect foreign objectsthatintrude illegally into the railway clearance in advance and applyeffectivebrakes in a short time can lead to serious safety accidents.To address the problem of foreign object in
6、trusion in the train running environment,a fast detection algorithm of railway clearance based on deep learning was proposed in this paper.First,the image segmentation algorithm based on 收稿日期:2022-04-14基金项目:国家自然科学基金资助项目(U2034211,61991401,61991404);江西省自然科学基金资助项目(20224BAB212014);教育部人文社会科学研究交叉学科项目(22YJ
7、CZH168)通信作者:杨辉(1965),男,江西高安人,教授,博士,从事轨道交通智能辅助驾驶研究;E-mail:DOI:10.19713/ki.43-1423/u.T20220732铁 道 科 学 与 工 程 学 报2023 年 4月deep learning was optimized by using row anchor boxes,which transforms the pixel-by-pixel prediction of traditional segmentation algorithms into a grid-by-grid prediction for each ro
8、w anchor box.This optimization method significantly reduces the computational requirements of traditional segmentation algorithms and improves the detection speed.Second,the intelligent identification of the railway track coordinate position was achieved by promptly recognizing the pixel position of
9、 the track line in the image and combining it with the track lines continuous characteristics.Finally,the scope of foreign body intrusion into the railway clearance was determined by expanding the coordinate position of the identified track line and intrusion area according to the definition of the
10、railway clearance of standard gauge.Through comparative experiments,the proposed algorithm can detect railway clearance at 172 frames per second,with railway track and railway clearance recognition accuracies of 98.96%and 98.12%,respectively.The harmonic mean F1 scores of railway track and railway c
11、learance detection are 99.68%and 98.95%,respectively,and the mean intersection over union(MIoU)detection is 96.88%.All these indicators achieved state-of-the-art accuracy and performance,which meets the environmental perception accuracy and speed requirements of high-speed trains.The proposed algori
12、thm can provide a foundation for downstream tasks such as foreign body invasion detection,target tracking,train control,and environmental perception,as well as operation control,and improve the safety of train running.Key words:railway clearance;row anchor box;deep learning;railway track;image segme
13、ntation 列车的重大运行事故与列车运行环境感知能力和感知精度密切相关,对列车运行环境实时且精准的感知成为保障列车安全运行的关键因素。当列车运行在没有护栏网的区间时,行人、牲畜或山区的落石等异物可能危及列车的运行安全1。传统的异物入侵检测手段主要包括人工线路定期巡检,铁路沿线提前布置用于检测异物的装置(如电网、各种传感器等)进行检测,以及基于计算机视觉和深度学习的异物侵限检测方法2。虽然这些方法在一定程度上能够对侵入铁路界限的异物做出检测,避免安全事故的发生,但是仍存在以下问题34:1)人工巡检需要消耗大量的人力、物力且实时性较低,难以实现24 h全天候检测;2)基于传感器技术的检测方式难
14、以全线部署和安装,且后期维护费用较高;3)传统基于计算机视觉和深度学习的方法,缺乏对铁路异物入侵限界的识别,存在检测范围过大、漏检、误检及实时性不高等问题。针对以上问题,本文采用预设的行锚框来进行轨道线的识别,显著降低轨道线和侵限区域检测的计算量以提高检测速度。确定铁路运行的安全限界以缩小异物侵限检测的区域,可以保证下游异物侵限检测、目标跟踪和列车控制等环境感知任务的精度、实时性和有效性等目标。1 基于行锚框的图像分割方法1.1行锚框的定义行锚框指宽度等于待检测图像宽度,高度为大小预先设定的先验框,其中每一个行锚框都由多个单元格组成,轨道图片的行锚框示意图如图1所示。图中矩形框就是一个预先设定
15、的行锚框,通过行锚框的划分使算法在执行时并不需要对图像中的每个像素点进行预测,只需要根据事先确定的行锚框对其内部每个网格进行检测,就可以得到轨道的位置信息和类别信息,图中方格代表的就是预测出的轨道线。1.2行锚框的分割原理传统的基于深度学习的图像分割算法如FCN5,Mask R-CNN6,SegNet7,U-Net8和 DFANet9等,均采用逐个像素进行类别判断,导致模型的推理时间显著增加,难以满足铁路运行场景下对异物侵限检测的速度要求。徐岩等10基于Faster R-CNN模型,设计一种铁路异物侵限检测算法,但没有划定异物侵限范围。NEVEN等11提出一种快速车道检测算法,运行速度达到50
16、FPS,可以处理可变车道数和车道变化,并在TuSimple数据集上取得1224第 4 期王辉,等:基于深度学习的铁路限界快速检测算法较好的结果,但是检测速度仍然不能满足高速列车的需求。QIN等12基于上下文和全局信息,采用基于行锚框的方法对车道进行识别,受该文献启发并结合铁路界限定义,可以显著减小铁路异物检测的范围。基于行锚框的分割方式将图像分割为多个大小相同的单元格,行锚框宽度等于待检测图像宽度,高度作为超参数预先人为设定。通过行锚框的划分使算法在执行时不需要对图像中的每个像素进行预测,只需要对行锚框内每个网格进行检测,结合轨道上下文信息可得到轨道的位置和类别信息。基于行锚框的图像分割方式的
17、原理如图2所示。图2(a)为传统图像分割算法的原理图,图 2(b)为改进的基于行锚框的图像分割原理图。基于行锚框的检测方法将传统分割方法沿着特征图通道方向,转换为沿着行锚框中的每个网格进行预测,可以避免使用上采样和转置卷积将分辨率低的特征图转换到原图分辨率所带来的额外计算量,以及局部感受野受限等问题。基于行锚框的计算方法和传统分割算法计算复杂度如式(1)所示:Forigin=HW(C+1)Frow=Ch(w+1)(1)式中:Forigin为传统分割方法的计算量,H,W,C分别为图片的高度,宽度和类别个数,背景作为单独类别,所以分类的总类别数需要加1;Frow为采用行锚框后的计算量,C,h,w分
18、别为类别个数,行锚框个数,行锚框中的网格数量,其中hH,wW,因此FrowForigin。使用行锚框的方式能够显著降低模型的计算复杂度,减少轨道线的定位时间。根据实际列车运行过程中所采集的图片信息,行锚框的范围只需设置图片下侧的3/4个区域,这样可进一步节约计算资源,保证检测的实时性。2 基于行锚框分割算法的轨道线快速检测网络2.1铁路限界区域设定铁路限界是列车运行时需要留出的安全行驶区域,然而监控设备采集的图像信息包括铁路限界内和限界外的区域。当图像中的物体位于铁路限界外时并不构成异物侵限,通过合理的划分铁路限界范围能够有效地防止限界外的异物被检测出来,从而避免安全误判等问题。我国采用的标图
19、1行锚框的定义Fig.1Definition of row anchor box(a)传统分割算法;(b)基于行锚框的分割算法图2基于行锚框的图像分割原理图Fig.2Schematic diagram of image segmentation based on row anchor box1225铁 道 科 学 与 工 程 学 报2023 年 4月准轨距是1 435 mm,在进行铁路限界的划分时需要考虑运行列车本身的宽度。因此,本文采用轨道所在区域以及左右轨道各自外延一个标准轨距作为铁路限界范围,设计符合直轨和弯轨2种不同类型的铁路限界检测方法。直轨和弯轨铁路限界的划分如图3所示。根据铁路限
20、界的设置将铁路运行场景下的图像分为轨道间的轨道区域、限界内的侵限区域和限界外的安全区域。2.2网络模型结构针对铁路限界检测需求,设计基于行锚框的分割方法和快速轨道限界检测模型,整体网络结构如图 4所示。快速轨道限界检测网络由主干网络、辅助检测模块,分类模块和限界区域检测模块4部分构成。1)主干网络主干网络采用残差网络ResNet-18提取不同场景下的铁路轨道图像特征,获得拥有丰富语义信息的低分辨率特征图。ResNet-18网络共包括4个残差模块,每个残差模块的下采样率都为2,经过4个残差模块后输出特征图的大小为原来的1/32。将残差网络ResNet-18的第2组,3组和4组残差块的输出作为辅助
21、检测模块的输入。2)辅助检测模块为增强网络对铁路轨道的定位能力,增加辅助检测模块,以提升网络对不同尺度特征的提取能力。将主干网络中第2组,3组和4组残差块的输出作为辅助检测模块的输入。辅助检测模块中对第3组和4组残差块的输出进行上采样,使输出特征图的分辨率与第2组残差块的特征图分辨率保持一致,并将 3组残差模块沿着通道方向进行拼(a)直线型轨道限界;(b)曲线型轨道限界图3不同类型的铁路限界划分Fig.3Different types of railway clearance图4轨道限界快速检测网络结构图Fig.4Network structure diagram for fast detec
22、tion of railway clearance1226第 4 期王辉,等:基于深度学习的铁路限界快速检测算法接,拼接后的特征图可以获得不同尺度的语义信息。辅助检测模块最后输出特征图的大小为原图的1/8,因此在网络中要将实际的标签图像缩小为原图的1/8,再计算真实分割图像与辅助检测模块输出特征图之间的交叉熵损失。同时,为了减少算法在执行阶段的时间开销,以提高算法的实时性能,该辅助检测模块只用于训练阶段。通过辅助检测模块对网络进行约束,可提高算法对轨道线的位置和形状特征的获取能力,有效提高检测的准确度。3)分类模块分类模块将主干网络提取的特征信息转换为轨道线的位置信息,为了能够有效地将最后的特
23、征图生成预测信息,需要根据预测信息将特征图转换为相应的特征向量。因此,选择全局平均池化对主干网络的输出特征图进行调节,以进一步增强特征图的语义信息。相比于使用全连接层调节网络最后的输出维度,使用全局平均池化能够显著降低网络的参数量,减轻过拟合现象,并且能够保证输出特征在不丢失空间信息的同时有效利用全局特征信息。4)限界区域检测模块根据预测出来的轨道线位置信息和类别信息,以及直轨和弯轨形状的铁路限界范围定义,实时计算列车运行过程中的限界范围。实时并准确地预测列车运行环境下的铁路限界区域,将有助于提升异物侵限识别、目标跟踪和列车控制等高速列车运行环境感知及运行控制等下游任务的性能。2.3损失函数设
24、计1)分类损失分类损失主要对模型预测所生成的轨道线位置和实际的轨道线位置进行约束,对每个轨道预测的类别向量如式(2)所示:Li=fi(X),s.t.i1,C(2)式中:X表示输入特征图;C表示轨道数量;fi表示网络使用的分类器函数;Li表示第i条轨道线使用分类器fi后得到的定位特征图。得到每条轨道线在每个行锚框上的预测类别向量之后,运用交叉熵损失函数计算预测轨道线位置和实际轨道线位置之间的损失,具体损失函数计算如式(3)所示。Lcls=i=1C(-GTilog(Li)-(1-GTi)log(1-Li)(3)GTi表示第i条轨道线的真实定位特征图。2)相似性损失铁路轨道在图像上通常呈现连续性,为
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 深度 学习 铁路 限界 快速 检测 算法 王辉
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,个别因单元格分列造成显示页码不一将协商解决,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。