基于改进网络通道剪枝算法的接触网零部件实时检测.pdf
《基于改进网络通道剪枝算法的接触网零部件实时检测.pdf》由会员分享,可在线阅读,更多相关《基于改进网络通道剪枝算法的接触网零部件实时检测.pdf(10页珍藏版)》请在咨信网上搜索。
1、书 书 书 铁道技术标准第卷 第期 收稿日期:;修回日期:基金项目:四川省自然科学基金()通信作者:于龙(),男,教授,博士。:。基于改进网络通道剪枝算法的接触网零部件实时检测宋超,于龙,张冬凯,单禹,王健,杨珂浩,(西南交通大学智能牵引供电铁路行业重点实验室,四川成都;西南交通大学电气工程学院,四川成都;西南交通大学唐山研究院,河北唐山;昆明理工大学电力工程学院,云南昆明)作者简介:宋超,年月生,硕士研究生,电子邮箱:。主要从事研究方向:牵引供电系统智能运维技术,计算机视觉技术,可靠性与健康管理,先后参与国家级、省部级项目项。摘要:为满足接触网零部件在线检测的要求,提出一种改进的网络通道剪枝
2、算法,极大提升了利用深度学习方法进行接触网零部件检测的实时性。以作为零部件检测的深度网络,通过在损失函数中加入正则项来对网络进行稀疏训练,以得到一个稀疏模型。引入尺度缩放因子来评估稀疏模型中通道的重要性,裁剪具有较小缩放因子的通道和滤波器。在此基础上,提出一种残差结构的修剪方法,进一步提高网络的压缩比。同时,构建一种网络通道规整化策略,使剪枝后网络每层保留的通道数为的倍数,从而保持原网络的规整性,优化网络在硬件设备上的推理速度。实验结果表明,该方法对类零部件的值为,仅比低,但模型的参数量减少了,模型存储空间压缩到原来的。此外,检测速度从 提高到,提升了,基本满足高速铁路接触网零部件的实时检测需
3、求。关键词:接触网;深度学习;稀疏训练;通道剪枝;实时检测文章编号:()中图分类号:文献标识码:宋超等:基于改进网络通道剪枝算法的接触网零部件实时检测 ,(,;,;,;,):,:,:(),:;:():引言针对接触网巡检拍摄的高清图像,运用深度学习方法进行接触网缺陷识别是采用计算机视觉进行巡检的主要手段。而对图像中接触网零部件进行检测,是实现缺陷识别的前提。目前,目标铁道技术标准检测主要有两类方法:一类是基于候选区域的方法,如、等;另一类是基于回归的方法,如、等。前者需要进行候选区域的生成和目标检测两个阶段,推理计算时间较长;后者直接对目标框回归,推理速度更快,但仍难以满足列车高速运行时接触网在
4、线检测的要求。网络模型压缩是提升网络计算实时性的主要手段,目前有参数量化、知识蒸馏和模型剪枝等方法。参数量化通过用较低位宽表示位浮点网络参数,能够显著减少参数存储空间,但由于网络参数位宽减少会丢失一部分信息量而造成精度下降。知识蒸馏是一种基于“教师学生网络思想”的迁移学习策略,利用较小的学生模型从大型教师网络获得先验知识,但其压缩比与蒸馏后的模型性能还存在较大的进步空间。模型剪枝则通过裁剪网络中冗余的权重或滤波器来降低模型复杂度和加速推理,与上述方法相比更具有针对性且拥有可观的压缩比和精度,是一种高效的模型压缩策略。根据剪枝粒度粗细,模型剪枝可以分为权重剪枝、向量级剪枝、通道剪枝和层剪枝。其中
5、通道剪枝是一种有效的粗粒度模型压缩方法,经通道剪枝后的模型是结构化的,对硬件友好、易于部署在高速列车移动设备上。现有的通道剪枝研究主要采用不同的策略对滤波器进行修剪。例如,等提出了一种稀疏化通道剪枝策略,该方法利用正则化约束来稀疏化网络,以便对具有较小缩放因子的通道和滤波器进行裁剪。等提出一种基于范数的软修剪方法,在训练过程中更新“软修剪”的滤波器参数,由于训练和剪枝是同步的,即使剪枝后不进行微调也有不错的效果。此外,等还认为那些位于几何中位数的滤波器包含了大量冗余信息,提出基于几何中位数的剪枝方法,当滤波器的范数偏差不是很大时,这类方法比基于范数的剪枝方法表现更好。采用随机策略生成大量的通道
6、剪枝方案,并对其中的最优剪枝结构进行微调,以得到轻量级网络。然而,上述通道剪枝方法并不适用于一些非常规卷积结构,例如和等。对于这些结构,需要额外制定适合的剪枝规则。此外,目前还没有报道显示剪枝后的网络通道是否能够保持规整,这可能会导致模型在硬件设备上的推理速度变慢。本文从接触网零部件在线检测的实时性需求出发,针对目前通道剪枝方法无法修剪非传统卷积结构以及剪枝后网络通道的规整性问题,提出一种改进的网络通道剪枝算法,该算法可以对残差结构进行修剪,并且剪枝后网络每层的通道数为的倍数,保持了原网络的规整性。将提出的改进通道剪枝算法应用到接触网零部件检测上,期望能够提高检测速度,以满足接触网零部件实时检
7、测需求。基于层尺度缩放因子的通道剪枝方法 基于批归一化(,)层尺度缩放因子的通道剪枝方法是在训练过程中对层中的缩放因子施加正则约束,由于每个缩放因子都对应一个特定的卷积通道,因此可以修剪训练后具有较小缩放因子的特征通道和滤波器,以获得轻量级网络模型。训练网络时,缩放因子呈正态分布,这意味着可修剪的通道数量太少,需要对缩放因子进行稀疏。对缩放因子施加正则约束,稀疏训练的损失函数为(,)(,),()()式中:、分别为输入图像和目标值;为可训练的权重;()为常规训练过程的损失函数;()为神经网络输出函数;为正则系数,其值的大小决定稀疏程度;为所有通道层缩放因子集合;其中为正则约束,()。第一项是常规
8、训练的损失函数。第二项是为了稀疏化缩放因子而引入的惩罚函数。在经过稀疏训练之后,可以得到一个稀疏模型,其中许多缩放因子的值接近于,可以识别出不重要的通道。接下来对稀疏模型进行通道剪枝,首先提取网络所有层的缩放因子组成缩放因子集,为集合元素个数。然后,根据预设的剪枝率(),计算得到剪枝阈值为宋超等:基于改进网络通道剪枝算法的接触网零部件实时检测 ()()式中:()为按升序对集合中的元素进行排序,并取排序后的第 个元素作为输出值;为按四舍五入法对对象进行取整。剪枝率应根据网络模型的大小和检测任务的复杂度来选取。一般而言,模型越庞大,任务越简单,剪枝率的上限也就越高。接着,根据预设的剪枝率,将低于剪
9、枝阈值的缩放因子对应的特征通道和滤波器裁剪掉,从而得到一个轻量级的网络模型。改进的网络通道剪枝算法上述介绍的基于层缩放因子的通道剪枝方法简单高效、易实现,可以有效地减少模型参数量,但无法修剪残差结构,且没有考虑到剪枝后模型通道的规整性。本文提出一种改进的网络通道剪枝算法,该算法基于层尺度缩放因子的通道剪枝,并在该算法的基础上提出以下两点改进。()提出一种残差结构的修剪方法,通过对结构中的个输入建立通道索引以及公共剪枝索引集,使剪枝后其维度保持一致,可以有效修剪结构,进一步提高模型的压缩力度。()构建网络通道规整化策略,使剪枝后网络每层的通道数为的倍数,保持原网络通道的规整性,优化网络在硬件设备
10、上的推理速度。改进的通道剪枝算法的流程见图。残差结构见图。图中:、分别为输入特征图的高度、宽度、深度;、分别为滤波器的大小、步长、填充。在基于层缩放因子的通道剪枝方法中,对残差结构进行修剪会导致该结构的输入和输入通道的维度不一致,无法进行最后的相加操作,所以并没有对该结构进行剪枝处理。残差结构剪枝方法针对上述问题,本文通过建立通道索引和公共剪枝索引集,使剪枝后其两个输入的维度保持一致,能够有效修剪结构,进一步提高模型压缩力度。通道索引建立见图,首先对每个特图改进的网络通道剪枝算法流程图图 残差结构征通道建立索引,其中,为索引总数,为剪枝索引集 ,;为保留的索引集 ,。对于残差结构,其剪枝示意图
11、见图所示,、分别为输入和输入的剪枝索引集;为输入和输入的公共剪枝索引集,铁道技术标准图通道索引建立。其中输入的剪枝索引集,(图示中第一列中虚线框),输入的剪枝索引集,(图示中第二列中虚线框)。对输入和输入的剪枝索引进行合并去重的操作,通过去剪枝索引并集的方式,即每个索引只要有剪枝索引就对其剪枝,只有两个输入都没剪枝索引最终的并集才不进行剪枝索引。据此得到输入和输入的公共剪枝索引集,索引数量为。图 残差结构剪枝示意图接着,使用公共剪枝索引集对输入和输入中对应的特征通道进行裁剪。由于两个输入都使用相同的剪枝索引集,因此在修剪后它们将具有相同数量的通道,可以顺利执行后续的相加操作。采用本文提出的基于
12、通道剪枝索引的剪枝方法对残差结构修剪,避免了对两个输入通道维度的处理,可以有效地修剪残差结构,提高了模型的压缩比。网络通道规整化策略在剪枝过程中,被删除的滤波器对应的通道也会被删除,剪枝后的网络通道不再规整。因此,我们构建了一种网络通道规整化策略,使剪枝后网络每层的通道数为的倍数,以更好的利用硬件设备,提高推理速度。将剪枝后网络的通道数限制为的倍数的优势主要表现在以下两个方面。()内存开销较小:通道数为的倍数能够更加高效地利用现代硬件平台的计算资源和内存带宽,尤其对于等硬件设备而言,这样的张量大小可以充分利用线程块的并行计算能力,从而更加高效地进行计算,同时也能够减少内存占用。()计算速度较快
13、:通道数为的倍数能够充分利用计算机的()指令集,指令集能够同时对多个数据进行操作,而通道数为的倍数正好符合指令集的操作规模,因此能够更加高效地进行计算。常规卷积结构通道规整化对于常规卷积结构的通道规整化,我们首先对每个特征通道建立通道索引,并根据剪枝阈值划分为保留索引和剪枝索引,所有剪枝索引组成剪枝索引集,常规卷积结构通道规整化示意图见图,剪枝索引集,索引数量为。图常规卷积结构通道规整化示意图如果待裁剪的通道的数量是的倍数,由于未裁剪网络的通道数本来就是的倍数,所以裁剪后该网络的卷积结构的通道数一定也是的倍数;若不为的倍数,则需要从剪枝索引集中删除一些索引,以确保中的元素数量是的倍数,然后计算
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 改进 网络 通道 剪枝 算法 接触 零部件 实时 检测
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。