基于改进Faster RCNN的岩石热红外图像张剪裂纹检测.pdf
《基于改进Faster RCNN的岩石热红外图像张剪裂纹检测.pdf》由会员分享,可在线阅读,更多相关《基于改进Faster RCNN的岩石热红外图像张剪裂纹检测.pdf(7页珍藏版)》请在咨信网上搜索。
1、Series No.567September 2023 金 属 矿 山METAL MINE 总 第567 期2023 年第 9 期收稿日期 2021-12-07基金项目 河北省高等学校科学技术研究项目(编号:ZD2020152)。作者简介 黄晓红(1973),女,教授,博士,硕士研究生导师。基于改进 Faster RCNN 的岩石热红外图像张剪裂纹检测黄晓红1,2 卢 晔1 张润东3 董诗琪1(1.华北理工大学人工智能学院,河北 唐山 062310;2.河北省工业智能感知重点实验室,河北 唐山 062310;3.华北理工大学管理学院,河北 唐山 062310)摘 要 区分岩石破裂模式对矿山灾害
2、防治具有重要意义,为了能够有效识别岩石破裂模式、监测破坏过程,提出了一种基于改进 Faster RCNN 的岩石热红外图像张剪裂纹检测算法。首先开展花岗岩单轴压缩试验,使用红外热像仪获取岩石破裂过程中的热红外图像,制作岩石红外裂隙数据集;然后对 Faster RCNN 网络模型进行改进,通过引入注意力引导的上下文特征金字塔网络对特征提取方法进行优化,采用级联结构提升检测框回归准确度,同时使用岩石红外裂隙数据集对模型进行训练及验证;最后对实测岩石红外图像进行张剪裂纹识别。试验结果表明:该算法检测精度达到了 94.15%,每秒检测帧数为 19.27 fps,综合性能得到显著提升,研究结果可为预测岩
3、石破裂位置及破裂模式提供一种思路。关键词 红外热成像技术 岩石破裂 张剪裂纹 目标检测 Faster RCNN 中图分类号TD77+1 文献标志码A 文章编号1001-1250(2023)-09-047-07DOI 10.19614/ki.jsks.202309006Rock Thermal Infrared Image Tension-shear Crack Detection Based on Improved Faster RCNNHUANG Xiaohong1,2 LU Ye1 ZHANG Rundong3 DONG Shiqi1(1.College of Artificial Int
4、elligence,North China University of Science and Technology,Tangshan 063210,China;2.Hebei Provincial Key Laboratory of Industrial Intelligent Perception,Tangshan 063210,China;3.College of Management,North China University of Science and Technology,Tangshan 063210,China)Abstract Distinguishing rock fa
5、ilure modes is of great significance for mine disaster prevention and control.In order to effectively identify rock failure modes and monitor the failure process,a strain shear crack detection algorithm based on im-proved Faster RCNN in rock thermal infrared images is proposed.Firstly,the uniaxial c
6、ompression test of granite was carried out,and the thermal infrared image of rock fracture was obtained by infrared imager,and the infrared fracture data set of rock was made.Then,the Faster RCNN network model is improved,and the feature extraction method is optimized by introducing the attention-gu
7、ided context feature pyramid network.A cascade structure is adopted to improve the accuracy of detection frame re-gression.At the same time,the infrared rock fracture data set is used to train and verify the model.Finally,the tensile shear crack identification is carried out in infrared image of mea
8、sured rock.The experimental results show that the detection accuracy of the algorithm reaches 94.15%,the detection frame number per second is 19.27 fps,and the comprehensive performance is significantly improved.The research results can provide a way to predict the rock fracture location and fractur
9、e mode.Keywords infrared thermal imaging technology,rock fracture,tension-shear crack,object detection,Faster RCNN 岩石的破裂模式会对岩石破坏形态产生影响,张性破坏和剪性破坏的破坏形式具有明显区别1,故对岩石张剪裂隙进行检测对于矿山灾害防治具有重要意义。热红外图像监测一直是岩石破裂过程研究的重要方法之一2-7。吴立新等8试验研究了岩石压剪破裂过程的热红外辐射成像规律,发现压剪作用越强,破裂过程中红外辐射升温现象越明显。陈国庆等9研究了节理岩桥在单轴加载过程中的红外热像图变化特征,得
10、出岩石在加载破裂过程中存在两种红外异常破裂前兆,并根据热像图变化预测了裂纹扩展趋势。谢玉晟10对煤岩的张剪破坏演化过程中的红外辐射特征进行了分析,结果表明:剪切破坏形式的煤岩试样破坏前红外辐射温度整体呈升高趋势,热像图沿破裂带呈高温条带特征;张拉破坏形式的试样红74外辐射温度整体呈下降趋势,热像图沿破裂带呈低温条带特征。刘善军等11对不同岩性岩石破裂前后的红外异常辐射进行了研究,认为岩石破裂热红外异常是热弹效应和摩擦热效应综合作用的结果,且岩石热像在破裂前存在异常前兆。李铁峰12采集了岩石破裂过程中的热红外图像,并使用改进的 Faster RCNN对岩石的张剪裂纹进行了检测定位,检测精度达到了
11、88.81%。总体来说,现有研究对于张拉破裂和剪切破裂的破裂模式区分不足,随着深度学习的加速发展,基于卷积神经网络的图像和视频目标检测算法不断更新13-15,基于深度学习的张剪裂纹识别会成为岩石破裂失稳研究的热点。本研究在 Faster RCNN 网络的基础上优化了特征提取和检测框回归算法,提出一种新的岩石热红外图像张剪裂纹检测方法,并通过岩石破裂试验采集岩石破裂过程中的张性裂纹和剪性裂纹热红外图像构建数据集,训练并验证模型的准确性,在牺牲少量推理速度的情况下,大幅度提高了岩石张剪裂纹检测的准确率。1 试验数据本研究通过开展花岗岩单轴压缩试验收集岩石破裂过程中的红外热像图,建立岩石红外裂隙数据
12、集。1.1 岩石破裂试验花岗岩单轴压缩试验环境为 TAW-3000 型常规三轴压力机和 Infra Tec Image IR 8300 红外热像仪。将花岗岩试件加工成大小为 50 mm50 mm100 mm(长宽高)的长方体,将试件受力面两端打磨至不平整度在 0.05 mm 范围内,共制备了 14 块试件,分别编号为 GUD-1GUD-14。试验控制方式采用轴向等位移加载,先将试件预加载至 2 kN,再以 0.15 mm/min 的速率加载至试件破坏。使用红外热像仪记录花岗岩试件表面的红外辐射温度变化,且在试验过程中禁止人员走动,以减少环境因素干扰。1.2 数据集构建本研究花岗岩热像异常表现为
13、:在花岗岩破裂前沿破裂带出现热红外辐射高温或低温异常条带,高温异常预示剪性破裂,低温异常则预示张性破裂11。从在岩石破裂试验中获取的岩石裂隙红外热像图中筛选出 267 幅差异较明显的图像,图像格式均为jpg 格式。为了保证训练过程中样本相对均衡,在张裂与剪裂目标数量相差较小的前提下,从筛选出的267 幅岩石裂隙热像图中随机抽取 227 幅图像,其中张性裂隙 162 幅,剪性裂隙 65 幅。使用角度旋转、尺度变换、裁剪等数据增广方法进行预处理,获得3 632 幅照片用作训练集。将剩余的 40 幅图像同样做数据增广至 200 幅,用作测试集。使用 LabelImg软件对岩石裂隙进行标记,制作岩石红
14、外裂隙的PASCAL VOC 格式数据集。数据集中典型样本如图1 所示。图 1 典型的张剪裂纹图像Fig.1 Typical tension-shear crack images2 基于改进 Faster RCNN 的岩石热红外图像张剪裂纹检测2.1 Faster RCNN 模型检测原理Faster RCNN16网络模型结构如图 2 所示,采用ResNet5017为 Faster RCNN 网络的特征提取网络,使用特征金字塔(Feature Pyramid Networks,FPN)18进行多尺度特征融合。首先将图片输入主干网络进行特征提取,通过 FPN 生成多尺度特征图,然后用区域建议网络(
15、Region Proposal Network,RPN)生成相对较精确的建议框,将建议框映射到每一个尺度的特征图上,利用 ROI Align 将每个建议框所对应的特征图统一为固定尺寸,送入后续网络进行分类和回归,最终获得检测框的类别并实现精准定位。图 2 Faster RCNN 模型架构Fig.2 Structure of Faster RCNN model2.2 改进的 Faster RCNN 模型在目标检测算法中,目标分类和检测框回归的操84总第 567 期 金 属 矿 山 2023 年第 9 期作都是在主干网络提取的特征图的基础上完成的,因此提取的图像特征的质量会直接影响最终的检测精度,
16、另外,回归的检测框质量也会对检测精度造成很大影响。综上,本研究从特征提取角度和检测框回归角度对模型进行改进,引入注意力引导的上下文特征金字塔网络结构和级联检测结构,来提高岩石张剪裂纹检测的准确率,改进后的 Faster RCNN 模型结构如图 3 所示。图 3 改进的 Faster RCNN 模型架构Fig.3 Structure of improved Faster RCNN model2.2.1 采用注意力引导的上下文特征金字塔网络岩石裂纹具有形态多样、大小不一等特点,识别难度高。图像在输入特征提取网络后会生成低维度到高维度几个不同维度的特征图,不同维度特征图包含不同的特征信息。FPN 网
17、络可以将不同维度的特征图进行融合再用于后续的分类和回归操作,加强卷积神经网络的特征表达能力。但是,FPN 方法依然存在一些不足:在输入图像分辨率过高的情况下,感受野不能很好地覆盖整幅图像,无法获取有效的语义信息,难以充分利用目标周围的环境信息;对于大尺度目标的检测效果不十分理想,经过多次下采样后特征图分辨率降低,虽然感受野会变大,但是细节特征会丢失,多尺度感受野获取的语义信息利用率低。为此,本研究引入了注意力引导的上下文特征金字塔网络(Attention-guided Context Feature Pyramid Network,ACFPN)19,该结构能融合来自不同尺寸的感受野特征,在增大
18、感受野的同时能够充分利用物体的上下文语义信息,获得更高的准确率。ACFPN 的网络结构如图 4 所示。该网络主要由两部分组成:一部分是上下文提取模块(Context Ex-traction Module,CEM),其作用是从各个不同大小的感受野中获取上下文信息,但是为了避免大量且繁杂的上下文关系对定位和识别任务造成误导,又加入了另外一个部分即注意力引导模块(Attention-guided Module,AM),该模块可以通过注意力机制来显著增强对象周围的有用信息。AM 模块包含两个子模块:上下文注意模块(Context Attention Module,CxAM)和内容注意模块(Conten
19、t Attention Module,CnAM)。前者用于捕获各子区域间的语义信息,后者用于定位精确位置信息,将经过两模块细化后的特征与输入特征进行融合能得到更全面的特征表示,从而获得更好的检测结果。图 4 ACFPN 结构Fig.4 Structure of ACFPN2.2.2 引入级联检测结构交并比(Intersection over Union,IOU)是用来评估预测框与目标框接近程度的一个指标,IOU 值越大,表示预测框越接近真实框。IOU 可取的最小值为 0,表示预测框与真实框没有相交,可取的最大值为 1,表示预测框与真实框重合。在 Faster RCNN 模型的分类回归阶段,会设
20、置一个 IOU 阈值来界定正负样本,若阈值设置过小,正样本中也会包含大量背景信息,容易造成误检;若阈值设置过大,则会造成正样本数量过少。当输入的建议框与真实框的 IOU 值与设置的阈值接近时,模型的检测效果达到最佳20。为进一步提高检测框的检出率和准确率,避免漏检和检测框偏离真实框的情况,在 Faster RCNN+ACFPN 网络结构的基础上引入了级联(Cascade)检测结构。Cascade 结构的特点是级联多个不同的 IOU 阈值的检测器21,将前一个检测器的输出用作后一个检测器的输入,IOU 逐步上升,由于每一级结构输出时的 IOU 普遍大于输入时的 IOU,因此检测效果也会逐步提升。
21、2.3 整体思路基于改进 Faster RCNN 的岩石热红外图像张剪裂纹检测流程如下:(1)进行花岗岩单轴压缩破坏试验,获取岩石破裂的热红外图像,从获取的岩石破裂图像中挑选出差异明显的张性裂纹图像和剪性裂纹图像并标注成数据集。94 黄晓红等:基于改进 Faster RCNN 的岩石热红外图像张剪裂纹检测 2023 年第 9 期(2)使用自制的岩石红外裂隙数据集对改进的Faster RCNN 模型进行训练。首先将 ResNet50 输出的多层特征经过 ACFPN 融合成包含上下文信息的多级特征金字塔,送入 RPN 网络生成建议框;然后将建议框映射到每一个尺度的特征图上,经过 ROI Align
22、统一尺寸后,送入检测器进行分类和回归,多级检测器级联并逐步提高检测器的 IOU 阈值得到最终的检测结果。进行消融试验验证模型改进的有效性。(3)使用训练后的模型对岩石破裂实例进行检测,证明模型的有效性。3 试验设计与结果分析3.1 试验设计本研究使用百度飞桨深度学习平台作为试验平台,核心框架采用 PaddlePaddle 1.8。训练过程中的模型优化策略使用动量法(Momentum),将动量系数设置为 0.9,初始学习率设置为 0.002 5,迭代次数为20 400,衰减系数为 0.1。当迭代次数分别为 13 600、18 000 时,将学习率调整为原来的 0.1 倍,每隔 1 000次进行一
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于改进Faster RCNN的岩石热红外图像张剪裂纹检测 基于 改进 Faster RCNN 岩石 红外 图像 裂纹 检测
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。