基于多尺度卷积神经网络的矿山监控图像识别研究.pdf

第 卷第期唐山学院学报V o l N o 年 月J o u r n a l o fT a n g s h a nU n i v e r s i t yN o v 基金项目:国家自然科学基金项目();安徽省高等学校自然科学研究重大项目(K J Z D )作者简介:李茹(),女,山西临汾人,硕士研究生,研究方向为矿山工程地质与水文地质;鲁海峰(),男,安徽合肥人,教授,博士,研究方向为矿山岩石力学、地质灾害防治.基于多尺度卷积神经网络的矿山监控图像识别研究李茹,鲁海峰(安徽理工大学 地球与环境学院,安徽 淮南 )摘要:现有矿山复垦监测识别方法主要有遥感卫星监测、土壤环境指标判断以及无人机监测等,但这些方法存在精度较低、时效性差等问题.为此,文章提出了一种基于多尺度卷积神经网络的矿山监控图像识别方法,通过采集高清摄像头传送的视频流数据,对关键帧图像进行分析处理,然后通过对比任意时刻图像的差异来判断矿山生态修复治理质量状况.该方法在安徽省境内露天矿山进行了实地应用,结果表明此方法具有高稳定性的生态修复识别能力,可为露天矿山的环境治理提供有效的技术支持.关键词:露天矿山;卷积神经网络(C NN);生态修复;监测;图像识别中图分类号:T P 文献标志码:A文章编号:X()D O I:/j c n k i t s x y x b R e s e a r c ho nM i n eM o n i t o r i n gI m a g eR e c o g n i t i o nB a s e do nM u l t i s c a l eC o n v o l u t i o n a lN e u r a lN e t w o r kL IR u,L UH a i f e n g(S c h o o l o fE a r t ha n dE n v i r o n m e n t,A n h u iU n i v e r s i t yo fS c i e n c ea n dT e c h n o l o g y,H u a i n a n ,C h i n a)A b s t r a c t:T h ep r e s e n tm e t h o d sf o rm o n i t o r i n ga n dr e c o g n i z i n gm i n er e c l a m a t i o nm a i n l yi n c l u d e r e m o t e s e n s i n gs a t e l l i t em o n i t o r i n g,s o i l e n v i r o n m e n t a l i n d i c a t o r j u d g m e n t,a n dd r o n em o n i t o r i n g H o w e v e r,t h e s em e t h o d s s u f f e r f r o ml o wa c c u r a c ya n dp o o r t i m e l i n e s s T h e r e f o r e,t h i sp a p e rp r o p o s e sam i n em o n i t o r i n gi m a g er e c o g n i t i o nm e t h o db a s e do nt h em u l t i s c a l ec o n v o l u t i o n a l n e u r a l n e t w o r k,w h i c ha n a l y z e s a n dp r o c e s s e sk e y f r a m e i m a g e s c a p t u r e df r o mt h ev i d e o s t r e a md a t a t r a n s m i t t e db yah i g h d e f i n i t i o nc a m e r a,a n d j u d g e s t h eq u a l i t yo fm i n ee c o l o g i c a l r e s t o r a t i o na n dm a n a g e m e n tb yc o m p a r i n g t h ed i f f e r e n c e sb e t w e e n i m a g e s a ta n yg i v e nt i m e T h em e t h o dh a sb e e na p p l i e d i no p e n p i tm i n e s i nA n h u iP r o v i n c e,d e m o n s t r a t i n gah i g hs t a b i l i t y i n i d e n t i f y i n ge c o l o g i c a l r e s t o r a t i o n,t h u sp r o v i d i n ge f f e c t i v e t e c h n i c a l s u p p o r t f o re n v i r o n m e n t a lm a n a g e m e n t i no p e n p i tm i n e s K e yW o r d s:o p e n p i tm i n e;c o n v o l u t i o n a ln e u r a ln e t w o r k;e c o l o g i c a lr e s t o r a t i o n;m o n i t o r i n g;i m a g er e c o g n i t i o n唐山学院学报第 卷 引言生态环境的损害导致我国生态系统不断退化,所造成的负面影响也愈加复杂和严峻.生态安全与生态修复引起了党中央及社会各界的关注.党的十八大以来,生态文明建设和生态环境保护被摆在了更加重要的战略位置.党的十九届五中全会通过了中共中央关于制定国民经济和社会发展第十四个五年规划和二三五年远景目标的建议,其中有 处提到“生态”这一关键词,明确提出要守住自然生态安全边界.党的二十大报告提出,要加快实施重要生态系统保护和修复重大工程.生态修复是当今中国生态文明建设的重要举措之一,旨在降低人类活动对于生态系统的破坏,进而为人与自然和谐共生提供安全保障.矿山生态修复是生态修复的重要组成部分,是维护矿山生态安全、提升矿山生态系统质量和稳定性、保障矿山正常运营的关键.从生态安全角度准确判定矿山关键区域修复与否是矿山生态修复的首要事 项,也 是 科 学 开 展 生 态 修 复 的 关 键 和难题.国内外矿山生态质量监测识别方法主要有遥感卫星监测、土壤环境指标判断、无人机监测等,比如,L i等、L i等、Z h u等探讨了遥感技术在矿山生态修复监测中的应用;岳永胜等、Z h a n g等 利用矿山生态修复监测指标体系对露天开采造成的环境破坏与矿区生态恢复进行了监测和评估;H e等、R u a n等 提出了利用无人机倾斜摄影技术快速获取废弃矿山地理信息的技术流程和方法.但现有的监测识别方法都有一些不足之处,比如,遥感卫星监测识别精确度较低,土壤环境指标判断在测量过程中耗费较多的人力物力、识别周期较长,无人机监测技术时效性差.随着人工智能技术的发展,图像识别技术的应用越来越广泛.图像识别在生态修复监测领域的运用具有诸多优点:精确度较高、监测便捷、可视化强、成本低,对于矿山生态修复质量的监测不用单独布置设备,而是利用矿山已有的高清摄像头进行图像的采集即可.为了能够对摄像头所采集的视频流或图像信息进行分析、预判,还需要一种智能判别方法.因此,本文提出了一种基于多尺度卷积神经网络的矿山监控图像识别方法,对不同季节、不同光照条件下的露天矿山生态修复质量进行可视化实时监控与分析,以判断矿山生态修复质量状况,从而为露 天 矿 山 的 环 境 治 理 提 供 有 效 的 技 术支持.关键技术 卷积神经网络卷积神经网络(C NN)是一种前馈型多层的深度学习神经网络,主要由输入层、卷积层、池化层、全连接层、输出层交叉堆叠而成,其结构如图所示.卷积神经网络可以依据大脑视觉皮层神经元的机理(对边缘信息敏感以及具有特征迁移的能力),在提取边缘信息的同时,对信息进行实时学习,实现对图像特征的高度抽象.卷积神经网络的训练主要是通过反向传播算法来更新网络中的权重,从而使网络能够逐步学习到输入数据的特征,并在最终的分类或预测任务中获得较好的性能.图卷积神经网络结构图 V G G 模型VG G 模型是一种特殊的卷积神经网络,适用于分类和定位任务,可以识别易变的模式,对失真以及简单的几何变换具有鲁棒性.VG G 模型由 层卷积层、层池化层、层全连接层和s o f t m a x输出层构成,层与层之间通过最大池化来减少信息冗余.使用R e L U(修正线性单元)作为卷积神经网络的激活函数.VG G 模型的网络结构如图所示.第期李茹,鲁海峰:基于多尺度卷积神经网络的矿山监控图像识别研究图V G G 模型网络结构VG G 模型的具体信息如下.()数据通道为:双层卷积池化双层卷积池化三 层 卷 积池 化三 层 卷 积池化三层卷积池化三层全连接.()通道数分别为:,.若将池化层作为分割线,VG G 模型可以分为六个部分.层卷积层和层全连接层为权重层,拥有权重系数;层池化层为非权重层.由 层卷积层和层池化层负责提取卷积神经网络的特征,最后层全连接层负责分类任务.模型训练流程为:先训练某一级别的简单网络,再复用该级别的简单网络的权重初始化该级别的复杂模型;在预测时,将图像数据设置为固定大小,并对图像数据进行卷积计算;然后,在最后一个卷积层中,使用滑动窗口的方式进行分类预测,平均不同窗口的分类结果,再将不同尺寸的结果平均后得到最后结果 .模型构建为了使卷积神经网络实现更多的功能,保证其识别精度,需要对原VG G 模型进行改进,从而构建多尺度卷积神经网络模型.增加残差结构在原VG G 模型中,每个卷积层都会产生输出,但是这些输出并没有直接作为后续卷积层的输入,而是经过了一个池化层.在这样的架构下,每一层的特征信号都在信息传递过程中逐渐被压缩,从而可能丢失一些细节信息.为了解决上述问题,本文在原模型基础上增加一个残差结构,即在两个卷积层之间添加一个跳跃连接,如图所示.这个跳跃连接可以直接将输入的信息传递到输出,保留前面层的有效信息,使后面层提取到更加精确的细节特征,避免梯度消失的问题,同时还可以加快网络的收敛速度,提高网络性能.图残差结构 卷积核替换可以将卷积神经网络的上一层“相邻”感受野看成一个集合,上一层通过卷积核(即模拟感受野的范围)使下一层提取并学习特征信息;也可以将下一层的输入区域看成一个集合,上一层与下一层之间是包含和被包含的关系.要使两层间的包含关系存在,卷积核尤为重要,所以卷积神经网络的关键技术为卷积核.在原VG G 模型中,首层的卷积核虽然可以提取出一些较为局部的特征,但对于一些较大的目标物体或场景特征提取效果不够理想.因此,将原模型首层的卷积核替换为更大的卷积核,具体选择卷积核进行训练.在模型训练过程中,增大的卷积核扩大了模型的感受野范围,更好地获取了图像中的全局信息.同时,卷积核也可以提取出更多的图像特征信息,使模型能够更加准确地识别目标物体或场景,提高模型的性能.S E模块添加为增强注意力机制,提升网络表现能力,在原V G G 模型中添加S E模块.S E模块可以通过学习每个通道的权重,实现对特征通道的自适应调整.而且通道之间存在复杂的相关性,S E唐山学院学报第 卷模块还可以更好地拟合这种相关性,提升网络的泛化性能.值得一提的是,S E模块简单、计算轻量,可以通过替换网络的现有结构直接使用.因此,在原VG G 模型中,将S E视觉单元嵌入到前三个卷积层中,由此增强了其对有用特征的提取,同时抑制了无用特征的干扰.反向传播与损失函数的改进图像的目标识别效果与网络的深度密切相关,卷积神经网络在训练时,常常会出现梯度下降或梯度爆炸等问题.梯度在反向传播过程中因逐层传递而逐渐缩小,因此前面的层很难得到有效的训练,这使卷积神经网络训练变得十分困难.许多训练方法是基于梯度下降法进行改进的.梯度下降法通过计算损失函数的梯度,并将该梯度反馈给最优化的s o f t m a x函数来更新权重,使损失函数最小化.本文使用批量梯度下降法、以交叉熵为目标损失进行网络的训练优化.改进的模型反向传播公式推导如下.s o f t m a x函数偏导数计算公式为:对于输出层神经元i和j,当ij时,jezjnkezkaj(aj).()式中,zj为输出层神经元j的加权输入值,n为输出层神经元个数,k(,n,aj为输出层神经元j的s o f t m a x输出值.当ij时,zjezinkezkaiaj.()输出层L的反向传播误差为:LaLy.()式中,aL为输出层的s o f t m a x输出值,y为训练数据的标签值.全连接网络中采用d r o p o u t层避免过拟合,设为d,第l层节点的连通用rl表示.全连接层第l层的反向传播误差为:l(Wl)Tl rlR e L U(zl).()式中,Wl 为第l层全连接网络的权重矩阵;zl为第l层末经过激活函数的前向输入,lL,L,;为H a d m a r d积,即矩阵对应元素相乘.经过前 层的卷积核池化操作后,输出为a,a F(z pp,).全连接层池化层的反向传播误差为:F(W)T).()池化层卷积层反向传播误差为:lu p s a m p l e(l)R e L U(zl).()卷积层的反向传播误差为:lqnl pl qr o t (kl p,q)R e L U(zlq).()式中,kl p,q为第l层p处通道与第l层q处通道的对应卷积核;当l层数为池化层时,R e L U(zlq).模型的训练与测试 模型训练设置本文采用p y t h o n语言进行编程,在I n t e li,四核 GH z,内存 G,显卡I n t e l(R)HDG r a p h i c s ,位w i n d o w s操作系统上进行模型的训练与测试.数据集中的图像来自安徽省境内矿山视频监控图像及网络图像,将获取到的矿山红外高清监控摄像头的视频流以j p g格式逐帧存储.数据集中的图像由 张 像素j p g格式的图像组成,其中不同样本的数据数量均匀分布.将数据集分为训练集、验证集、测试集,其数量划分比例为 .训练集用于训练模型,验证集用于模型的参数调整和模型选择,测试集用于评估模型的泛化能力.为了提高模型的泛化能力和归纳能力,需要大量的高质量数据对其进行训练,而且增加样本数据量能有效防止模型的过度拟合.数据增强是一种常用的增加样本数据量的方法,通过对原始数据进行处理,如采用随机切割图像、图像翻转、图像去噪和R G B色域处理等手段来生成新的数据集.本模型采用调整图像大小、随机旋转或翻转图像、归一化等处理方式来达到数据增强的目的.表展示了两种不同的生态修复质量状况的原始图像与数据增强后图像的对比结果.第期李茹,鲁海峰:基于多尺度卷积神经网络的矿山监控图像识别研究表生态修复质量状况的原始图像与数据增强后图像的对比图像特征原始图像增强后图像未复垦已复垦 模型训练结果基于p y t o r c h框架进行模型训练.本文模型的训练 集、验 证 集 的 误 差 率 和 准 确 率 与 原VG G 模型的对比结果如图所示.(a)模型训练过拟合误差率(b)模型训练过拟合准确率图本文模型与原V G G 模型对比结果由图可以看出,在模型训练开始后,迭代次数为 步内,本文模型的误差率逐渐降低、准确率逐渐向 趋近,训练到一定程度后,误差率和准确率趋于平稳,即达到 步时过拟合误差率曲线已趋于收敛;而原VG G 模型各曲线振荡明显,误差率高、准确率低.因此,对比后可知,改进后模型的识别准确率比原VG G 模型明显提高.实例应用 数据采集与处理训练集图像数据来源同上,测试集图像数据来自安徽省境内矿山视频监控图像,由对视频流按照不同季节、不同光照条件进行逐帧分割得到的连续的 张图像组成.模型应用采用随机抽样的方法,对采集到的矿山视频监控图像数据进行测试,测试环境同上,图分别为截取的不同时刻的图像数据.(a)第 帧(b)第 帧(c)第 帧图截取的不同时刻的视频图像数据唐山学院学报第 卷图为本文方法的实例应用结果,第一幅为原始视频图像数据;第二幅为经过数据处理后的对应图像数据;第三幅为采用本文模型进行图像识别后的结果,图中标注了原始视频图像数据的生态修复判别结果,与实际对比可知,此结果与实际情况相符.(a)原始视频图像(b)经过数据处理后的图像(c)识别结果图矿山生态修复质量识别过程 结论本文基于多尺度卷积神经网络建立了矿山监控图像识别方法,旨在优化露天矿山生态修复质量的判别方法,主要结论如下.()将逐帧采集的矿山视频监控图像与网络图像进行多尺度卷积神经网络训练,可得到较高的识别精度.()经过稳定训练后,本文方法对待检测图像显示出高稳定性的生态修复识别能力,具有良好的适用性.()本文方法能够识别易变模式并优化视频图像选取,可实现实时判定生态修复质量,可以良好地应用于实际中.参考文献:申艳军,杨博涵,王双明,等黄河几字弯区煤炭基地地质灾害与生态环境典型特征J煤田地质与勘探,():胡振琪矿山土地复垦与生态修复领域“十四五”高质量发展的若干思考J智能矿山,():WANGCX,L I U YX,YUJR C o o r d i n a t i v ee n h a n c e m e n to fe c o l o g i c a ls e c u r i t ya n dt h ea e s t h e t i cv i e w i n gs e r v i c e i nt h ee c o l o g i c a lr e s t o r a t i o no f m i n i n gl a n d s c a p e sJL a n d D e g r a d a t i o n&D e v e l o p m e n t,():闫玉玉,孙彦伟,刘敏基于生态安全格局的上海国土空间生态修复关键区域识别与修复 策 略 J应 用 生 态 学 报,():王军,应凌霄,钟莉娜新时代国土整治与生态 修 复 转 型 思 考 J自 然 资 源 学 报,():L ICC,WANGT,WANGH,e t a l M o n i t o r i n gt e c h n o l o g ya n dm e t h o do f e c o l o g i c a le n v i r o n m e n tr e h a b i l i t a t i o na n dt r e a t m e n t i nJ v h u g e n gm i n i n ga r e aJM e i t a nX u e b a o/J o u r n a l o f t h eC h i n aC o a l S o c i e t y,():L IQS,GUOJT,WANGF,e ta l M o n i t o r i n gt h ec h a r a c t e r i s t i c s o fe c o l o g i c a lc u m u l a t i v ee f f e c td u et o m i n i n gd i s t u r b a n c eu t i l i z i n gr e m o t es e n s i n gJR e m o t eS e n s i n g,():Z HU D G,CHE N T,Z HE N N,e ta l M o n i t o r i n gt h ee f f e c t so fo p e n p i tm i n i n go nt h ee c o e n v i r o n m e n tu s i n ga m o v i n gw i n d o w b a s e dr e m o t es e n s i n g e c o l o g i c a li n d e xJ E n v i r o n m e n t a l S c i e n c ea n dP o l l u t i o n R e s e a r c h,():(下转第 页)唐山学院学报第 卷系统的孤岛状态,且不会将电压突变、线路短路等扰动误判为孤岛的发生.同时,孤岛检测时间仅需 s,非常迅速.总之,本文提出的小波技术与神经网络相结合的孤岛检测法,既克服了过/欠电压法、过/欠频率法等传统的被动式多逆变器并网孤岛检测法所存在的检测盲区大、检测速度慢的缺点,又克服了主动式多逆变器并网孤岛检测法对系统稳定性和供电质量有不利影响的缺点,非常适合多逆变器并网条件下的孤岛检测,因此有着广阔的应用前景.参考文献:S ONGGH,C AOB,CHANGLC Ap a s s i v e i s l a n d i n gd e t e c t i o nm e t h o df o rd i s t r i b u t i o n p o w e rs y s t e m s w i t h m u l t i p l ei n v e r t e r sJ I E E EJ o u r n a l o fE m e r g i n ga n dS e l e c t e d T o p i c s i n P o w e r E l e c t r o n i c s,():D AMA S C E NODP,D I A S M P,O T AJIY,e ta l A p a s s i v ei s l a n d i n g d e t e c t i o ns c h e m ef o rab i p o l a rD C m i c r o g r i dCN a d i:I E E E t hS o u t h e r nP o w e rE l e c t r o n i c sC o n f e r e n c e,:孙振奥,杨子龙,王一波,等适用于分布式多逆变器系统的混合孤岛检测法J中国电机工程学报,():陶良帅,滕锋雷,陈文帅,等被动式孤岛保护在智能电能表中的应用J电工技术,():张涛,李志广,赵常明,等分布式光伏发电系统的孤岛检测方法研究J电工技术,():(责任编校:李秀荣)(上接第 页)岳永胜,罗志远,姬霖矿山生态修复监测指标体系构建与应用J测绘通报,():Z HANGPP,CHE N XD,R E N Y,e ta l A n o v e lM i n e S p e c i f i cE c o E n v i r o n m e n t I n d e x(M S E E I)f o rm i n ee c o l o g i c a le n v i r o n m e n t m o n i t o r i n g u s i n g l a n d s a ti m a g e r yJR e m o t eS e n s i n g,():HEYJ,CHE NSZ,Z HANGB,e ta l M u l t i m e d i at i l tp h o t o g r a p h y a s s i s t e dr e m o t es e n s i n gt e c h n o l o g yi nm i n ee c o l o g i c a l r e s t o r a t i o nJ C o m p u t a t i o n a l I n t e l l i g e n c ea n dN e u r o s c i e n c e,():RUAN M Y,HUZQ,DUAN XY,e ta l U s i n g UAV a n df i e l d m e a s u r e m e n tt e c h n o l o g yt om o n i t o rt h e i m p a c to fc o a lg a n g u ep i l e t e m p e r a t u r eo nv e g e t a t i o ne c o l o g i c a lc o n s t r u c t i o nJR e m o t eS e n s i n g,():张立亚基于图像识别的煤矿井下安全管控技术 J煤矿安 全,():曹玉超,范伟强基于不同深度识别算法的矿井水位标尺刻度识别性能分析与研究J煤 炭 学 报,():肖家麟,李钰,袁晴龙,等基于恒虚警率的深度神经网络D r o p o u t正则化方法J华东理工大学学报(自然科学版),():刘海欣复杂环境下的特定物体识别算法研究与实现D哈尔滨:哈尔滨工业大学,李玺,查宇飞,张天柱,等深度学习的目标跟踪算法综述J中国图象图形学报,():樊星,赵祥模,刘占文,等基于多尺度卷积神经网络的交通标志识别方法J现代电子技术,():(责任编校:李秀荣)