基于计算机视觉的工业厂区人员安全警戒系统.pdf
《基于计算机视觉的工业厂区人员安全警戒系统.pdf》由会员分享,可在线阅读,更多相关《基于计算机视觉的工业厂区人员安全警戒系统.pdf(7页珍藏版)》请在咨信网上搜索。
1、计算机与现代化JISUANJI YU XIANDAIHUA2023年第9期总第337期文章编号:1006-2475(2023)09-0020-07收稿日期:2022-10-05;修回日期:2022-12-14基金项目:浙江省水利厅科技计划项目(RB2035);国家自然科学基金资助项目(51979174)作者简介:顾成伟(1995),男,江苏盐城人,硕士研究生,研究方向:安全监测与应用,E-mail:;通信作者:丁勇(1977),男,教授,研究方向:人工智能,安全监测,E-mail:;李登华(1980),男,教授,研究方向:岩土工程与水利水电工程,E-mail:。0引言工业厂区中起重机械在提高生
2、产效率与产量的同时,由于其设备本身存在高度大、覆盖面广、吊装物品种类繁多、操作盲区多等安全隐患,每年工业厂区中由起重机械引起的安全事故居高不下,对起重机械的安全管理,以保障工作人员安全和避免安全事故是厂区企业安全工作中的重中之重1-2。传统的起重机械作业安全管理主要是靠闪光信号、地面指导人员指挥等方式,由于其信号单一、过多依赖人眼观测等缺陷在保证人员安全上仍有不足3。伴随着人工智能和图像识别技术的不断发展给起重机械安全管理提供了更多的技术支撑和思路,图像识别技术是人工智能研究的一个重要分支,其利用计算机对图像进行处理、分解,以识别图像中各种信息数据的技术。目前图像识别技术应用已十分广泛,例如人
3、脸识别、指纹识别、车牌识别、无人驾驶等4。自CNN深度学习技术以提出以来,图像识别技术又迈入了新的高度,利用与人类神经网络相似的卷积神经网络训练图像,对图像样本特征进行深层次的学习,大大提高了图像识基于计算机视觉的工业厂区人员安全警戒系统顾成伟1,丁勇1,李登华2(1.南京理工大学理学院,江苏 南京 210094;2.南京水利科学研究院,江苏 南京 210024)摘要:针对工业厂区起重机械作业安全事故频发,提出一种基于计算机视觉的工业厂区人员安全警戒系统,采用计算平台和目标检测算法相结合的方式对现场作业监控视频中的人员目标实时检测和输出相应控制指令。目标检测算法以YOLOv5网络为基础,在该网
4、络结构中嵌入注意力机制,将基于空间和通道混合注意力机制模块添加到BottleneckCSP模块中,可提高对小目标人员的检测的准确度。此外,还引入人员跟踪算法对检测结果进行修正融合,可降低人员处于遮挡情形时的漏检率。改进后的算法在自建数据集中进行实验,相较原YOLOv5网络,改进后的算法在mAP上提升了3.414个百分点,检测速度可达到40.3 FPS,具有较好的检测效果。最后将算法模型部署到计算平台中并在现场行进警戒系统的搭建和测试,测试统计结果显示对普通人员和领航人员的检测准确率分别为94.4%和95.1%,具有良好的检测性能,可以稳定执行相应自动安全警戒操作。关键词:起重机械;人员安全警戒
5、系统;目标检测;目标跟踪中图分类号:TP311文献标志码:ADOI:10.3969/j.issn.1006-2475.2023.09.003Personnel Safety Warning System in Industrial Plant Based on Computer VisionGU Cheng-wei1,DING Yong1,LI Deng-hua2(1.College of Science,Nanjing University of Science and Technology,Nanjing 210094,China;2.Nanjing Water Conservancy R
6、esearch Institute,Nanjing 210024,China)Abstract:In view of the frequent safety accidents of hoisting machinery in industrial plants,this paper proposes a personnelsafety alert system in industrial plants based on computer vision,which uses a combination of computing platform and target detection alg
7、orithm to detect the personnel targets in the field operation monitoring video in real time and output corresponding control instructions.The target detection algorithm is based on YOLOv5 network,and the attention mechanism is embedded in thenetwork structure.The space and channel based hybrid atten
8、tion mechanism module is added to BottleneckCSP module,whichcan improve the accuracy of small target detection.In addition,a person tracking algorithm is introduced to modify and fuse thedetection results,which can reduce the missed detection rate when the person is in the occlusion situation.The im
9、proved algorithm is tested in the self built dataset.Compared with the original YOLOv5 network,the improved algorithm is 3.414 percentagepoint higher on the mAP,and the detection speed can reach 40.3 FPS,which has a good detection effect.Finally,the algorithmmodel is deployed to the computing platfo
10、rm,and is built and tested on the scene.The test statistics showe that the detection accuracy of ordinary personnel and navigators is 94.4%and 95.1%,respectively,which has good detection performance and canstably perform corresponding automatic security alert operations.Key words:hoisting machinery;
11、personnel safety warning system;object detection;target tracking2023年第9期别精度与速率,基于深度学习的图像识别技术在智能监测领域广泛地被运用5-6。针对起重机械安全事故频发以及现有的相关安全管理技术上的不足,本文提出一种基于计算机视觉的工业厂区人员安全警戒系统。该系统可以通过目标检测算法自动识别作业区域内人员目标并分析输出相应控制指令,实现起重机械自动警戒控制,最后通过现场搭建系统进行测试相关性能来验证该系统的可行性及稳定性。1系统构成与基本原理基于计算机视觉的工业厂区人员安全警戒系统(以下简称“警戒系统”)是利用计算机视觉
12、中的目标检测算法对采集到的起重机械作业范围内的监控视频进行人员目标检测,得到人员信息数据并根据数据分析结果自动控制起重机械进行减速或刹停的操作,保证作业范围人员的安全。警戒系统主要由视频采集、图像计算、数据分析和控制输出4个模块7-8构成。1)视频采集模块采用的是海康威视Smart26型号摄像机,视频输出格式是 H.264,分辨率是 19201080,并安装在起重机械大车横梁的4个角点位置实时采集作业范围内人员监控视频。2)图像计算模块是以 NVIDIA Jetson TW-T506计算平台为核心部件(以下简称“计算平台”)以及工业路由器、硬盘录像机等辅助硬件组成,计算平台内置Xavier模块
13、并具备21 TOPS浮点运算的AI处理能力,可以部署运行目标检测算法,对现场作业人员进行检测处理。3)数据分析模块采用的是 MCGS1071Gt型号智能物联网嵌入式触摸屏,可以进行TCP/IP通讯以及物联网串口通讯,并且内置诸多当下使用较为频繁的物联网模块设备驱动,可以与编码器、modbus扬声器以及西门子PLC等硬件进行数据交互和操作控制。4)控制输出模块是由SIMATIC S7-1200型可编程控制器(以下简称“PLC”)以及与起重机械各个档位电路相连的继电模块组成,继电模块中的继电器与PLC中的DQ信号点相连组成闭合回路。PLC根据接收到的控制指令改变DQ信号点触点的开合状态控制继电模块
14、的吸合与断开,继而通过继电模块控制相应档位的断合,实现起重机械的自动安全警戒控制。由4个模块构成的警戒系统的运行流程如图1所示。首先是对现场作业人员监控视频数据进行采集并输入计算平台进行目标检测运算得到人员的类别、数量、位置等数据结果。该数据结果通过协议通道传输到数据分析模块触摸屏中。此外计算平台还会将含有人员检测结果的图像重新编译成视频并通过rtsp格式取流链接在触摸屏窗口实时显示并播报相应语音警报提示9。然后人员数据结果经触摸屏分析处理后会向控制输出模块发出控制指令,PLC根据指令通过对继电模块的控制间接控制起重机械相应档位的开合,最终实现起重机械针对作业人员的自动安全警戒控制10-11。
15、图1警戒系统构成与运行流程图2算法改进2.1嵌入注意力模块针对工业厂区起重机械作业特点,警戒系统要求人员检测算法需快速检测运算得到结果数据并输出相应控制命令,因此警戒系统中的目标检测算法选取了计算量小、识别速率较快的一阶段目标识别网络中的 YOLOv5 作为基础框架12。YOLOv5 网络结合NVIDIA 计算核心硬件中搭载的 TensorRT 优化模块可快速实时识别监控视频中的人员目标,在快速识别的同时快速做出相应的控制操作13-14。本文所采用的YOLOv5网络算法结构中大量运用卷积操作,多次卷积的目的主要有2个,一方面是不断地提取图像中的深层特征,另一方面是减少模型的计算量,使得到的特征
16、信息更加精简。但是实现这2个目的的同时,也会带来一些问题,通过深层次的卷积得到的特征图尺度会越来越小,此时图像样本就很容易损失某些特征信息,尤其是图像中的小目标特征进过多层次的卷积更容易产生特征的丢失现象。本文警戒系统采集到的图像样本中人员占整个图像比例较小,属于小目标类别,因此人员目标存在特征丢失问题15。针对这个问题,本文在警戒系统目标检测算法中采用嵌入注意力机制模块的方法提升算法对图像中主要目标的提取,保留关键感兴趣目标特征。考虑到单张图像中不单单存在一个人员目标,因此在注意力集中上不仅仅需要考虑通道的角度也需要空间角度,最后选取基于空间和通到融合注意力机制的CBAM模块。该模块是轻量级
17、的通用模块,可以忽略该模块的开销而将其集成到YOLOv5s网络架构中,并且可以与网络一起进行端到端的训练。最后本文嵌入模块的位置分别是在 Backbone 结构 BottleneckCSP模块的残差网络中 add操作后和在 Neck结构BottleneckCSP模块的集成卷积模块CONV的最后处理步骤中16-17。图2为CBAM模块的整个处理流程,该模块先经过通道注意力模块的处理,然后将通道注意力模块的输出结果经过空间注意力模块处理,得到最终的输出特征权值18。CBAM 模块的通道注意力模块如图 2上半部分所示,输入的特征图分别经过基于width和height的全局最大池化和全局平均池化操作,
18、处理结图像处理视频采集控制输出自动警戒控制数据分析 顾成伟,等:基于计算机视觉的工业厂区人员安全警戒系统21计算机与现代化2023年第9期果经过共享全连接层后再通过 Elementwise 加和和Sigmoid激活操作后生成最终的通道注意力权值。如图2下半部分所示,生成的通道注意力权值和输入特征进行Elementwise乘法生成空间注意力模块的输入特征,在空间注意力模块处理中,首先对输入特征作基于通道的全局最大池化和全局平均池化,并将2个结果进行基于通道的concat融合,融合后的特征经过卷积处理降维为1个通道,然后经过Sigmoid激活生成空间注意力权值,最后将权值与输入特征做乘法就得到CB
19、AM模块最终的输出特征19-20。图2CBAM注意力机制模块处理流程图2.2引入人员跟踪算法通过对工业厂区内作业环境的考察发现,厂区起重机械吊装作业多为大体积平面钢材等大体积材料,作业周边人员遮挡情况存在较多,在吊装大体积物件时存在因人员遮挡而导致无检测结果生成的情形。针对这些问题本文引入基于SORT的人员跟踪算法预测人员位置,在遮挡情形中根据预测结果与检测结果修正融合得到最优的检测结果,避免人员因被遮挡漏检而导致起重机械的自动安全警戒控制被错误中断21-22。基于 SORT 的人员跟踪算法处理流程如图 3 所示。算法将人员目标的检测结果和跟踪预测进行匹配,然后根据匹配结果进行不同的处理,其中
20、匹配结果分为 3种类型:Matched Tracks、Unmatched Detections 和 Unmatched Tracks。针对这 3 种结果处理方式如下23-24:图3人员跟踪算法处理流程图1)Matched Tracks。匹配成功的track和detection结果进行融合更新得到最优的人员检测结果作为最终输出,同时通过该最优结果不断更新跟踪算法中的Klaman滤波参数。2)Unmatched Detections。未匹配成功的detection作为新的初始跟踪目标,并将该检测结果作为此目标初始帧跟踪结果输入到跟踪序列数据中。3)Unmatched Tracks。未匹配成功的tr
21、ack分为确认状态和不确认状态2种处理方式。确认状态下未匹配成功的track根据最大寿命值max_age阈值进行判断,超过则认为目标长时间消失,删除此track结果,未超过则认为目标存在短暂消失的被遮挡场景,未检测到目标,则将track作为最终检测结果并输出;不确认状态下未匹配成功的track直接进行删除处理25。本文目标检测算法以YOLOv5网络为基础,并针对实际运用过程中遇到的小目标人员特征易丢失和人员被遮挡时易漏检问题分别采用嵌入注意力机制模块和引入人员跟踪算法进行改进,最终改进后的目标检测算法整体框架如图4所示。输入图像经过改进的YOLOv5算法网络后,生成检测到的人员目标信息和边框信
22、息即人员检测结果。与此同时图像经过跟踪算法也生成了对应的跟踪预测结果,然后2个结果进行互相匹配更新融合生成最优的人员检测结果并输出。图4本文目标检测算法框架图3实验结果与分析3.1数据集建立与优化为了提高人员识别算法中权重模型的识别效率与鲁棒性能,网络训练过程中采用的图像数据集均通过工业厂区人员实际作业监控视频数据采集得到,视频经抽帧得到人员图像并自动标注生成xml文件,该方法采集建立的数据集可以有效提高模型权重的识别效率和降低车间复杂环境带来的误识别可能性。如图5所示,本文图像样本标注过程中采取的是人工标注与自动标注相结合的方法,其处理流程为:1)对现场监控视频抽帧采集得到待标注图像;2)对
23、图像进行分组,按比例分为1/5图像样本和4/5图像样本,其中1/5图像样本采用用人工标注方法仔细准确地标注人员位置,并将标注好的图像样本通过本文改进后的YOLOv5算法训练得到预检测模型,由于这部分的数据集数量较少,且数据也未经过优化处理,因此将该模型称之为预检测模型,只用于图像标注过程中,后期不断训练迭代得到质量优越的模型后将更新替换;3)剩余的4/5图像样本通过预检测模型进行人员检测,检测结果通过标注工具算法自动转化成标注文件;4)将人工标注和自动生成的标注数据集整合并对其中不合理的标注数据进行自动剔除处理;5)经过DetectionsTracksIOUMatchUnmatched Tra
24、cksUnmatched DetectionsMatchedTracksUnconfirmedConfirmed max_agedeletedelete是否KfupdateKfpredict改进的YOLOv5算法人员跟踪算法人员检测结果人员跟踪预测结果输出最优检测结果输入图像通道注意力模块通道注意力权值共享全连接层输入特征MaxPoolAvgPool空间注意力模块卷积层空间注意力权值MaxPool,AvgPool经过Channel注意力模块之后的特征图222023年第9期剔除处理剩余的图像样本再经过人工的复核微调后,即可完成对全部图像数据集的检测框标注工作,此方法在保证标注合格准确的基础上通过
25、结合自动标注、数据自动剔除等方法提高了传统标注工作的效率26。图5图像样本标注流程图图5中自动剔除处理是针对标注文件中出现的错误标签xml文件的处理,根据标签数据逻辑关系自动剔除错误标注文件及图像样本。自动剔除处理准则如下27:1)剔除无人员存在的样本。视频数据经过抽帧得到的图像中可能无人员存在,此时根据xml文件中无object数据原则自动剔除相对应的图像和xml文件。2)剔除图像尺寸错误的样本。现场监控视频通过抽帧方法得到的图像数据集过程中可能存在图像尺寸数据错误情形,此时xml文件中图像size数据中会存在weight或height小于0的异常情况,若是存在weight或height小于
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 计算机 视觉 工业 厂区 人员 安全 警戒 系统
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。