基于图像识别技术的被困人员智能探测定位系统.pdf
《基于图像识别技术的被困人员智能探测定位系统.pdf》由会员分享,可在线阅读,更多相关《基于图像识别技术的被困人员智能探测定位系统.pdf(5页珍藏版)》请在咨信网上搜索。
1、消防设备研究Fire Science and Technology,October 2023,Vol.42,No.10基于图像识别技术的被困人员智能探测定位系统张博1,蒋慧灵2,孙敬1(1.西安市消防救援支队,陕西 西安 710000;2.北京科技大学 金属冶炼重大事故防控技术支撑基地,北京 100083)摘要:对各类灾害事故现场被困人员位置的准确掌握,能为救援人员制定救援方案提供科学的决策支持,进一步提高救援效率。为了更加快速精准地获取灾害事故现场被困人员位置,本文在对已有方法分析和总结的基础上,探索建立被困人员智能探测定位系统。该系统基于图像识别技术开发,通过自动获取并分析疏散通道上的视频
2、监控画面,判断该监控对应区域下是否有人员作出特定的求救姿势或者处于被困状态,从而将被困位置和相关信息发送至救援人员,协助救援。经测试,系统在人员姿势测试集上的检测准确率为 94%,在人员状态测试集上的探测准确度为 90%。关键词:被困人员;人员定位;求救姿势;应急救援中图分类号:X913.4;TP391.9 文献标志码:A 文章编号:1009-0029(2023)10-1408-05各类灾害事故一旦发生,基于有限数据快速获取被困人员被困点及被困画面信息,能为救援人员制定救援方案提供更加科学的决策支撑,对公共安全和消防救援意义重大。随着城市数字化、智能化发展进程的深入推进,智能监控摄像头得到广泛
3、使用,图像探测识别及跨域应用为安防、预警、救援提供了硬件和数据支撑。基于深度学习的图像识别技术1-2的出现,为基于视频图像分析获取被困人员位置提供了新的解决途径。当前,由于灾害事故现场混乱、数据信息获取不畅、热烟气流动影响、被困人员错误描述误导等因素,救援人员无法快速定位被困人员,只能盲目地开展地毯式排查搜救,既浪费了有限救援力量又降低了被困人员营救效率。为快速准确地定位灾害事故现场被困人员,制定有针对性的救援方案,现有的技术方法主要分为 3类。一是基于 ZigBee、UWB、Wi-Fi 等室内定位技术的方法3-6,可以通过预设基站,疏散人员携带定位模块(特制胸针、腕带、卡片)的方式,得到人员
4、的近似位置,但这类方法目前造价较高、定位有误差,且需要逃生人员随身携带定位模块。二是基于固定式呼救系统的方法,如消防电话、呼救按钮等,此类方法可根据消防电话、呼救按钮点位图获取被困人员位置,但此类方法对管线要求苛刻、布线繁琐、维护困难,且对于已丧失意识的人员来说,不能主动判断逃生人员是否处于被困状态。三是基于视频监控识别的方法,现多为救援人员通过建筑物内视频监控人为识别被困人员位置,此类方法需要救援人员第一时间到达视频监控室,观察监控画面,并通过对讲机、语音电话不间断协助其他救援人员开展救援,此类方法效率较低,当有较多被困人员时,观察人员往往手忙脚乱,且救援成功与否很大程度上取决于对现场态势的
5、把握和配合默契度。近年来,基于深度学习的图像分析技术在目标检测、智慧疏散等方面的应用逐渐深化,表现出效率高、精度高、不需要人为参与识别的巨大优势。比如,基于级联CNN 的疏散场景中人群数量估计模型7可以基于疏散通道上的监控画面自动分析该视频监控范围内的人员密度;基于深度学习的人体交通智慧姿势识别方法研究8结合 RGB、骨骼关键点和密集姿态 3 种不同的交通指挥姿态数据进行姿势识别;面向消防演练应用的姿势识别和目标定位9,利用双目相机实现对消防体验者的特殊姿势识别和灭火器定位。本文在前期工作基础上10,进一步考虑光照不足、能见度低等不利救援环境的影响,并基于 Django 框架开发被困人员智能探
6、测定位系统,为救援人员快速、准确地探测定位灾害事故现场被困人员位置提供了数据支撑。1被困人员智能探测定位系统工作原理基于图像识别技术的被困人员智能探测定位系统的工作流程如图 1 所示。系统通过分析建筑内各视频监控上传的实时画面,智能判断是否有人员作出求救姿势或者已经处于被困状态。当发现有人员被困时,系统会自动将被困人员位置和实时监控画面发送至救援人员,协助救援。系统包含人员求救姿势探测和人员状态探测两个模块。其中,人员求救姿势探测模块通过分析疏散通道上的监控画面,判定该画面内是否有人员作出特定的求救姿势,人员状态探测模块针对已经丧失意识或者无法主动作出求救姿势的逃生人员进行设计,通过分析监控画
7、面中一段时间内(本文设定为 15 s)人员状态变化情况,判断该画面中是否存在被困人员。逃生疏散过程中,监控画面上人员状态的变化如图 2所示。图 2 中,1 为初始画面有人员但人员呈不完整状态,即部分身体被遮盖、蹲下等,而在 15 s内从镜头消失;2为初始时人员呈卧倒姿态,而在 15 s内从镜头消失;3为初始时人员呈站立姿态,而在 15 s 内从镜头消失。图 2中,1、2、3 均为初始画面中有人员,但人员在 15 s 内从画面消失,系统判别在此情况下人员具有疏散能力,不进行报警;4为 15 s内人员从不完整姿态转化为站立姿态;5为基金项目:国家重点研发计划(2021YFC1523504);国家应
8、急管理部科技计划(2021XFCX25)15 s内人员从卧倒姿态转化为站立姿态;6 为 15 s内人员一直呈站立姿态且发生了移动,但移动范围较小。4、5、6均为人员姿态发生变化,但不能确定人员是否还具有逃生能力,需继续向后采集 10 s视频画面,判断人员是否还存在于当前镜头,若不存在,系统判别人员具有逃生能力,若存在,需请求系统进行识别分析。7 为 15 s 内人员一直呈不完整姿态,8为 15 s内人员一直呈卧倒状态,9为15 s内人员不完整状态和卧倒状态相互转化,10为 15 s内人员由站立状态转化为卧倒状态,11 为 15 s 内人员由站立状态转化为不完整状态。7、8、9、10、11 均为
9、人员在 15 s内还在当前监控范围内,需请求系统进行识别分析。2系统中探测模块的设计与实现2.1模型的基础架构被困人员智能探测定位系统中,人员求救姿势探测模型和人员状态探测模型的整体架构基于 YOLOv8目标检测算法,但在综合考虑低光照、低能见度等不利因素的影响下,本文增加了生成图像反馈层。模型整体架构如图 3 所示。其中,Backbone层通过卷积、池化等操作提取图像特征;Head层通过特征融合、重组等方式来进行目标检测、类别预测;生成图像反馈层通过特征提取层生成的特征片段来重建生成 RGB图像,并通过其生成的 RGB图像和正常光图像之间的损失值来更新整个网络权值,从而使得提取的特征片段更偏
10、向于正常光图像。2.2网络层设置模块基于 PyTorch 深度学习框架实现,网络层设置如表 1 所示,共分为 Backbone、Generate、Head 三个分区,其中 conv、C2f、SPPF 分别为 YOLOv8 模型中的卷积层、残差块、池化层,UpSample 为上采样,generate 为图片生成层,输出为正常光图像。2.3数据集制作在图像识别领域中,数据对模型结果具有很大的影响力,获取合适的数据集是决定学习效果的第一步,也是极其关键的一步。本文需要解决的是紧急情况下疏散通道人员识别定位问题,该场景具有如下特点:监控摄像头角度多为俯视,且涉及到人员侧面、背面等多个角度;通道上光照不
11、足;火灾场景下受烟气影响,能见度相对不足;被困人员多为卧倒、低身位状态;疏散时人员会发生重叠遮挡现象。为了使数据集更接近于真实场景,本文采用自建数据集,共制作人员求救姿势数据集原图 1 060张,人员状态数据集原图 1 200组(1张为当前帧照片,1张为与之形成状态对比的 15 s 前照片)。数据集制作具体流程如图 4 所示,首先对图像进行了缩放、旋转、裁剪、调色等操作,然后采用 labelImg 开源软件对目标类别、目标区域进行标注,并生成 txt格式的标注文件。2.4模型的训练2.4.1人员求救姿势探测模型人员求救姿势探测模型的训练是通过生成图片与正常光图片的损失值、目标类别的损失值和目标
12、区域的损失值来迭代更新网络各层参数,其损失函数分为生成损失、分类损失和回归损失。生成损失:生成图像与正常光图像之间的 RGB 值差别,采用均方误差函数11,见式(1)。L1=m=1M(Ym-Pm)2(1)式 中:Pm为正 常 光 图 像 的 RGB 值;Ym为生 成 图 像 的RGB值;M 为输入图像包含像素点总个数。报警是是是否作出求救姿势是否被困人员状态探测模块是画面中是否有人监控画面图 1被困人员识别定位系统流程图Fig.1Flowchart of trapped person identification and location model1234561110987人员呈站立状态人员
13、呈卧倒状态人员呈不完整状态图 2人员状态变化图Fig.2The graph of personnel status change输入图像生成图像反馈层生成图像特征融合特征融合特征融合融合特征回归预测特征提取特征提取特征提取BackboneHeadY0L0v8图 3人员求救姿势探测模块和人员状态探测模型架构Fig.3The infrastructure of personnel posture detection and status detection module1408消防科学与技术2023年 10 月第 42 卷第 10 期15 s内人员从卧倒姿态转化为站立姿态;6 为 15 s内人员一
14、直呈站立姿态且发生了移动,但移动范围较小。4、5、6均为人员姿态发生变化,但不能确定人员是否还具有逃生能力,需继续向后采集 10 s视频画面,判断人员是否还存在于当前镜头,若不存在,系统判别人员具有逃生能力,若存在,需请求系统进行识别分析。7 为 15 s 内人员一直呈不完整姿态,8为 15 s内人员一直呈卧倒状态,9为15 s内人员不完整状态和卧倒状态相互转化,10为 15 s内人员由站立状态转化为卧倒状态,11 为 15 s 内人员由站立状态转化为不完整状态。7、8、9、10、11 均为人员在 15 s内还在当前监控范围内,需请求系统进行识别分析。2系统中探测模块的设计与实现2.1模型的基
15、础架构被困人员智能探测定位系统中,人员求救姿势探测模型和人员状态探测模型的整体架构基于 YOLOv8目标检测算法,但在综合考虑低光照、低能见度等不利因素的影响下,本文增加了生成图像反馈层。模型整体架构如图 3 所示。其中,Backbone层通过卷积、池化等操作提取图像特征;Head层通过特征融合、重组等方式来进行目标检测、类别预测;生成图像反馈层通过特征提取层生成的特征片段来重建生成 RGB图像,并通过其生成的 RGB图像和正常光图像之间的损失值来更新整个网络权值,从而使得提取的特征片段更偏向于正常光图像。2.2网络层设置模块基于 PyTorch 深度学习框架实现,网络层设置如表 1 所示,共
16、分为 Backbone、Generate、Head 三个分区,其中 conv、C2f、SPPF 分别为 YOLOv8 模型中的卷积层、残差块、池化层,UpSample 为上采样,generate 为图片生成层,输出为正常光图像。2.3数据集制作在图像识别领域中,数据对模型结果具有很大的影响力,获取合适的数据集是决定学习效果的第一步,也是极其关键的一步。本文需要解决的是紧急情况下疏散通道人员识别定位问题,该场景具有如下特点:监控摄像头角度多为俯视,且涉及到人员侧面、背面等多个角度;通道上光照不足;火灾场景下受烟气影响,能见度相对不足;被困人员多为卧倒、低身位状态;疏散时人员会发生重叠遮挡现象。为
17、了使数据集更接近于真实场景,本文采用自建数据集,共制作人员求救姿势数据集原图 1 060张,人员状态数据集原图 1 200组(1张为当前帧照片,1张为与之形成状态对比的 15 s 前照片)。数据集制作具体流程如图 4 所示,首先对图像进行了缩放、旋转、裁剪、调色等操作,然后采用 labelImg 开源软件对目标类别、目标区域进行标注,并生成 txt格式的标注文件。2.4模型的训练2.4.1人员求救姿势探测模型人员求救姿势探测模型的训练是通过生成图片与正常光图片的损失值、目标类别的损失值和目标区域的损失值来迭代更新网络各层参数,其损失函数分为生成损失、分类损失和回归损失。生成损失:生成图像与正常
18、光图像之间的 RGB 值差别,采用均方误差函数11,见式(1)。L1=m=1M(Ym-Pm)2(1)式 中:Pm为正 常 光 图 像 的 RGB 值;Ym为生 成 图 像 的RGB值;M 为输入图像包含像素点总个数。报警是是是否作出求救姿势是否被困人员状态探测模块是画面中是否有人监控画面图 1被困人员识别定位系统流程图Fig.1Flowchart of trapped person identification and location model1234561110987人员呈站立状态人员呈卧倒状态人员呈不完整状态图 2人员状态变化图Fig.2The graph of personnel s
19、tatus change输入图像生成图像反馈层生成图像特征融合特征融合特征融合融合特征回归预测特征提取特征提取特征提取BackboneHeadY0L0v8图 3人员求救姿势探测模块和人员状态探测模型架构Fig.3The infrastructure of personnel posture detection and status detection module人员求救姿势探测模块1409Fire Science and Technology,October 2023,Vol.42,No.10低光照图像正常光照图像缩放、调色旋转(任意角度)标记目标类别标记目标区域对比图像图 4数据集制作流程
20、Fig.4The process of making a dataset of detection module分类损失:目标区域判别类别与实际类别的差别,采用交叉熵损失函数12,如式(2)所示。L2=-1Ni=1Nj=1Myijlog(pij)(2)式中:N 为样本数;M 为类别数;yij为第 i个样本的真实标签是否为第 j 类;pij为模型预测第 i 个样本为第 j 类的概率。回归损失:目标区域与目标实际所在区域的差别,采用DFL损失函数和CLoU损失函数13,如式(3)所示。L3=DFL(Si,Si+1)+CLoU(3)式中:为权重系数,需根据网络训练进行调整;DFL损失函数以概率的方式
21、对预测框进行回归;CLoU 函数通过预测框和标记框的重叠面积、中心点距离、长宽比等因素来综合计算预测损失。整个网络训练过程中使用的损失函数如式(4)所示。LS=L1+L2+L3(4)式中:、为各损失模块的权重系数,需根据网络训练损失值变化情况进行实时调整。本文共设置人员求救姿势探测模型训练的次数为100次,误差函数随着迭代次数的变化如图 5所示。4321(b)train/cls_loss0 50 100迭代次数损失值3.53.02.52.01.51.00 50 100(a)train/bos_loss迭代次数损失值0 50 1003.53.02.52.01.51.0迭代次数(d)val/box
22、_loss损失值0 50 1004.03.53.02.52.01.5(c)train/dfl_loss迭代次数损失值30201000 50 100(e)val/cls_loss迭代次数损失值0 50 1004.03.53.02.52.01.5(f)val/dfl_loss迭代次数损失值图 5人员求救姿势模型损失值迭代变化图Fig.5The change of personnel posture detection model loss value实际的目标类别、区域和模型估计的目标类别、区域表 1人员求救姿势探测模块网络层分区设置表Table 1The network layer of pos
23、ture detection module分区BackboneGenerateHead参数设置L0:Conv(ch_in=3,ch_out=64,kernel=3,slide=2,padding=1,activation=SiLU)L1:Conv(ch_in=64,ch_out=128,kernel=3,slide=2,padding=1,activation=SiLU)L2:C2f(ch_in=128,ch_out=128)L3:Conv(ch_in=128,ch_out=256,kernel=3,slide=2,padding=1,activation=SiLU)L4:C2f(ch_in=
24、256,ch_out=256)L5:Conv(ch_in=256,ch_out=512,kernel=3,slide=2,padding=1,activation=SiLU)L6:C2f(ch_in=512,ch_out=512L7:Conv(ch_in=512,ch_out=1024,kernel=3,slide=2,padding=1,activation=SiLU)L8:C2f(ch_in=1024,ch_out=1024)L9:SPPF(ch_in=1024,ch_out=512,k=5)G0:UpSample(scale_factor=4,mode=nearest)G1:conv(c
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 图像 识别 技术 被困 人员 智能 探测 定位 系统
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。