基于多传感器融合的人体跌倒检测系统.pdf
《基于多传感器融合的人体跌倒检测系统.pdf》由会员分享,可在线阅读,更多相关《基于多传感器融合的人体跌倒检测系统.pdf(7页珍藏版)》请在咨信网上搜索。
1、收稿日期:2023-04-30基金项目:国家自然科学基金项目(61901514)作者简介:周乐(1982-),男,讲师,主要从事光电传感与微波技术研究通信作者:陈一畅(1988-),男,讲师,博士,主要从事雷达成像与目标识别研究E-mail:cyc_第37卷 第2期2023年4月空 天 预 警 研 究 学 报Journal of Air&Space Early Warning ResearchVol.37 No.2Apr.2023基于多传感器融合的人体跌倒检测系统周乐1,陈一畅1,刘铭哲2,朱超3(1.空军预警学院,武汉 430019;2.93277部队,沈阳 110141;3.93498部队
2、,石家庄 050000)摘要:针对单一光学传感器或毫米波雷达传感器在人体跌倒检测应用中准确率受环境影响的问题,研制了一种基于电荷耦合元件(CCD)光学传感器和毫米波雷达传感器融合的人体跌倒检测系统该系统采用CCD光学传感器和毫米波雷达传感器同时对目标进行检测,得到的多传感器数据实现决策级融合检测实验结果表明,与单一光学传感器或毫米波雷达传感器检测相比,所研制的多传感器融合人体跌倒检测系统具有更好的环境适应性关键词:CCD光学传感器;毫米波雷达传感器;卷积神经网络;多传感器融合中图分类号:TN957.52;TP212文献标识码:A文章编号:2097-180X(2023)02-0129-07我国社
3、会已进入老龄化,每年有三千万的老人出现跌倒情况1,跌倒在我国总体伤害死亡原因中排名第四,在 65 岁及以上的老年人中则居于首位,它已经成为老年人受伤的一个重要原因2跌倒检测可采用电荷耦合元件(CCD)光学传感器检测、毫米波雷达传感器检测等多种检测方法基于光学传感器的人体跌倒检测可以通过摄像头进行实时监控,对人体的姿态进行识别,利用设定的阈值或深度学习的方法来判断人体是否跌倒,具有成本低、扩展性强、方便快捷等特点3,但容易受到环境光线和室外天气等因素的影响毫米波雷达具有非接触、全天候等优点,既不会影响人们日常活动,也可以将人们的隐私保护起来4-5,但其检测精度易受到目标周围金属反射物的干扰多传感
4、器信息融合(MSF)是指计算机利用来自多种不同种类传感器的信息和数据,通过某种特定的数据处理方法进行数据分析,为了达到一定目的而进行的信息处理过程6采用 MSF检测的方案,可以提高复杂环境下的检测准确率,因此研制了一种基于 CCD 光学传感器和毫米波雷达传感器融合的人体跌倒检测系统首先给出系统的硬件平台,然后分别阐述了其各子系统的检测算法及工作流程、融合检测加权算法及工作流程,最后就单一传感器检测和融合检测进行实验和对比分析1系统硬件平台人体跌倒检测系统硬件平台组成框图如图1 所示该系统包含 CCD 光学传感器和雷达毫米波传感器 2 个子系统光学传感器采用塔菲克 USB 外接 CCD 摄像头进
5、行图像采集,该传感器支持 25921944 分辨率,具有视场范围广、透光率高等优点其工作过程如下:采用塔菲克CCD 摄像头对目标跌倒动作和姿态进行样本采样检测,检测到的图像由人工标注后送到笔记本电脑进行数据存储;制作训练集和测试集,通过GPU 计算得到人体跌倒检测的训练模型;最后采用训练模型进行目标跌倒的实时检测 塔菲克C C D 光学传感器光学检测算法模块人体跌倒识别输出I WR 6 8 4 3毫米波雷达传感器毫米波雷达检测算法模块数据采集模块融合检测模块数据采集模块多传感器融合检测系统图 1人体跌倒检测系统硬件平台组成框图毫米波雷达传感器为采用 TI 公司毫米波雷达 IWR6843 的四创
6、智能雷达技术实验系统,包括雷达半实物系统、毫米波宽带雷达平台、雷达目标数据管理与智能处理算法支撑软件平台,配套导轨平台作为支架,同时配套设备支架等环境其工作过程如下:根据目标距离和方位设置毫米波雷达采样参数(包括工作频率、采样频率、调制带宽及采样时长等参数),对目标进行探测并经快速傅里叶变化得到时频图,将时频图送至卷积DOI:10.3969/j.issn.2097-180X.2023.02.010空 天 预 警 研 究 学 报2023年130神经网络(CNN)进行特征提取,然后训练获得毫米波雷达人体跌倒预测模型,最后实时采集目标姿态数据并处理获取时频图后进行跌倒判别2系统的人体跌倒检测算法及工
7、作流程多传感器融合人体跌倒检测系统包括光学传感器和毫米波雷达传感器 2 个子系统,分别采用了 YOLOv5 算法和 7 层 CNN 进行人体跌倒检测,然后再采用决策级的线性加权融合算法进行融合检测2.1CCD光学传感器子系统人体跌倒检测CCD 光学传感器人体跌倒检测子系统所采用的目标检测算法是一种基于 CNN 的 YOLOv5算法YOLOv5 算法的网络结构主要由输入端、Backbone、Neck、输出端 4 个部分组成7-9,各部分功能如下:输入端利用马赛克拼图算法(Mosaic)进行数据增强来提高检测速度以及检测精度,然后利用自适锚框以及自适应图片缩放;Backbone主要包含 Focus
8、 切片处理、跨阶段对等(cross stageparity,CSP)结构,具有切片下采样的功能;Neck模块通常被用于将不同层级的人体动作姿态特征图结合起来,生成具有多尺度信息的人体动作姿态特征图,以提高目标检测的准确率;输出端由预测框、分类损失函数和非极大抑制组成,用来评判加测效果,主要负责对骨干网络提取的特征图进行多尺度目标检测其检测过程如图2 所示利用 CCD 光学传感器进行人体跌倒检测主(a)未处理的原图(b)Mosaic 数据增强后的图片(c)输出检测结果与实际框比较图 2YOLOv5 算法人体跌倒的检测过程要步骤为:搭建 YOLOv5 算法模型环境框架,制作数据集;使用标注软件开始
9、标注数据集,打上标签;选择 YOLOv5 作为权重对标注好的数据集进行训练,设置迭代次数开始训练;得到人体跌倒检测权重模型,进行测试验证2.2毫米波雷达传感器子系统人体跌倒检测毫米波雷达传感器子系统收集到目标的回波信息后,对回波信息进行动目标显示(MTI)、脉冲压缩、时频变换等处理后得到时频图,将时频图输入到 CNN 检测网络中进行检测,判断人体是否跌倒10-11图 3 为 3 种跌倒动作的毫米波雷达回波时频图(a)面向雷达(b)背向雷达(c)目标周围有金属反射物图 33 种跌倒动作的毫米波雷达回波时频图采用一个 7 层 CNN 对跌倒动作进行检测识别网络输入数据为雷达回波处理后的时频图,网络
10、结构图如图 4 所示其中 CNN 包含 3 个卷积层、2个最大池化层、2个全连接层,在每一个卷积层和全连接层后面加入 ReLu 函数作为激活函数12经过训练后的 CNN 可以对检测数据做出2 5 0输入层卷积核2 5 0552 4 62 4 66221 2 31 2 36卷积层池化核池化层卷积核551 1 91 1 91 6卷积层22池化核5 95 91 6池化层全连接层8 42输出层5 55 56 455卷积层卷积核图 47 层 CNN 结构第2期周乐,等:基于多传感器融合的人体跌倒检测系统131跌倒判断利用毫米波雷达进行人体跌倒检测的主要步骤为:根据标注的人体跌倒时频图制作训练数据集,训练
11、检测模型;毫米波雷达检测回波信号后经过处理获得时频图;时频图输入到CNN检测网络中进行推理,并进行检测判断;输出人体是否跌倒的判断结果2.3多传感器决策级融合检测多传感器融合可分为 3 种层次的融合:数据级融合、特征级融合和决策级融合13系统采用的是决策级层次的融合决策级融合的层级位于高层级,CCD 光学传感器和毫米波雷达传感器分别在识别到人体跌倒后进行特征提取得到特征向量,最后进行决策决策级融合框图如图5 所示目标光学传感器特征提取识别特征提取毫米波雷达特征提取识别决策图 5决策级融合框图1)多传感器线性加权融合算法把 CCD 光学传感器和毫米波雷达传感器融合后的系统看作为线性系统14,采用
12、加权平均法将多个传感器的检测数据进行线性组合,不同传感器得到的结果乘以一个赋予它的权重系数再将它们相加得到融合后的检测结果设有 n 个传感器,其输出信号为xi(i=1n),分配权重系数为wi(i=1n),且i=1nwi=1,则n 个不同传感器融合后的检测结果 y 为y=x1w1+x2w2+xnwn=i=1nxiwi(1)使用 CCD 光学传感器和毫米波雷达传感器进行融合,所以n=2假设w1为光学传感器权重,x1为光学传感器检测结果;w2为毫米波雷达传感器权重,x2为毫米波雷达传感器检测结果,故融合后的检测结果为y=x1w1+x2w2(2)融合后的分配权重系数关系满足w1+w2=1,代入到融合后
13、的检测结果 y 中,并经过合并同类项后,得到检测结果为y=(x1-x2)w1+x2(3)2)多传感器加权融合参数选取由式(3)可知,融合检测加权算法即确定各传感器的权重参数一般亮光环境下,CCD 光学传感器权重w1的取值范围为 0.51.0,而暗光环境中 CCD 光学传感器的检测准确率会受到影响,但毫米波雷达传感器几乎没有影响,因此权重赋值时需要提高毫米雷达传感器的权重值如果暗光环境中目标周围又存在金属反射杂物,此时毫米波雷达传感器的检测准确率也会下降,需要相应地调整权重赋值因此,权重w1的确定要根据实际环境和检测准确度的要求综合确定检测门限阈值 G 作为是否发生人体跌倒事件的门限阈值,当检测
14、结果yG时,即判断跌倒若 G 设置较低,则样本质量较差,检测结果的置信度则较低;若 G 设置较高,检测结果的置信度提高,但会导致召回率降低,检测不到部分目标样本,影响检测准确度15因而需根据实验采集的实际跌倒数据样本来确定 G3)多传感器融合系统工作流程多传感器融合系统工作流程如图 6 所示,主要步骤如下:Step 1 同一时刻下,2 种传感器通道同时开始检测,CCD 光学传感器进行数据采集获得光学图像,毫米波雷达传感器进行数据采集并处理得到时频图;Step 2 光学传感器通道利用 YOLOv5 算法进行图像检测,毫米波雷达传感器利用对应的 CNN算法进行时频图的检测;Step 3 设置各自的
15、检测门限;Step 4 采用各自 CNN 算法训练模型分别作为跌倒姿态识别器和跌倒时频图识别器进行检测(光学传感器训练模型为 CNN-1,毫米波雷达传感器训练模型为 CNN-2);Step 5 将光学传感器和毫米波雷达传感器的检测结果进行决策级平均加权得到融合后的检测结果 y,将检测结果与设置的检测门限阈值G 进行比较判断当前目标是否跌倒摄像头数据采集获得光学图像利用Y O L O v 5 算法检测跌倒图像设置检测门限跌倒姿态识别器C N N-1训练毫米波雷达数据采集得到时频图利用C N N 进行时频图检测跌倒时频图识别器C N N-2训练2 种传感器的检测结果进行决策级平均加权当前目标跌倒加
16、权结果y 大于检测门限G下一张图像下一张时频图设置检测门限图 6多传感器融合系统工作流程3实验结果分析系统硬件平台实物如图7所示CNN模型训练采用英伟达GPU(NVIDIA GERORCE GTX 1660-Ti),版本为 NVIDIA CUDA 11.6.134实验内容有空 天 预 警 研 究 学 报2023年132CCD 光学传感器子系统人体跌倒检测实验、雷达毫米波传感器子系统人体跌倒检测实验和多传感器融合实验图 7系统硬件平台实物3.1CCD光学传感器子系统人体跌倒检测实验利用开源数据集 fall-detection-dataset,标注工具为 labelimg,并将标注的 xml 格式
17、转化成 txt 格式,将数据集划分为 7 3 的训练集和测试集该数据集包含 191 个视频,帧速率为 25 帧/s,分辨率为 320240 像素,可以检测跌倒、坐姿和站姿3 种人体姿态,如图 8 所示(a)跌倒(b)坐姿(c)站姿图 8跌倒、坐姿和站姿及其标注1)不同姿态识别准确度为了检测训练模型对不同动作的检测准确度,收集并制作了一个 300 张图片的数据集,其中跌倒、坐姿、站姿图片各 100 张测试模型对 3种不同的动作姿态进行检测,结果为跌倒、坐姿和站姿的准确度分别可达到 90%、95%和 98%2)不同光线环境对人体跌倒识别检测在不同程度光线照明环境下对目标动作识别检测结果比较分析如图
18、 9、图 10 所示由图9、图 10 可知,充足光线环境时检测结果的置信度(分别为 0.92 和 0.92)高于昏暗环境时检测结果(分别为 0.85 和 0.77),置信度越高表明模型判定为跌倒的情况越为准确,即检测的准确度越高因此,实验结果表明不同程度的光线环境会对目标人物跌倒检测造成一定影响,导致检测准确率下降(a)置信度为 0.92(b)置信度为 0.92图 9光线充足环境下的检测结果(a)置信度为 0.85(b)置信度为 0.77图 10昏暗环境下的检测结果3.2雷达毫米波传感器子系统人体跌倒检测实验毫米波雷达传感器子系统进行人体跌倒回波数据采集时,设置参数如下:工作频率为 77GHz
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 传感器 融合 人体 跌倒 检测 系统
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。