基于知识蒸馏的步态识别方法.pdf
《基于知识蒸馏的步态识别方法.pdf》由会员分享,可在线阅读,更多相关《基于知识蒸馏的步态识别方法.pdf(5页珍藏版)》请在咨信网上搜索。
1、云南师范大学学报(自然科学版),2 0 2 4,4 4(2):4 9-5 3 h t t p s:/q k g j.y n n u.e d u.c nJ o u r n a l o fY u n n a nN o r m a lU n i v e r s i t y(N a t u r a lS c i e n c e sE d i t i o n)D O I:1 0.7 6 9 9/j.y n n u.n s-2 0 2 4-0 2 4基于知识蒸馏的步态识别方法*李若愚1,2,云利军*1,2,金雪松3,杨彦辰1,2,程飞燕1,2(1.云南师范大学 信息学院,云南 昆明6 5 0 5 0 0;
2、2.云南省教育厅计算机视觉与智能控制技术工程研究中心,云南 昆明6 5 0 5 0 0;3.玉溪市第二人民医院 信息网络中心,云南 玉溪6 5 3 1 0 0)摘要:针对步态识别中网络模型复杂度高、参数量大、训练测试速度慢等问题,提出一种基于知识蒸馏的步态识别方法.通过知识蒸馏方法对C o n v N e x t-K D模型进行训练,在不增加新训练数据集、模型复杂度和 模 型 参 数 量 的 前 提 下,提 高C o n v N e x t-K D模 型 的 识 别 准 确 率.该 方 法 在 中 科 院C A S I A-B和C A S I A-C数据库中进行多次仿真实验.结果表明,C o
3、n v N e x t-K D模型在保持较小参数量和较低复杂度的同时,可以显著缩短训练测试的时长并取得较高识别准确率.关键词:步态识别;知识蒸馏;C o n v N e x t中图分类号:T N 2 1 9;T P 1 8 1 文献标志码:A 文章编号:1 0 0 7-9 7 9 3(2 0 2 4)0 2-0 0 4 9-0 51 引言步态识别是利用人的行走特征来识别与认证身份的新兴技术1;近年来,研究人员开始利用深度学习算法对步态图像进行识别2-5,然而基于深度学习的步态识别算法还存在网络模型复杂度高、参数量大和训练测试速度慢等问题.为解决上述问题,研究者们提出了多种模型压缩方法来压缩复杂
4、庞大的网络模型,主要包括低秩分解、网络量化、网络剪枝和知识蒸馏,其中知识蒸馏凭借其独特的优势受到研究者的广泛关注.知识蒸馏(K n o w l e d g eD i s t i l l i n g)6-7是一种基于“教师-学生”策略的模型压缩方法8,旨在将一个大型、复杂的模型的知识转移到一个轻量级的模型中;这一过程中,通过复杂模型引导训练,轻量级模型在保持较小参数量和较低复杂度的同时,可以有效地提升性能9-1 2.本文采用一种基于知识蒸馏的步态识别方法,以C o n v N e x t1 3为网络模型架构,选用b l o c k堆叠次数(3,3,9,3)的模型为教师模型并命名为C o n v
5、N e x t-T,选用b l o c k堆叠次数(1,1,1,1)的模型为学生模型并命名为C o n v N e x t-S,C o n v N e x t-K D为采用知识蒸馏方法并且与C o n v N e x t-S有相同堆叠次数的模型.在不增加新训练数据集、模型复杂度和模型参数量的前提下,提高C o n v N e x t-K D模型的识别准确率.具体来说,教师模型和学生模型同步训练,逐步优化预测值与真实值之间的损失,最后将训练获得的类间关系用于引导C o n v N e x t-K D模型训练,使其步态特征提取能力得到提高,进而获得更高的识别准确率.该方法在中科院C A S I A
6、-B和C A S I A-C数据库中进行多次仿真实验.结果表明,C o n v N e x t-K D模型在保持较小参数量和较低复杂度的同时,可以显著缩短训练测试的时长并取得较高识别准确率.2 实验设置2.1 实验环境及训练参数在统一的实验环境中进行模型的训练及测*收稿日期:2 0 2 3-1 1-0 7基金项目:国家自然科学基金资助项目(6 2 2 6 5 0 1 7);云南师范大学研究生科研创新基金资助项目(Y J S J J 2 3-B 1 8 1)作者简介:李若愚(1 9 9 6-),男,云南昭通人,硕士研究生,主要从事视频图像处理方面研究.通信作者:云利军.E-m a i l:y u
7、 n l i j u n y n n u.e d u.c n.试,表1为训练参数,表2为实验环境.表1 训练参数配置T a b l e1 T r a i n i n gp a r a m e t e rc o n f i g u r a t i o n参数名称参数值L e a r n i n gr a t e3 e-4B a t c hs i z e6 4E p o c h3 0T e m p e r a t u r e/1 5L o s s f u n c t i o nw e i g h t0.9o p t i m i z e rA d a m表2 实验环境配置T a b l e2E x
8、p e r i m e n t a l e n v i r o n m e n t c o n f i g u r a t i o n环境名称配置参数操作系统W i n d o w s1 0C P UI n t e l i 7-1 0 7 0 0 F主频2.9 0GH z内存4 8G BG P UNV I D I AR T X3 0 6 0显存1 2G B显卡频率13 2 017 7 7MH zI D E环境P y c h a r mC o mm u n i t y编译语言P y t h o n3.7开源框架P y t o r c h1.72.2 实验设计采用的识别方法为一种基于知识蒸馏的步态
9、识别方法,如图1所示,其中C o n v N e x t-T为教师模型,C o n v N e x t-S为学生模型,C o n v N e x t-K D为采用知识蒸馏方法的模型.采用的数据集为中国科学院自动化研究所C A S I A步态数据库中的D a t a s e tC红外单视角人体步态数据库(C A S I A-C数据库)和D a t a s e tB可见光多视角人体步态数据库(C A S I A-B数据库).图1 知识蒸馏框架F i g.1 K n o w l e d g ed i s t i l l a t i o nf r a m e w o r k首先,采用C A S I A
10、-B数据库中1 1个不同视角的步态数据和C A S I A-C数据库分别对C o n v-N e x t-T模型、C o n v N e x t-S模型以及C o n v N e x t-K D模型分别进行训练,以训练后得到的识别准确率和训练中的拟合情况作为评价指标来评定知识蒸馏方法的有效性.其次,为了验证知识蒸馏方法对模型性能的提升,本文将C o n v N e x t-T模型和C o n v N e x t-K D模型在相同轮次下的训练时长和测试时长进行了统计分析.最后,采用C A S I A-B数据库中1 1个不同视角的步态数据和C A S I A-C数据库分别对C o n v-N e
11、x t-K D模型与6种比较典型的模型进行识别准确率对比分析,包括D e e pC NN2、G a i t S e t3、联合C NN框架4、基于改进型对抗网络的步态特征提取方法5以及目前识别准确率较高的步态识别模型(G a i t N e t1 4,G a i t P a r t1 5).2.3 数据处理在C A S I A-B数据库和C A S I A-C数据库中,由于对拍摄的受测者视频按照一定的帧数间隔分解为单帧图像,导致该数据集中的行人步态轮廓并不在一个相对统一的位置,若将其作为源数据输入步态模型进行特征提取,会提取到除步态特征以外不必要的空间信息,从而影响步态模型的识 别 准 确 率
12、,因 此 需 对C A S I A-B数 据 库 和C A S I A-C数据库的步态数据进行相应的预处理.首先对图像进行均值背景减除法1 6和二值化处理1 7,求取连续的图像序列中t时刻图像的同一位置的均值,将得到的像素均值作为背景模型,逐一进行差分运算,通过阈值比较,进行运动目标与背景的分割;然后对整幅步态图像的像素点进行逐个扫描,当扫描到像素值由0变为1后,便判定其属于步态轮廓范围,把整幅图像扫描结束后,将图像中属于步态轮廓的列像素最小和最大的坐标标记为ym i n和ym a x,将行像素最小和最大的坐标标记为xm i n和xm a x,根据这4个顶点坐标可以得到步态轮廓的外接矩形;最后
13、将裁剪出来的外界矩形的长或宽的尺寸在周围填充黑色像素,调整为1 2 81 2 8像素,并且将数据集中的样本按照37的比例分割为 测试数据集 和训练数据 集.C A S I A-C数据库中的步态数据具体处理结果如图2所示,其中图2(a)为原始图像,图2(b)为二值化处理后的图像,图2(c)为裁剪居中后的图像.C A S I A-B数据库中的步态数据具体处理结果如05云南师范大学学报(自然科学版)第4 4卷 图3所示,其中图3(a)为原始图像,图3(b)为二值化处理后的图像,图3(c)为裁剪居中后的图像.(a)(b)(c)图2 红外人体步态图像预处理F i g.2 I n f r a r e dh
14、 u m a ng a i t i m a g ep r e p r o c e s s i n g(a)(b)(c)图3 可见光人体步态图像预处理F i g.3 V i s i b l eh u m a ng a i t i m a g ep r e p r o c e s s i n g3 结果分析3.1 知识蒸馏的有效性分析表3为C o n v N e x t-T模型、C o n v N e x t-S模型和C o n v N e x t-K D模型的识别准确率A C C、计算量F L O P s和参数量P a r a m s对比表,分析可知,与C o n v N e x t-T模型相比
15、,C o n v N e x t-K D模型在计算量和参数量上均有显著的降低;而识别准确率仅下降1.3%和1.6%.与C o n v N e x t-S模型相比,C o n v N e x t-K D模型在保持与C o n v N e x t-S模型有相同计算量和参数量的情况下,识别准确率提高9 4.7%和9 4.5%.实验结果表明,通过知识蒸馏方法训练的C o n v N e x t-K D模型在保持较小计算量和参数量的同时,提高了步态特征提取能力,进而获得更高的识别准确率.表3 C o n v N e x t-T、C o n v N e x t-S和C o n v N e x t-K D的
16、识别准确率对比表T a b l e3 C o m p a r i s o nt a b l eo f r e c o g n i t i o na c c u r a c yo fC o n v N e x t-T,C o n v N e x t-Sa n dC o n v N e x t-K D模型A C C/%C A S I A-B0 1 8 3 6 5 4 7 2 9 0 1 0 8 1 2 6 1 4 4 1 6 2 1 8 0 C A S I A-CF L O P s/G P a r a m s/MC o n v N e x t-T9 7.9 9 8.6 9 4.9 9 9.4 9
17、6.3 9 6.8 9 6.4 9 6.1 9 5.7 9 6.9 9 8.69 6.61.52 7.9C o n v N e x t-S0.70.80.80.80.70.80.80.80.70.80.80.80.23.6C o n v N e x t-K D9 6.1 9 5.3 9 2.1 9 9.2 9 6.1 9 6.8 9 4.7 9 4.5 9 3.0 9 6.9 9 5.69 5.30.23.63.2 训练测试时长的对比分析表4为C o n v N e x t-T模型和C o n v N e x t-K D模型的训练测试时长(单位s)对比表;分析可知,在取得相近的识别准确率的情况
18、下,C o n v N e x t-K D模型的训练及测试所花费时长均小于C o n v-N e x t-T模型.这一优势取决于C o n v N e x t-K D模型拥有更低的模型复杂度和更小的参数量.表4 C o n v N e x t-T和C o n v N e x t-K D的训练测试时长对比表T a b l e4 C o m p a r i s o nt a b l eo f t r a i na n dt e s td u r a t i o nb e t w e e nC o n v N e x t-Ta n dC o n v N e x t-K D方法模型C A S I A-
19、B0 1 8 3 6 5 4 7 2 9 0 1 0 8 1 2 6 1 4 4 1 6 2 1 8 0 C A S I A-C训练C o n v N e x t-T12 1 412 1 3 12 3 612 3 2 14 1 612 2 413 8 1 10 0 1 10 1 1 9 8 09 8 011 1 6C o n v N e x t-K D8 5 59 1 59 3 68 7 66 4 06 3 26 4 05 1 07 9 05 0 05 3 55 3 0测试C o n v N e x t-T1 8 82 0 61 9 51 5 71 2 21 1 62 1 62 0 32 0
20、32 0 52 0 71 9 8C o n v N e x t-K D8 56 39 57 59 06 28 27 91 1 38 38 17 23.3与不同网络模型的识别准确率对比结果分析表5为C o n v N e x t-K D模型与六种典型识别模 型 的 识 别 准 确 率 结 果.分 析 可 知,由 于C o n v N e x t-K D模型继承了教师模型在训练中获得的类间关系,提高了模型自身的特征提取能力,因此C o n v N e x t-K D模型相较于其他模型在对不同视角下的步态数据的训练及测试中能取得更高且更稳定的识别准确率.15 第2期 李若愚,等:基于知识蒸馏的步态识
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 知识 蒸馏 步态 识别 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。