基于MediaPipe的非触摸式在线签名认证系统.pdf
《基于MediaPipe的非触摸式在线签名认证系统.pdf》由会员分享,可在线阅读,更多相关《基于MediaPipe的非触摸式在线签名认证系统.pdf(9页珍藏版)》请在咨信网上搜索。
1、基于 MediaPipe 的非触摸式在线签名认证系统王波1,2,王瑞杰1,蔡洁轩1,何妍1,陈宗仁1,刘晓林1,唐懿芳1,蒋琦峰2,张嘉臣2,刘侠21(广东科学技术职业学院计算机工程技术学院(人工智能学院),珠海519090)2(哈尔滨理工大学自动化学院,哈尔滨150080)通信作者:王波,E-mail:hust_摘要:针对手写签名认证的可靠性和设备依赖性问题,设计并实现了一种基于 MediaPipe 的非触摸式在线签名认证系统.该系统以 MediaPipe 为基础框架,通过视频获得在线手写签名,并提取签名轨迹点的时序特征作为匹配模板,进而采用加权联合概率策略构建签名认证模型.该模型在边缘端设
2、备的平均认证等误率(EER)为 3.04%.采用基于 PyQt 设计的应用作为可视化 UI 界面,实现在视频场景中的非触摸式在线签名交互认证.该系统使用实时视频感知交互方式实现在线签名认证,无需其他的外部设备,具有更低的设备依赖性和更高的认证可靠性.关键词:签名认证;非触摸式在线签名;MediaPipe 框架;时序特征;加权联合概率策略引用格式:王波,王瑞杰,蔡洁轩,何妍,陈宗仁,刘晓林,唐懿芳,蒋琦峰,张嘉臣,刘侠.基于 MediaPipe 的非触摸式在线签名认证系统.计算机系统应用,2023,32(11):131139.http:/www.c-s- Online Signature Aut
3、hentication System Based on MediaPipe FrameworkWANGBo1,2,WANGRui-Jie1,CAIJie-Xuan1,HEYan1,CHENZong-Ren1,LIUXiao-Lin1,TANGYi-Fang1,JIANGQi-Feng2,ZHANGJia-Chen2,LIUXia21(ComputerEngineeringTechnicalCollege(ArtificialIntelligenceCollege),GuangdongPolytechnicofScienceandTechnology,Zhuhai519090,China)2(S
4、choolofAutomation,HarbinUniversityofScienceandTechnology,Harbin150080,China)Abstract:Inthisstudy,anon-touchonlinesignatureauthenticationsystembasedontheMediaPipeframeworkisdesignedandimplementedforthereliabilityanddevicedependencyofhandwrittensignatureauthentication.ThesystemutilizesMediaPipeastheun
5、derlyingframework,capturestheonlinehandwrittensignaturesthroughvideo,extractsthetemporalfeaturesofsignaturetrajectorypointsasmatchingtemplates,andconstructsasignatureauthenticationmodelusingaweightedjointprobabilitystrategy.Themodelachievesanaverageequalerrorrate(EER)of3.04%onedgedevices.Anapplicati
6、ondesignedbasedonPyQtisusedasavisualUIinterfacetoenableonlinenon-touchsignatureauthenticationinvideoscenarios.Thissystemusesreal-timevideosensinginteractiontoachieveonlinesignatureauthenticationwithouttheneedforotherexternaldevices,resultinginlowerdevicedependencyandgreaterauthenticationreliability.
7、Key words:signatureauthentication;non-touchonlinesignature;MediaPipeframework;temporalfeatures;weightedjointprobabilitystrategy计算机系统应用ISSN1003-3254,CODENCSAOBNE-mail:ComputerSystems&Applications,2023,32(11):131139doi:10.15888/ki.csa.009278http:/www.c-s-中国科学院软件研究所版权所有.Tel:+86-10-62661041基金项目:广东省教育厅普通
8、高校重点领域专项(新一代电子信息)(2022ZDZX1053,2021ZDZX3040);广东省教育厅普通高校创新团队项目(自然科学)(2022KCXTD047);广州市科技计划基础与应用基础研究项目(202201011693)收稿时间:2023-04-09;修改时间:2023-05-11;采用时间:2023-05-23;csa 在线出版时间:2023-08-22CNKI 网络首发时间:2023-08-23SystemConstruction系统建设131手写签名认证是一种以手势行为特征为基础的生物特征认证技术,该技术以其方便快捷、实时响应、难以伪造和独立性等特点,已广泛应用于电子商务、电子合
9、同、金融、司法等领域的身份认证过程1.然而,手写签名存在误判率高、不具备安全保障以及隐私泄露等问题,需要通过各类技术手段加强安全措施来保障认证的可靠性2.因此,深入研究并实现一个安全、可靠、便捷的签名认证系统对身份验证技术的发展具有重要意义.根据签名样本的获取方式不同,手写签名可分为在线签名和离线签名两种.相较于传统的手写签名认证,在线手写签名认证是通过电子设备采集用户书写的动态信息,然后使用动态特征进行认证的技术,准确率高,不易模仿3.虽然在线签名认证技术具有广泛的应用前景,但是面临较大的研究难题和不同应用环境下的定制化需求.首先,电子签名技术、公钥基础设施、个人专属签名以及在线环境下的服务
10、安全技术等,都是该领域需要解决的技术难题.另外,不同应用对系统有不同要求.譬如,电子政务追求低成本和大规模验证,电子商务要求高安全性和准确识别,网络文件传输要求签名认证的合法性,在线办公要求良好的用户体验等.为此,本文设计并实现了一种非触摸式在线签名认证系统,旨在解决签名特征获取的设备依赖性和特征匹配的可靠性问题,以提升手写签名认证性能.该系统以 MediaPipe4人手检测模型为基础框架,通过视频计算获取人手在屏幕前的二维签名轨迹,从时域和频域两个方面生成联合时序特征描述子,进而采用加权概率匹配策略构建签名认证模型,最后利用 PyQt 开发一套交互式 UI 界面,实现非触摸式在线签名系统认证
11、.1相关工作自 Plamondon 等5对签名认证技术做系统的总结后,出现了很多有效的在线签名认证算法,其中最具代表性的有:动态时间规划(dynamictimewarping,DTW)6,隐马尔可夫模型(hiddenMarkovmodels,HMM)7,支持向量机(supportvectormachine,SVM)8,神经网络9,以及多种算法的结合1016.譬如,邹杰等10提出了一种基于段匹配差异观察值的 HMM 在线签名认证方法,结合 DTW 提取签名的局部细微差异性和 HMM 模型对时间序列的鲁棒性,有效地提升了认证的准确率.Sharma 等13使用向量量化策略构建了一组编码向量,结合规整
12、路径中的对齐对评分,改善 DTW 单一决策规则不足的问题.汤升庆等14提出基于模板聚类的两级签名认证方法,有效提升了认证效率.李相然15构建了一个基于神经网络的写者独立的在线手写签名认证模型,增强了用户认证的交互性.何彤童16提出了基于毫米波雷达的非接触式用户手写签名认证系统,有效提升了在新增用户时的识别准确率.这类方法本质上都是以模板匹配为基本思想,在匹配算法上进行优化改进,虽然取得了不错的性能,但存在较大的安全性和鲁棒性问题.随着深度学习在各个领域的应用,近年来涌现了不少基于深度学习的在线签名技术.Lai 等17将签名认证表述为序列建模问题,提出一种新的称为长度归一化路径签名度量方式来表示
13、真伪签名之间的距离,并通过训练循环神经网络对其进行学习以提升认证性能.Vorugunti 等18将人工提取的在线签名特征与 AE提取的在线签名特征进行融合,首次将深度可分离卷积神经网络应用于在线签名认证任务中.卞浩等19提出了基于特征选择和一维幻象残差网络,解决了从有限的签名样本中提取稳定的签名特征以及模型参数量大的问题.以上学习方法均是基于单任务对网络参数进行更新的,认证性能有限.为此,沈奇等20提出了一种基于多任务学习的注意力机制双向门循环单元模型来实现在线签名的认证,进一步提高了在线手写签名认证的准确率.王乐乐等21提出了一种基于 DTW 的注意力机制双向长短期记忆网络(BLSTM)在线
14、手写签名认证方法,将以笔段特征为输入的 BLSTM 与稳定笔段相结合,从而提高了认证精度,验证了其方法的有效性.基于深度学习的方法虽然在认证精度上得到了很大的提升,但学习过程需要相对庞大的训练集和计算量,甚至还需要负样本来提升训练性能,而在实际应用中并不易获取.以上两类认证方法虽然已经基本成熟,但大都需要借助平板、手机屏等电子设备来获取签名特征,因而对设备具有较大的依赖性.为此,空中签名认证作为一种新兴的技术手段,在生物识别技术领域应运而生,并得到了快速发展22.Fang 等23提出了基于视频的空中签名 T-DTW-FFT 层级融合认证算法,有效降低了加速度传感器带来的噪声影响和对设备的依赖程
15、度.任妍等24提出了基于三轴加速度传感器的序列极值点分计 算 机 系 统 应 用http:/www.c-s-2023年第32卷第11期132系统建设SystemConstruction段空中签名身份认证方法,提升了认证效率和精度.陆鑫益25改进了 DTW 算法,在一定程度上提升了准确度.这类方法虽然解决了设备依赖问题,并且在某种程度上提升了认证性能.然而,由于用户每次签名会存在较大差异,不易形成固定的签名特征,从而导致生成的特征模板失效或部分特征缺失等问题.因此,这类方法需要在签名特征获取和认证算法上进行再优化.2系统设计 2.1 系统架构本系统设计了 3 个功能模块,如图 1 所示,分别为视
16、频数据采集模块、签名特征提取模块和签名认证决策模块.总体来说,系统先采集签名视频,然后从视频中提取特征描述子,最后采用加权概率匹配的方式进行认证决策.视频数据采集模块负责采集手写签名视频数据,通过采集用户签名过程中的视频,并传输给签名特征提取模块进行特征提取.签名特征提取模块负责生成适用于认证的签名轨迹特征描述子,通过分析签名视频,提取空间坐标特征、速度特征、加速度特征等描述子,用于表征一个签名的整体特征及动态信息,是实现签名认证的基础.签名认证决策模块负责生成签名特征模板,进而采用加权概率匹配策略,实现认证决策,最终将解析结果可视化传输至客户端.下面将分别介绍系统各个模块的功能和流程.视频数
17、据采集模块签名特征提取模块签名认证决策模块客户端自然交互可视化 UI 界面加权概率联合认证模型签名轨迹点判别模型认证决策数据预处理特征提取本地上传摄像头采集视频数据图 1系统架构图 2.2 视频数据采集模块视频数据采集设置两种方式,分别是摄像头采集和本地视频文件上传.图 2 为视频数据采集的具体流程.本地上传摄像头采集视频数据图 2视频数据采集流程图对于摄像头采集方式,利用 MediaPipe 手部姿态估计模型获取人物手部关键点坐标信息,对签名轨迹进行实时追踪.采集签名时,将手掌限定在采集框内,利用手指在空中勾画签名,系统将实时记录用户的签名轨迹,并将当前采集的数据写入数据库,用于调取认证.对
18、于本地视频上传方式,系统会将本地上传的视频文件自动完成签名采集,并在采集完成后自动写入数据库.2.3 签名特征提取模块签名特征提取模块分为数据预处理和特征描述子生成两个部分.该模块的具体思路为:首先,将收集到的视频数据利用粒子淘汰、重采样线性插值以及 GSA极值点提取方法进行预处理;然后,通过 ELCS、HMM、fastDTW 和 FFT 方法,分别提取时域特征和频域特征;最后,将提取的时域特征和频域特征进行融合,生成联合时序特征.图 3 为签名特征提取的具体流程.2023年第32卷第11期http:/www.c-s-计 算 机 系 统 应 用SystemConstruction系统建设133
19、序列数据粒子淘汰视频数据重采样线性插值GSA 极值点提取HMMELCSFFTfastDTW时域特征频域特征联合时序特征图 3签名特征提取流程图2.3.1数据预处理为了消除数据冗余和提高计算速度,本系统结合数据粒子淘汰、数据重采样和极值点提取 3 种方法对数据进行预处理和优化.具体过程如下.首先,进行数据粒子淘汰处理.对采集数据计算轨迹点间的平均距离,记作 mean_dist,则轨迹点序列 Pi(0in)的淘汰阈值 Thrpe定义为:Thrpe=pemean_dist(P0,P1,Pn)(1)pe其中,为淘汰系数.判断规则为:如果当前轨迹点与前一个轨迹点之间的距离小于阈值 Thrpe,且不影响后
20、续点的断点续连,则淘汰当前点;否则,保留当前点.其次,进行数据重采样.采用线性插值法将数据重采样为平均长度的等长样本序列.对于数据样本序列Li(1in),其平均长度 Lmean定义为:Lmean=ni=1Lin(2)最后,进行极值点提取.利用全局序列对齐算法(globalsequencealignment,GSA)26对上述处理后的轨迹点序列保留最显著极值点作为序列特征点.2.3.2特征提取与融合本系统分别从时域和频域两个方面提取轨迹序列特征,通过融合将两者在坐标系下形成联合时序特征描述子,用于描述在线签名轨迹.首先,对于时域特征,系统分别采用 fastDTW 算法13,具有最长公共子序列的编
21、辑距离(editdistancewithlongestcommonsubsequence,ELCS)23和基于隐马尔科夫模型(HMM)10的观察状态概率 3 种方式提取时域特征.具体过程如下.步骤 1:计算参考模板中样本序列间的平方欧氏距离,得到距离矩阵 dmDTW,定义为:dmDTW=0dl(s1,s2)dl(s1,sn)dl(s2,s1)0dl(s2,sn).dl(sn,s1)dl(sn,s2)0(3)其中,dl(si,sj)(i,j=1,2,n)表示序列 si和 sj之间的平方欧氏距离,计算公式为:dl(si,sj)=(sisj)2(4)步骤 2:计算参考模板中样本序列间的 ELCS 距
22、离,得到距离矩阵 dmELCS,定义为:dmELCS=0el(s1,s2)el(s1,sn)el(s2,s1)0el(s2,sn).el(sn,s1)el(sn,s2)0(5)其中,el(si,sj)(i,j=1,2,n)表示序列 si和 sj之间的ELCS 距离,计算公式为:el(si,sj)=nk=1w|dist(s(k)i,s(k)j)l0.9999,x l(15)ll其中,和分别表示期望和协方差矩阵.pPM步骤 3:根据观测状态概率和待匹配数据特征向量,计算相似度概率:pPM=p(x)PM+p(y)PMn1i=1s(i)x+s(i)y(16)p(x)PMp(y)PM其中,和分别表示轨迹
23、点在 x 轴和 y 轴上的有效观察状态概率和,计算公式为:p(x)PM=n1i=1s(i)x,(i)x s(i)xt(i)x(i)xp(y)PM=n1i=1s(i)y,(i)y s(i)yt(i)y(i)y(17)s(i)xs(i)yt(i)xt(i)y其中,、和、分别表示参考序列和待测序列的轨迹点 i 在 x 轴和 y 轴上的距离平均值和距离长度.步骤 4:计算加权平均匹配概率.令 avgPj为序列S 的第 j 个轨迹点的加权平均匹配概率,则:avgPj=4i=1wip(i)j4i=1wi(18)wi其中,是各个匹配概率的权重,计算公式为:wi=1mmj=1p(i)j(19)其中,m 是序列
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 MediaPipe 触摸式 在线 签名 认证 系统
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。