基于双流自适应时空增强图卷积网络的手语识别.pdf

Electronics and Information EngineeringMar.2024JOURNALOF APPLIED SCIENCES2024年3 月Vol.42No.2应第42 卷第2 期报用学学科DOI:10.3969/j.issn.0255-8297.2024.02.001基于双流自适应时空增强图卷积网络的手语识别金彦亮1,2,吴筱激1,21.上海大学通信与信息工程学院，上海2 0 0 4442.上海大学上海先进通信与数据科学研究院，上海2 0 0 444摘要：针对提取手语特征过程中出现的信息表征能力差、信息不完整问题，设计了一种双流自适应时空增强图卷积网络（two-stream adaptiveenhanced spatialtemporalgraphconvolutional network，T A EST-G CN）实现基于孤立词的手语识别。该网络使用人体身体、手部和面部节点作为输入，构造基于人体关节和骨骼的双流结构。通过自适应时空图卷积模块生成不同部位之间的连接，并充分利用其中的位置和方向信息。同时采用残差连接方式设计自适应多尺度时空注意力模块，进一步增强该网络在空域和时域的卷积能力。将双流网络提取到的有效特征进行加权融合，可以分类输出手语词汇。最后在公开的中文手语孤立词数据集上进行实验，在10 0 类词汇和50 0 类词汇分类任务中准确率达到了9 5.57%和8 9.6 2%关键词：骨架数据；双流结构；自适应时空图卷积模块；自适应多尺度时空注意力模块；特征融合中图分类号：TP391.4文章编号：0 2 55-8 2 9 7(2 0 2 4)0 2-0 18 9-11Sign Language Recognition Based on Two-StreamAdaptive Enhanced Spatial Temporal GraphConvolutional NetworkJIN Yanliangl,2,WU Xiaoweil,21.School of Communication and Information Engineering,Shanghai University,Shanghai 200444,China2.Shanghai Institute for Advanced Communication and Data Science,Shanghai University,Shanghai 200444,ChinaAbstract:Aiming at the issues of poor information representation ability and incompleteinformation during the extraction of sign language features,this paper designs a two-streamadaptive enhanced spatial temporal graph convolutional network(TAEST-GCN)for signlanguage recognition based on isolated words.The network uses human body,hands andface nodes as inputs to construct a two-stream structure based on human joints and bones.The connection between different parts is generated by the adaptive spatial temporal graphconvolutional module,ensuring the full utilization of the position and direction informa-tion.Meanwhile,an adaptive multi-scale spatial temporal attention module is built through收稿日期：2 0 2 2-0 5-0 9基金项目：上海市自然科学基金（No.22ZR1422200）；上海市科委重点基金（No.19511102803）；上海市产业项目(No.XTCX-KJ-2022-68）资助通信作者：金彦亮，副教授，博导，研究方向为无线传感网络、人工智能。E-mail：j i n y a n l i a n g s t a f f.s h u.e d u.c n第42 卷190应用报学学科residual connection to further enhance the convolution ability of the network in both spatialand temporal domain.The effective features extracted from the dual stream network areweighted and fused to classify and output sign language vocabulary.Finally,experimentsare carried out on the public Chinese sign language isolated word dataset,achieving accu-racy rates of 95.57%and 89.62%in 100 and 500 categories of words,respectively.Keywords:skeleton data,two-stream structure,adaptive spatial temporal graph convo-11lutional module,adaptive multi-scale spatial temporal attention module,feature fusion根据最新资料统计显示，全球约15亿人患有一定程度的听力损失，中国的聋哑人数量约占人口总数的1.6 7%。对于大部分听障人士来说，手语是他们进行交流的主要方式，它通过手形、手掌方向、手部动作、手部位置和非手动特征（面部表情）5个元素的改变，来组合形成不同词语1。由于手语表达较精细且缺乏统一的标准，现实生活中大多数人并不具备表达手语的能力。在这种情形下，手语识别技术可以作为辅助工具，助力手语教学和手语机器人研发工作，从而建立聋哑人与外界沟通的桥梁，具有较高的实用价值。手语识别的相关研究起源于20世纪9 0 年代，早期使用数据手套等穿戴设备捕获手部动作，但其成本昂贵且无法满足大众的需求，目前主要利用计算机视觉的相关算法来获取所需的数据2 。随着人工智能的发展，深度学习逐渐取代了传统图像特征提取技术，它不仅能够通过训练学习图像的多层次特征表示，在处理多类型样本时也展现出良好的性能，借助深度学习的方式获取更加高级的手语信息已成为主流的技术手段。基于孤立词的手语识别数据序列短、数据种类多，主要致力于完善特征表现形式、改进特征提取方式、增强特征描述能力，以此提高手语词汇分类的准确性。文献3 从手语视频中提取人物的上半身图像，并使用预训练卷积网络模型对图像中的手势进行提取，虽然简化了手部分割的步骤，但没有完全解决背景干扰与信息丢失问题。文献4 通过多阶段CNN网络，从RGB视频中提取出手部和全身的骨骼数据，最后将具有辨识度的骨骼特征进行融合分类，虽然在印度手语数据集上取得了优越的效果，但仍然缺乏重要的面部特征信息。文献5 提出了基于注意力机制的3D-CNN网络，该方法在捕捉时空特征时利用空间注意力将训练集中于感兴趣的区域，然后利用时间注意力选择重要的时间序列进行分类，虽然学习了空间与时间信息，但忽略了两者之间的联系。针对上述问题，本文利用人体姿态估计模型，提取图像中人物身体、手部和面部节点数据，并以骨架关节点构造双流骨架图结构；设计基于无向图的自适应时空增强图卷积网络，提取人体不同部位之间的关联信息；设计基于有向图的自适应时空增强图卷积网络，提取人体骨骼向量中的长度和方向信息；利用特征融合分类层输出分类概率，选择分数最高的类别作为预测的手语词汇。实验结果表明，本文提出的双流自适应时空增强图卷积网络能够有效利用手动信息和非手动信息，建立空间和时间的远程依赖关系，达到了理想的分类效果。1双流自适应时空增强图卷积网络设计本文设计的双流自适应时空增强图卷积网络主要由3个部分组成，分别为双流骨架图结构、基于无向图的自适应时空增强图卷积网络和基于有向图的自适应时空增强图卷积网络，以及最后的特征融合分类层。模型的主要结构如图1所示。1.1双流骨架图结构大多数标准数据集中的手语视频由照相机拍摄而成，拍摄过程中出现的光照强度不均，手语表演者运动模糊、手部遮挡等问题，都会为图像特征提取带来困扰。同时在实际场景中，191第2 期金彦亮，等：基于双流自适应时空增强图卷积网络的手语识别基于无向图的自适应特征融合分美层时空增强图卷积网络骨架无向图自适应注意力增强图卷积时间卷积(AGCN)(ATCN)全连接层自适应多尺度(FC层）,T31280720Body时空注意力(AMSSTA)骨架关节点提取Hand基于有向图的自适应时空增强图卷积网络骨架有向图有向自适注意力增强Fa.ce应图卷积双流骨架图结构时间卷积(D-AGCN)(ATCN)全连接层有向自适应多尺(FC层)度时空注意力(D-AMSSTA)图1双流自适应时空增强图卷积网络结构图Figure 1 Structure diagram of two-stream adaptive enhanced spatial temporal graph convolu-tional network(TAEST-GCN)聋哑人身后不是单一背景，纷乱杂扰的环境使得提取局部特征和运动轨迹更加困难。为了避免引入图像中的几余信息，本文利用OpenPose模型6 对数据集中的视频帧进行处理，提取出手语表演者身体15个关节点，左、右手各2 1个关节点，以及面部6 8 个关节点作为基础数据。如图2 所示为原始输入图像和经过处理后的图像。TMU2TMU2TMU2TEIOMIMEI工M图2 骨架数据提取示意图Figure2Structure diagram of skeleton data extraction在图像中提取到不同部位的关节点后，可以获取每个点的二维坐标=（,y)。若某顿中节点数据丢失，则选取前后帧相应节点的坐标平均值，作为该节点的补充信息。大多数方法在处理人体骨架数据时，只将关节点之间进行简单连接，而忽略了连接边长度和方向中蕴含的运动信息。本文首先根据人体物理结构连接节点，构造出人体骨架无向图，然后将视频顿中人体胸腔部位作为中心点，把靠近中心点的节点看作源关节U1=（a 1,1)，把远离中心点的节点看作目标关节V2=（2,2)，构造出人体骨架有向图，其中有向图的有向边为e1,2=（c 2 a 1,9 2 y 1)，向量的长度和方向代表了人体骨骼的长度和方向。如图3所示为人体骨架无向图和有向图的具体结构。第42 卷192应用报学科学(a）人体骨架无向图(a)Undirected graph of human skeleton(b）人体骨架有向图(b)Directed graph of human skeleton图3人体骨架空间图Figure 3 Spatial map of human skeleton1.2基于无向图的自适应时空增强图卷积网络针对人体骨架无向图，本文设计了基于无向图的自适应时空增强图卷积网络。其中包括自适应时空图卷积模块（adaptive spatial temporal graph convolutional network，A ST-G CN）和自适应多尺度时空注意力模块（adaptivemulti-scale spatialtemporal attentionnetwork，AMSSTA)。1.2.1自适应时空图卷积模块作为基于无向图的自适应时空增强图卷积网络的第一分支，AST-GCN的结构如图4所示，主要由自适应图卷积模块（adaptivegraphconvolutionalnetwork，A G CN）和注意力增强时间卷积模块（attention enhanced temporal convolutional network，A T CN）组成。注意力图（AMPNXCTABKATCNCxTx11xTx11xTx11xTx1QkGAP-Convid-BN-ReLU-Sigmoid-PaddingSoftmaxCCinxTxiNNxNC.TXNAMP-BN-ReLU-DropoutTCNCoutxTxNWRReLUAGCNConv1d图4自适应时空图卷积模块结构图Figure 4 Structure diagram of AST-GCN在手语表示中，同样的手势位于不同位置可能代表不同语义，学习双手之间的交互关系，以及手部相对于身体的位置关系十分重要。而在目前主流的手语识别空域卷积网络中，往往使用图卷积网络提取骨骼序列特征，其中对于邻接矩阵的设计缺乏灵活性，使得模型无法建193第2 期金彦亮，等：基于双流自适应时空增强图卷积网络的手语识别立不同部位特征点之间的连接。因此本文使用AGCN模块7 完成空域图卷积操作，具体公式为K,KYW,XiP=WXi(Ak+Bk+Ch)(1)kk式中：X，和Y分别为AGCN的输入和输出；K，为分区策略数，一般设置为3；Wk为权重矩阵。与ST-GCN8中的归一化邻接矩阵相同，A可用度矩阵D表示为Ak=D-AD-=D-(A+I)D-，其中包含着人体物理连接信息，用于提取同一部位内部关节点的特征。Bk是一个完全从数据中学习而来的邻接矩阵，能够在训练过程中和其他参数一起被优化。Ck=Softmax(XTWT,WBkX1）作为辅助参数，能够确定两个节点之间是否存在连接，并标明连接的强弱程度，其中Wk和Wk是归一化嵌入高斯函数和的权重矩阵。虽然Bk+Ch的作用与ST-GCN中的注意力掩码Mk相近，但在ST-GCN中M与Ak不是按照矩阵形式相乘，邻接矩阵中值为0 的元素相乘后永远为0，从而无法构造人体物理连接中不存在的新连接。AGCN使用加法的方式设计参数，能在卷积过程中改变矩阵元素的值，从而获得手部相对于其他部位的位置信息。在不同的视频顿中，包含着手语表示的关键动作和过渡动作，为了更好地关注具有重要信息的视频帧，捕捉关键动作的时序特征，在使用AGCN模块提取到关节点的空间特征后，本文设计了ATCN模块对特征进行时序建模。这里的TCN9模块可看作二维卷积网络，其中T和N代表卷积维度，卷积内核为Kt1。得到TCN卷积的输出YRCTxN后，通过全局平均池化层对N维度的节点数据进行平均操作，并利用11卷积层对通道C进行压缩，得到维度为1T1的特征矩阵，再输入到全连接层中学习不同时间通道的重要性，经过两个全连接层恢复特征维度后，使用Sigmoid函数将权重归-一化。通过上述方式可以获得注意力图AMP，对不同视频帧中的动作重要度进行标注，利用矩阵的点积预算将其加权到3个通道的特征中，ATCN的输出表示为Yi=Y+Y&YAMP(2)在明确空域卷积模块和时域卷积模块的具体设计后，参照ST-GCN的网络结构，本文在每个AGCN模块和ATCN模块后都设计了BN层和ReLU层，同时通过残差连接，在每一层网络的输入与输出之间添加11卷积，当输入通道数和输出通道数不同时，可以利用这种方法来保持它们之间的一致性。1.2.2自适应多尺度时空注意力模块在时空图卷积网络中，每一层同时包含空域卷积和时域卷积，由于两者属于不同领域的图卷积，进行连续堆叠的卷积操作会降低节点区分度，模型提取特征的性能也会下降。为了捕捉特征在空域和时域的内在联系，同时避免多层卷积引起特征过度平滑的问题，本文设计了AMSSTA模块来直接学习无向图中的时空特征，作为基于无向图的自适应时空增强图卷积网络的第二分支。首先在长度为的时间滑动窗口中选取节点集合V(）=（Vi NV2 N，V+N），对于第i个节点子集ViN中的第i个节点，将其与它在该节点子集中的相邻节点相连，并连接到剩余T1个节点子集的第个节点和相邻节点上10 ，所有节点在顿上都与自身和相邻节点紧第42 卷194应用学报学科密连接，输入数据变为X2ECTTN。由此可得大小为T的块邻接矩阵A.AiA(t)=ERTNXTN(3)AT1ATT式中：每个元素都为NN的邻接矩阵，利用A(）的度矩阵D(-）得到归一化后的块邻接矩阵A()=D()A()D)。采用与式(1)相同的设计方式对A(）进行改进，进一步得到自适应块邻接矩阵P()，具体表示为A11+B11+Ci1A1-+B1+C1TP(T)=ERTNXTN(4)Ar1+Br1+Cr1AtT+BtT+CTT式中：每个元素都通过加法设计引入参数Bk和Ck，用于学习节点之间的时空连接特性，使得网络可以直接在时空域中对节点进行卷积操作。节点集合V(）每经过一次卷积操作，特征向量的区分度就会下降，为了保留每个节点的独特性，参照紧密连接的GCN模型（SnowBall模型）11，本文设计了基于多尺度注意力的自适应卷积层，第1层的计算为Hi=o(WoX2Po)O1=Cat(X2,H1)(5)Di=tanh(O1+O1 OAMP,)式中：Po为第1层的自适应块邻接矩阵；W。为第1层的权重向量。为了最大限度地保留原始信息，同时不引入过多的计算量，每一层的卷积结果Hi+1只与上一层的输出D进行拼接，得到Ot+1用于注意力模块的计算，以此避免失去节点自身的特性。最后采用与式（2）相同的方式计算出该层的输出Di+1，用作下一卷积层的输入。由此可知，每一层的计算为H+1=o(WiDiP),l=1,2,.,n-1Oi+1=Cat(Dt,Hi+1),l=1,2,.,n-1(6)Di+1=tanh(Oi+1+Oi+1 OAMPi+1),l=1,2,.,n-1通过此种方式可以更好地利用多个卷积层产生的不同尺度的特征信息，提高模型的预测精度。在得到AMSSTA模块的输出Y2后，与AST-GCN模块的输出Yi拼接生成向量Fi=Cat(Yi,Y2)，后续输入特征融合分类层进行分类操作。1.3基于有向图的自适应时空增强图卷积网络在目前常见的双流图卷积网络中，往往采用相同的图卷积方式提取人体节点和骨骼特征，在关联矩阵的设计中忽略了节点与边的方向性。本文在利用基于无向图的自适应时空增强图卷积网络提取出人体关节特征后，利用人体有向图，将节点间的有向连接融入上述网络，形成基于有向图的自适应时空增强图卷积网络。195第2 期金彦亮，等：基于双流自适应时空增强图卷积网络的手语识别对于有向图来说，每个目标节点都可能存在源节点、多个传入边和传出边。针对源节点、目标节点、传入边和传出边使用分步更新的方式可以更好地利用其中的方向信息，由此可以完成有向图卷积的基础设计e=qe(e7)et=ge(et)(7)v;=h(vi,ej,etl)ej=he(lej,ug,ul)式中：为节点Ui的传入边；为节点i的传出边；经过聚合函数qe-和qe+处理后，将结果e，和e输入更新函数h，可以在该卷积层中更新节点vi。对于有向图中的边ej，使用上述方法更新对应的源节点和目标节点得到和，继续输入更新函数he可以在该卷积层中更新边ej。本文选择全局平均池化层执行聚合操作，选择全连接层执行更新操作12 ，每次先对图中的节点进行更新，再对图中的边进行更新。根据上述理论，可以重新设计邻接矩阵A。若ui是e;的源节点，则Aij=-1；若ui是ej的目标节点，则Aij=1；若ui和ej之间没有连接，则Aij=0。为了区分源节点和目标节点，使用AS来表示源节点的邻接矩阵，其中只包含矩阵A中小于0 的元素的绝对值；使用At来表示目标节点的关联矩阵，其中只包含矩阵A中大于0 的元素。采用上述方式改造AGCN中的参数A和AMSSTA中的块邻接矩阵A(r)，便可得到有向自适应图卷积模块（directedadaptivegraph convolutionalnetwork，D-A G CN），与ATCN模块共同构成基于有向图的自适应时空增强图卷积网络的第一分支，同时构造有向自适应多尺度时空注意力模块（directedadaptive multi-scale spatial temporal attention network,D-AMSSTA）作为第二分支。最后将两个分支的输出拼接生成向量F2，后续输入特征融合分类层进行分类操作。1.4特征融合分类层在得到基于无向图和有向图的自适应时空增强图卷积网络输出的特征F1和F2后，分别经过全连接层操作，得到Fi和F2进行加权融合，最后利用Softmax函数计算分类概率，具体过程为Fl=WiFi+b1F2=W2F2+b2(8)P(glX,0)=Softmax(Fi+F2)式中：9 为目标手语词汇；X为输入数据；为网络模型训练时的超参数；W1和W2分别表示全连接层的参数；bi和b2表示偏置量；表示加权融合参数。在对Softmax函数输出的分类概率进行排序后，选取其中分数最高的标签G=argmaxP(glX,0）作为预测词汇。9面对分类任务，本文使用交叉熵损失函数作为训练过程中的loss函数。为了防止出现验证集识别精度大幅度低于训练集识别精度的情况，在loss函数中加入L2正则化13 来解决过拟合问题，损失函数的表示形式为M入1Mgisln(pis)2M2(9)s=1如果样本i的真实类别为s，则gis的取值为1，否则取值为0。Pis表示样本i属于类别s的分类概率。M表示分类类别的数量，入是L2正则化的超参数。196第42 卷应用报学科学2实验结果与分析2.1实验数据集与评价指标为了验证设计模型的有效性，本文在中文孤立词手语数据集（CSL-500）上进行实验。该数据集由中国科学技术大学使用Kinect设备采集，其中包含常用的50 0 个手语词汇，每个单词由50 名表演者进行演示并重复5次，一共生成12 50 0 0 个手语视频。在RGB手语视频中，视频帧频为30 帧/s，每一帧图像大小为12 8 0 像素7 2 0 像素。在实验过程中，分别选择10 0类词汇和50 0 类词汇进行分类训练和测试，在每一部分中选择8 0%的数据作为训练集，10%的数据作为验证集，10%的数据作为测试集。基于孤立词的手语识别主要采用准确率对模型进行评估。准确率指被正确预测的样本数占总样本数的比例，具体表示为TP+TNAcc=(10)P+N式中：TP表示被正确识别为正例的样本数量；TN表示被正确识别为负例的样本数量，P表示所有的正样本数量；N表示所有的负样本数量。若将最后输出的词汇分类概率进行排序，Top-1Acc表示正确标签分类概率最高的样本数占总样本数的比例，Top-5Acc表示正确标签分类概率排名前五的样本数占总样本数的比例。本文使用Top-1Acc和Top-5Acc两个指标对模型进行评估。2.2实验参数设置本文基于PyTorch框架进行实验，使用RTX2060GPU提取骨架数据，同时使用4*GTX1080TiGPUs加速模型拟合。在将视频转化为视频顿序列后，为了减少模型的计算量，提高训练效率，本文选取对面部情绪起主导作用的10 个眉毛节点和12 个眼睛节点，以及蕴含口型变化的2 0 个唇部节点，作为实验中的面部节点。最终使用上半身15个关节点，双手42 个关节点，以及面部42 个关节点作为输入数据。在训练过程中，使用Adam(adaptive momentestimation）工具对模型进行优化，并设计dropout层防止过拟合。为了使模型在前期易于训练且在后期保持一定的灵活性，使用Ak初始化自适应参数Bk+Ck并保持不变，经过10 个epoch后继续进行参数的更新12 。最终10 0 类词汇分类在7 0 个epoch后达到收敛，50 0 类词汇分类在10 0 个epoch后达到收敛。实验中的参数设置如表1所示。表1实验参数设置Table 1 Experimental parameter settings参数参数值初始学习率(learningrate)0.001权重衰减率（weightdecay)0.000 1一阶矩估计衰减率（beta1)0.9二阶矩估计衰减率(beta2)0.999dropout正则化0.5批次大小(batch size)16第2 期197金彦亮，等：基于双流自适应时空增强图卷积网络的手语识别2.3实验结果分析为了分析不同部位特征对于手语识别的影响，本文将身体、手部和面部3个部分的节点进行单独测试，并将其组合来证明建立不同部位之间联系的重要性。实验结果如表2 所示，从表2 中结果可以看出，采用身体、手部和面部结合的方式识别准确率最高，进一步说明了手动特征和非手动特征在手语识别中都是必不可少的。表2 不同部位的识别结果（CSL-100)Table 2 Identification results of different parts(CSL-100)%节点来源Top-1 AccTop-5 Acc身体64.7689.23手部86.3396.39面部79.5095.43身体/手部90.6598.38身体/手部/面部95.5799.20为了验证网络中各个模块的有效性，本文设计了关于时间注意力机制模块、自适应多尺度时空注意力模块，以及有向图卷积模块的消融实验。同时将ST-GCN和2 s-AGCN作为基准模型进行实验，与TAEST-GCN模型的分类效果进行比较。实验结果如表3所示。表3不同模块的消融实验（CSL-100)Table 3 Ablation experiments of different modules(CSL-100)%网络结构Top-1 Acc网络结构Top-1 AccST-GCN891.69TAEST-GCN(No TCN-ATT)95.142s-AGCN-J792.86TAEST-GCN(No AMSSTA&D-AMSSTA)94.602s-AGCN-B793.25TAEST-GCN(No Directed A)93.822s-AGCN793.56TAEST-GCN95.57TAEST-GCN95.57以Top-1Acc为准，对比两个基准模型，TAEST-GCN模型的分类准确率相比ST-GCN模型提高了3.8 8%，相比2 s-AGCN模型提高了2.0 1%。同时由表3中右边结果可知，在TCN中加入注意力机制模块，准确率提高了0.43%；使用AMSSTA模块和D-AMSSTA模块作为双流网络中的额外分支，可以增强网络提取特征的能力，准确率提高了0.9 7%；针对有向图设计的图更新方式，能更好利用骨骼中的长度和方向信息，准确率提高了1.7 5%。如表4所示，本文分别设计了中文孤立词手语数据集中的10 0 个词汇和50 0 个词汇的分类实验，并与其他模型的结果进行了对比。文献16 设计的LSTM2+CHMM模型将骨架数据输入LSTM进行特征提取，然而循环卷积神经网络更适用于提取图像和文本等欧几里德数据中的特征，因此本文基于自适应图卷积神经网络设计了TAEST-GCN模型，对于骨架关节和边构成的非欧几里德数据有更好的处理效果，在CSL-100分类实验中，TAEST-GCN模型较LSTM2+CHMM模型在Top-1Acc上提高了4.42%。文献5 设计的Attention3D-CNN第42 卷198应用学学报科模型在空域卷积网络和时域卷积网络中分别加入注意力机制，其中缺乏两个领域的融合信息，因此本文利用自适应多尺度时空注意力模块构建基于时空连接的邻接矩阵，以此增强模型提取时空特征的能力，在CSL-500分类实验中，TAEST-GCN模型较Attention3D-CNN模型在Top-1Acc上提高了0.9 2%。在上述两种实验中，TAEST-GCN模型的分类准确率均高于表中其他模型表4不同模型的对比实验Table 4 Comparative experiments of different models%CSL-100CSL-500网络结构Top-1 AccTop-5AccTop-1 AccTop-5AccLSTM/1486.2063.30Attention 3D-CNN588.70B3D-ResNet1586.90LSTM+HMM(1688.21LSTM2+CHMM1691.15Global-local1789.20TAEST-GCN-J93.6998.7287.8496.90TAEST-GCN-B94.3498.8888.7797.35TAEST-GCN95.5799.2089.6297.943结语本文针对基于孤立词的手语识别任务，提出了一种双流自适应时空增强图卷积网络模型，该模型充分利用人体关节和骨骼特征，从中提取重要的时空信息，实现手语词汇的准确分类。在CSL-100分类中的实验结果表明，利用多个部位的节点使得特征信息更加完整，使用自适应时空图卷积模块能提取其中的关联空间特征与关键时间特征，加入自适应多尺度时空注意力模块有利于构建空域和时域的紧密连接，结合有向图邻接矩阵的改进能让模型进一步捕获骨骼中的有效信息。最后，本文所设计的模型在CSL-100分类中达到了9 5.57%的准确率，在CSL-500分类中达到了8 9.6 2%的准确率，取得了较好的效果。由于模型较为复杂且计算资源有限，很难满足手语识别对于实时性的要求。在今后的研究中，我们将在保证模型性能的前提下减少模型复杂度，把手语识别技术真正运用于实际场景中。参考文献：1 RASTGOo R,KIANI K,EsCALERA S.Sign language recognition:a deep survey J.ExpertSystems with Applications,2021,164:113794.2张淑军，张群，李辉。基于深度学习的手语识别综述J.电子与信息学报，2 0 2 0，42(4)：10 2 1-10 32.ZHANG S J,ZHANG Q,LI H.Review of sign language recognition based on deep learning J.Journal of Electronics&Information Technology,2020,42(4):1021-1032.(in Chinese)3 YANG S,ZHu Q.Video-based Chinese sign language recognition using convolutional neural net-work C/2017 IEEE 9th International Conference on Communication Software and Networks(ICCSN),2017:929-934.雪(编辑：王199第2 期金彦亮，等：基于双流自适应时空增强图卷积网络的手语识别4 KoNSTANTINIDIs D,DIMITROPOULOs K,DARAs P.Sign language recognition based on handand body skeletal data Cl/2018-3DTV-Conference:The True Vision-Capture,Transmissionand Display of 3D Video(3DTV-CON),2018:8478467.5 HUANG J,ZHOu W G,LI H Q,et al.Attention-based 3D-CNNs for large-vocabulary signlanguage recognition J.IEEE Transactions on Circuits and Systems for Video Technology,2019,29(9):2822-2832.6 CAo Z,HIDALGO G,SIMON T,et al.OpenPose:realtime multi-person 2D pose estimationusing part affinity fields JJ.IEEE Transactions on Pattern Analysis and Machine Intelligence,2021,43(1):172-186.7 SHI L,ZHANG Y F,CHENG J,et al.Two-stream adaptive graph convolutional networks forskeleton-based action recognition Cl/2019 IEEE/CVF Conference on Computer Vision andPattern Recognition(CVPR),2019:12018-12027.8 YAN S J,XIONG Y J,LIN D H.Spatial temporal graph convolutional networks for skeleton-based action recognition J.32nd AAAI Conference on Artificial Intelligence,2018:7444-7452.9 BAI S,KOLTER J Z,KOLTUN V.An empirical evaluation of generic convolutional and recurrentnetworks for sequence modeling DB/OL.2018 2023-05-09.http:/arxiv.org/abs/1803.01271.10 LIU Z Y,ZHANG H W,CHEN Z H,et al.Disentangling and unifying graph convolutions forskeleton-based action recognition C/2020 IEEE/CVF Conference on Computer Vision andPattern Recognition(CVPR),2020:140-149.11 LUAN S,ZHAO M,CHANG X W,et al.Break the ceiling:stronger multi-scale deep graphconvolutional networks DB/OL.2019 2023-05-09.http:/arxiv.org/abs/1906.02174.12 SHI L,ZHANG Y F,CHENG J,et al.Skeleton-based action recognition with directed graphneural networks Cl/2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR),2019:7904-7913.13 CoRTES C,MOHRI M,RoSTAMIZADEH A.L2 regularization for learning kernels JJ.25th Con-ference on Uncertainty in Artificial Intelligence,2009:109-116.14 LIU T,ZHou W G,LI H Q.Sign language recognition with long short-term memory C/2016IEEE International Conference on Image Processing(ICIP),2016:2871-2875.15 LIAo Y Q,XIoNG P W,MIN W D,et al.Dynamic s