一种简单的文本信息增强的声纹识别算法.pdf

信息通信一种简单的文本信息增强的声纹识别算法李晋（科大讯飞股份有限公司，安徽合肥2 30 0 8 8）摘要：深度嵌入学习（DeepEmbeddingLearning）是目前声纹识别（VoiceprintRecognition）研究领域中的主流技术方法，通常采用卷积神经网络(Convolutional NeuralNetwork,CNN）用于深度嵌入学习，得到声纹模型向量。与传统的i-vector方法相比，深度嵌入学习方法主要专注于帧级特征提取、段级池化和聚合，以及目标损失函数的设计，从而获得有效的声纹模型向量。但由于局部顿级特征提取的原因，如果打乱输入语音的时序，生成的声纹模型向量将会有所不同。相反，传统的i-vector方法是语音时序不敏感的。文章提出了一种简单的文本信息增强方法，获得对语音时序不敏感的声纹模型向量。在基准VoxCeleb语料库上的三个测试子集实验结果表明,相对基线系统,采用本文提出的文本增强方法，等错误率(Equal Error Rate,EER)分别降低16.6 2%、12.2 6%、13.8 7%。关键词：声纹识别；文本信息增强；段级随机中图分类号：TN912.34A Simple Context Enhanced Voiceprint Recognition AlgorithmAbstract:Deep Embedding Learning is the mainstream technical method in the research field of Voiceprint Recognition.Usually,Convolutional Neural Network(CNN)is adopted for deep embedding learning to obtain voiceprint model vectors.Compared withtraditional method named i-vector,deep embedding learning methods mainly focus on frame-level feature extraction,segment-levelpooling and aggregation,and the design of an objective loss function to obtain effective voiceprint model vectors.However,due tolocal frame-level feature extraction,if the sequential order of the input speech is disturbed,the generated voiceprint model vectorwill be different.In contrast,traditional i-vector method is insensitive to the sequential order.this paper,propose a simple contextenhancement technique to obtain voiceprint model vectors which are insensitive to the sequential order.The experimental resultson the three sub-testsets of the benchmark VoxCeleb corpus show that,after adopting the context enhancement technique proposedin this paper,the Equal Error Rate(EER)is reduced by 16.62%、12.2 6%、13.8 7%i n c o mp a r i s o n w i t h t h e b a s e l i n e s y s t e m.Keywords:voiceprint recognition;context enhancement;segment-level shuffling1 引言采用个人生物特征进行用户身份认证或者识别是目前模式识别中一个很重要的研究方向。近几年来，随着以深度学习为代表的人工智能技术迅速发展，基于生物特征认证的技术，正越来越广泛地应用在网络安全、执法记录等方面。这里的生物特征主要包括人脸、指纹、虹膜、体态、步态等具有鲜明个人化信息的特征。从目前的应用来看，指纹识别和虹膜识别已经达到较高的识别准确率，广泛应用在一些重要的安全保密领域，并取得显著效果。但是这两种生物特征，在一般使用中必须取得用户的主动配合，才能完成指纹和虹膜的采集。在大规模应用的情况下，用户可接受程度较低，这在一定程度上制约了机器自动身份认证技术的发展。基于语音信号处理的声纹识别技术，因其兼顾生物特征的生理特性和行为特性，且可以在无需用户配合的情况下进行采集，受到广大研究工作者的广泛关注。经过国内外研究者多年的探索和尝试，传统基于因子分析框架的声纹识别技术（如i-vector方法)成为过去几十年的主流技术方案。而随着越来越多面向短时（1秒左右）语音的声纹识别应用场景，传统因子分析算法的性能遇到极大挑战。收稿日期：2 0 2 3-0 2-2 1基金项目：国家重点研发计划（2 0 2 2 YFF0608503）。作者简介：李晋（19 8 7-)，男，安徽蒙城人，博士研究生，科大讯飞股份有限公司，工程师，主要研究方向：声纹识别、深度学习等。92023年第0 5期(总第2 45期)文献标识码：A文章编号：2 0 9 6-9 7 59(2 0 2 3)0 5-0 0 0 9-0 4LIJin(IFLYTEK Co.,Ltd,AnhuiHefei230088)自2 1世纪初期以来，神经网络方法在自然语言处理、图像处理、语音识别等领域的研究均取得了巨大进展，但其在声纹识别领域一直无法取得理想的性能，且性能一直远远低于传统的 i-vector 方法。直到以DeepID 2-4 为代表的卷积神经网络(ConvolutionalNeuralNetwork，C NN）算法在人脸识别上的成功应用，广大研究者开始在声纹识别领域针对卷积神经网络等相关算法开展大量工作，取得显著的技术进步。但由于卷积神经网络中固有的感受野限制，导致在声学特征提取的过程中，特征关联只能作用于若干连续帧，无法关联至感受野之外的声学特征，这样导致训练的卷积神经网络会对语音的时序信息形成依赖。如果将语音的时序，也即文本信息进行随机扰乱再重排，得到的声纹模型向量将会有所不同。但文本信息的扰乱和重排，只是影响文本内容的连贯性，并未改变语音中蕴含的个性化声纹信息，改变时序前后的语音仍属于同一个声纹个体。从理论上讲，扰乱和重排文本信息前后的语音，得到的声纹模型向量应该高度相似。本文提出一种简单的文本信息增强的声纹识别算法，在卷积神经网络模型的训练过程中，采用声学特征语谱图段级随机扰乱和重排的方法，降低卷积神经网络对语音时序的依赖性，提高声纹识别算法的鲁棒性。Changjiang Information&Communications2声纹识别算法2.1深度嵌入学习深度嵌入学习(DeepEmbeddingLearning)5-是一种利用深度神经网络进行信息浓缩和抽取的技术手段，旨在实现相似性度量学习。利用该深度嵌入空间，将原始语音、图像、文本等数据压缩成尺度固定且统一的低维模型向量，使得相同个体的模型向量更加逼近，不同个体的模型向量更加远离，达到原始数据容易区分的目的。在声纹识别算法中，深度嵌入学习就是将原始语音的声学特征，通过深度神经网络，提取对应的低维声纹模型向量，这里一般采用深度残差神经网络（DeepResidualNetwork,Res-Net)7，比如常用的ResNet-18、R e s Ne t-34(8 、R e s Ne t-50 等深度残差神经网络结构。深度残差神经网络是目前众多声纹识别算法中比较主流的网络结构，它在一定程度上缓解了普通卷积神经网络随着网络深度增加而出现的性能退化问题，可以进行网络模块的堆叠而不引起性能下降。为了提高神经网络的泛化能力，研究者通过引入压缩和激励网络模块（Squeeze-and-ExcitationNetwork，SENe t）9 、多尺度的残差模块Res2Net loi、多层特征聚合模块（Multi-layerFeature Aggregation,MFA)、注意力统计池化(Attentive StaticPooling，A SP）等，提出一种基于时延神经网络（TimeDelayNeuralNetworks，T D NN)的全新神经网络结构ECAPA(Em-phasized channel attention,propagation and aggregation)12用于进行声纹模型向量提取。和残差神经网络等相比，ECAPA具有较小的网络参数空间，但由于加入较多先进的模块组件，显著提升声纹模型向量的精准度，提高声纹识别算法的准确性。因此本文在ECAPA神经网络的基础上，提出一种简单的文本信息增强的声纹识别算法。2.2网络结构ECAPA神经网络的结构如图1所示。声纹的身份个体标签声纹模型向量声学特征语谱图ECAPA神经网络主要由3个SE-Res2Block、1个MFA和李晋：一种简单的文本信息增强的声纹识别算法1个ASP组件堆叠而成。Res2Block模块是在残差网络模块的基础上，采用分组卷积和多个33卷积核组融合的方式，代替原始ResNetBlock模块中的单个33卷积核，同时将不同的卷积核输出以层级残差的形式拼接在一起，这样就可以用更细粒度来表示多尺度特征。SE模块用于学习卷积神经网络中不同通道特征图的权重，通过压缩、激励和重标定三个过程，突破卷积神经网络由于感受野造成的浅层特征分析局限在较短上下文信息空间中的问题，可以在全局层面实现对各个通道特征图的修正，强化与任务相关的特征，同时抑制与任务无关的特征，增强卷积神经网络的全局特征的整合能力。将SE模块和Res2Block模块拼接在一起形成SE-Res2Block组件，在残差网络内部构造层次化的分组连接来处理多尺度特征，同时通过引入包含上下文的全局信息对残差网络的各个通道特征图进行相关性强化或抑制。相对于原始的ResNetBlock模块，有效提升单个神经网络组件的深度特征表达能力，为有效建立精准的声纹模型向量奠定基础。原始的声纹模型向量仅使用最后一个网络组件（如Re-sNetBlock）的特征图来进行统计池化，再通过一个线性层得到。但是相关研究表明，浅层网络组件的特征图也包含一部分个性化声纹信息。因此将若干浅层网络组件的特征图和最后一个网络组件的特征图融合在一起，再进行统计池化，可预期获得更加精准的声纹模型向量。在ECAPA神经网络中，作者提出MFA的方法，将所有SE-Res2Block组件得到的特征图拼接起来，进而获得蕴含更丰富个性化信息的声纹模型向量。常用的统计池化（StaticPooling，SP)是计算通道特征图在时间维度的均值和标准差，然后拼接在一起形成新的维度空间。作者在ECAPA神经网络中设计一种注意力统计池化ASP的结构，其认为高阶统计量和注意力机制 3 对于提高声纹的可辨性是有效的。通过产生一种针对全局加权的相关系数，完成对均值和标准差的标定。采用如下方法计算全局加权的相关注意力系数i.e:ee=ve.f(Wh,+b)+ke上式中，h,是经过MFA后第t帧的隐层特征，采用各通道Attentive StaticPooling+BatchNom共享的线性变换（W,b)和非线性激活f()将h,映射到低维空间中，以此降低参数量并避免过拟合。再经过通道相关的线Conv+Relu+BatchNorm性层（ve，k），得到通道相关的注意力系数et.c。在全部帧上采用softmax函数对er.进行归一化，获得全SE-Res2Block局加权的相关注意力系数se：t,e=2exp(e.c)SE-Res2Block1SE-Res2Block采用公式(2)中获得的全局加权的相关注意力系数t.c，对隐藏特征h,进行全局加权修正，分别计算全局加权修正后的均值和标准差，再拼接在一起完成ASP处理。Conv+Relu+BatchNorm3文本信息增强的声纹识别方法3.1现有算法的问题从上文第2.2 部分的介绍可以看出，ECAPA网络在输入图1ECAPA神经网络阶段，通过一层卷积网络模块，提取声学特征语谱图的浅层特征。由于卷积网络模块存在的感受野限制，浅层特征仅是对10(1)exp(ei.c(2)Changjiang Information&Communications有限若干帧的上下文信息进行分析，容易对语音的时序形成依赖，陷入局部最优的状态。但是对于个性化的声纹信息，这种语音中蕴含的弱信息，如果更改语音的时序，并不改变语音仍来自于同一个声纹个体的事实，也就是说声纹信息未发生改变。在声纹识别的实际应用中，各种文本信息组合多样，语音时序千变万化，如果声纹识别算法依赖于训练语音中的文本信息和语音时序，那么在面对可能存在不同文本信息和语音时序的测试语音时，可预期此时声纹识别算法的性能会有一定的下降。针对上述问题,有研究者提出多任务学习(Muli-taskLeaming)14和生成对抗学习（GenerativeAdversarialLearning）5)的优化算法，但是这两种方法需要对文本信息进行人工标注，以识别音素信息（PhoneticInformation）的方式进行辅助学习，达到降低文本信息和语音时序对声纹识别算法性能影响的目的。这样的优化算法，虽然可以提高声纹识别算法性能，但人工标注成本过高，在声纹识别的实际应用中，无法获得所有训练语音的文本信息标注，因此推广应用价值有限。本文对此提出一种简单的文本信息增强的声纹识别算法，仅对送入ECAPA网络的声学特征进行段级随机扰乱和重排，有效降低ECAPA网络对文本信息和语音时序的依赖程度，提升声纹识别算法的性能。3.2改进的文本信息增强方法一般来说，我们可以在顿级尺度上对声学特征语谱图进行随机扰乱和重排。但是我们发现，如果以1为单位，将原始声学特征语谱图进行随机扰乱和重排后，声纹识别性能显著下降。这是因为连续若干帧的声学特征总是具有高度的相关性，填充词、音节、韵律等因素都是声纹相关的，有助于进行声纹识别。如果随机扰乱的尺度过小，就会严重影响连续的语音感知，将特征序列变成噪声序列，无法提取有效的个性化声纹信息。因此，我们采用段级随机扰乱和重排的方式，在充分保留局部连续的声学特征依赖关系的基础上，调整段级声学特征的先后顺序，重排组合形成新的语谱图，再进行ECAPA网络训练。该种文本信息增强方法仅对输入的声学特征语谱图进行段级随机扰乱和重排，没有对ECAPA网络进行任何修改，因此和基线ECAPA网络相比，本文方法中的网络复杂度和参数量未发生任何改变，维持声纹识别算法的一致性。语谱图段级随机扰乱和重排的方法如图2 所示。normaltime sequenceshuffledtimesequence图2 语谱图段级随机扰乱和重排的方法在图2 中，每个黑框代表连续若干顿捆绑作为一个整体进行随机扰乱。上图表示正常语序时的声学特征语谱图，下图表示采用语谱图随机扰乱和重排的方法后，得到新的声学特征语谱图。两图的差异仅在于声学特征的时序上，声学特征的数值不发生改变。11李晋：一种简单的文本信息增强的声纹识别算法在真实语音上采用段级随机扰乱和重排前后的声学特征语谱图对比如图3所示。898100200300400Frame Index898100200300400Frame Index898D100200300400Frame Index898100Frame Index图3段级随机扰乱和重排前后的声学特征语谱图对比在图3中，（a)是原始时序下的声学特征语谱图，（b)是帧级随机扰乱和重排后的声学特征语谱图，（c）、（d）、（e）、（f)、(g)、(h)都是段级随机扰乱和重排后的声学特征语谱图，段级尺度分别为10、2 0、50、8 0、10 0、2 0 0。从图3可以看出，采用顿级随机扰乱和重排的方法，声学特征语谱图破坏严重，局部连续的顿级相关性损失尽，接近于噪声水平。采用段级随机扰乱和重排的方法，可有效保留声学特征中的局部关联信息，随着段级尺度的增加，局部关联信息保留越充分。但为了降低ECAPA网络对文本信息和语音时序的依赖，需要对随机扰乱和重排方法中的段级尺度做出权衡。4实验与分析4.1数据情况介绍本文在声纹识别的基准测试集合VoxCeleb 16-17上开展相关实验并进行效果对比和分析。VoxCeleb是由牛津大学的研究人员整理并发布的开源数据，全部来自于世界各地用户在YouTube上分享的视频。研究人员通过人脸检测、人脸跟踪、人脸确认等图像分析的手段，在视频中切分得到同一个声纹个体在不同场景下（如办公室、操场、音乐厅等)出现的开始和结束时刻，从而提取同一个声纹个体的语音数据，构建完成用于声纹识别的基准测试集合VoxCeleb。该数据贴近真实生活，具有声纹个体分布广泛、年龄跨度大、噪声多样等特点，而且包含众多的声纹个体，其中子集VoxCeleb-1由12 11个声纹个体组成，子集VoxCeleb-2由59 9 4个声纹个体组成，两个子集中的声纹个体不重叠。本文采用等错误率(Equal ErrorRate,EER)来描述声纹识别算法的优劣。EER越小，说明声纹识别算法的性能越优异。4.2模型训练方法将VoxCeleb-2中的59 9 4个声纹个体作为训练数据，其中5962人的语音数据用于ECAPA网络训练，剩余32 人的语音数据组成验证集合，用于评估ECAPA模型是否训练正常。提取6 4维的FilterBank特征组成声学特征语谱图送入ECAPA网络进行训练。ECAPA卷积尺寸是10 2 4，采用随机梯度下降算法(Stochastic GradientDescent,SGD)进行网络优化，初始学习率设置为0.2，网络训练10 轮后，学习率逐轮减半，总计训练2 0 轮。根据32 人组成的验证集合上声纹识别效果挑选EC-APA网络，选择EER最低的ECAPA网络在VoxCeleb-1的三个子集（VoxCeleb1-O_cleaned、V o x C e le b 1-E_c le a n e d、V o-6040206040206060(g）2040200300400(b)100200300400Frame Index(d)100200300400Frame Index(f)1002000300400Frame Index(h)100200300400Frame IndexChangjiang Information&CommunicationsxCeleb1-H_cleaned)上分别进行声纹识别的效果验证。4.2结果和分析声纹识别的效果对比如表1所示。表1声纹识别的效果对比测试集合(EER,%)声纹识别段级算法尺度VoxCelebl-0_cleaned基线算法1.4413.523101.651201.417文本信息50增强的算法80100200从表1中可以看出，若采用帧级(段级尺度为1)随机扰乱和重排的方法，声纹识别算法的性能下降严重。正如前文分析和图3(b)语谱图展示一样，重排后的声学特征语谱图中，体现个性化声纹信息的连续若干顿之间关联性被破坏，呈现噪声化形式，导致声纹识别准确度的降低。随着随机扰乱和重排的方法中段级尺度的增加，声纹识别算法的性能逐步提高。这说明在网络训练中，通过对输入声学特征语谱图进行段级随机扰乱和重排后，可将语音中隐藏的声纹信息同文本信息和语音时序有效解耦，增强声纹识别算法的鲁棒性，和面对包含多样文本信息测试语音的泛化能力。表2 实验对比测试集合(EER,%)声纹识别方法VoxCeleb1-0_cleanedResNet-34ls11.67ECAPAlil1.61本文基线ECAPA1.444文本信息增强的1.204ECAPA从表2 中可以看出，在目前主流的声纹识别算法中，EC-APA网络比深度残差网络ResNet-34的声纹识别性能略优，这是本文采用ECAPA网络作为声纹识别算法中骨干基线网络的依据。其中本文复现的ECAPA网络和论文 19 中报告的EC-APA网络结果相比，性能也有一定提升，说明本文进行ECAPA网络训练时，选取的训练数据组合方式、训练超参（初始学习率和减半策略、训练轮次、模型更新策略等)等合理有效，高于目前相同ECAPA网络的声纹识别性能。采用本文提出的一种简单的文本信息增强的声纹识别算法后，在未改变ECAPA网络的参数量和推理效率的情况下，显著提高ECAPA网络的声纹识别性能。和本文基线ECAPA网络相比，在VoxCeleb1的三个测试子集上，EER分别相对下降为16.6 2%、12.2 6%、13.8 7%。参考文献：1 N.Dehak,P.J.Kenny,R.Dehak,P.Dumouchel,and P.Ouellet.Front-end factor analysis for speaker verificationJ.IEEE Transactions on Audio,Speech,and Language Pro-cessing,2011,19(4):788-798.2 Sun Y,Wang X,Tang X.Deep learning face representation from李晋：一种简单的文本信息增强的声纹识别算法predicting 10,000 classesC.Proceedings of the IEEE conferenceon computer vision and pattern recognition.2014:1891-18983 Sun Y,Chen Y,Wang X,et al.Deep learning face represen-tation by joint identification-verification J.Advances inneural information processing systems,2014,27.4Sun Y,Liang D,Wang X,et al.Deepid3:Face recognition with veryVoxCelebl-E_VoxCelebl-H_cleanedcleaned1.5252.8633.2475.2711.6142.8821.4332.7291.3271.3801.4231.3391.2041.3381.2841.325VoxCeleb1-E_cleaned1.811.691.5251.338deep neural networksJ.arXiv preprint arXiv:1502.00873,2015.5 Davis J V,Kulis B,Jain P,et al.Information-theoretic metriclearningC.Proceedings of the 24th international confer-ence on Machine learning.2007:209-216.6 Guillaumin M,Verbeek J,Schmid C.Is that you Metric learmningapproaches for face identificationC.2009 IEEE 12th interna-2.527tional conference on computer vision.IEEE,2009:498-505.2.5337 K.He,X.Zhang,S.Ren,and J.Sun.Deep residual learning for 2.466image recognitionC.in IEEE 29th Conference on Computer2.505Vision and Pattern Recognition,2016:770-778.8 Zeinali H,Wang S,Silnova A,et al.But system descriptionto voxceleb speaker recognition challenge 2019J.arXivpreprint arXiv:1910.12592,2019.9 J.Hu,L.Shen,and G.Sun.Squeeze-and-excitation net-worksC.in IEEE 31th Conference on Computer Vision andPattern Recognition,2018:7132-7141.10 Gao S H,Cheng M M,Zhao K,et al.Res2net:A new multi-scale backbone architectureJ.IEEE transactions on patternanalysis and machine intelligence,2019,43(2):652-662.11 Waibel A,Hanazawa T,Hinton G,et al.Phoneme recognitionusing time-delay neural networks J.IEEE transactions onacoustics,speech,and signal processing,1989,37(3):328-339.VoxCeleb1-H_12 Desplanques B,Thienpondt J,Demuynck K.Ecapa-tdnn:cleanedEmphasized channel attention,propagation and aggregation3.23in tdnn based speaker verificationJ.arXiv preprint arXiv:3.102005.07143,2020.2.86313 Vaswani A,Shazeer N,Parmar N,et al.Attention is all you needJ.Advances in neural information processing systems,2017,30.2.46614 Ruder S.An overview of multi-task learning in deep neuralnetworksJ.arXiv preprint arXiv:1706.05098,201715 Goodfellow I,Pouget-Abadie J,Mirza M,et al.Generativeadversarial networks J.Communications of the ACM,2020,63(11):139-144.16 A.Nagrani,J.Chung,and A.Zisserman.Voxceleb:a large-scale speaker identification datasetC.in 18th Annual Con-ference of the International Speech Communication Associ-ation,2017:2616-2620.17 J.S.Chung,A.Nagrani,and A.Zisserman.Voxceleb2:deepspea-ker recognitionC.in 19th AnnualConference of the Internation-alSpeech Communication Association,2018:1086-1090.18 Tong F,Zhao M,Zhou J,et al.ASV-Subtools:Open sourcetoolkit for automatic speaker verificationC.IEEE Interna-tional Conference on Acoustics,Speech and Signal Process-ing(ICASSP).IEEE,2021:6184-6188.19 Vaessen N,Van Leeuwen D A.Fine-tuning wav2vec2 for speakerrecognitionC.IEEE International Conference on Acoustics,Spe-ech and Signal Processing(ICASSP).IEEE,2022:7967-7971.12