基于matlab的语音识别系统的设计本科毕设毕业论文.doc

河南理工大学毕业设计（论文）说明书摘 要语音识别主要是让机器听懂人说的话，即在各种情况下，准确地识别出语音的内容，从而根据其信息执行人的各种意图。语音识别技术既是国际竞争的一项重要技术，也是每一个国家经济发展不可缺少的重要技术支撑。本文基于语音信号产生的数学模型，从时域、频域出发对语音信号进行分析，论述了语音识别的基本理论。在此基础上讨论了语音识别的五种算法：动态时间伸缩算法(Dynamic Time Warping，DTW)、基于规则的人工智能方法、人工神经网络(Artificial Neural Network，ANN)方法、隐马尔可夫(Hidden Markov Model，HMM)方法、HMM和ANN的混合模型。重点是从理论上研究隐马尔可夫(HMM)模型算法，对经典的HMM模型算法进行改进。语音识别算法有多种实现方案，本文采取的方法是利用Matlab强大的数学运算能力，实现孤立语音信号的识别。Matlab 是一款功能强大的数学软件，它附带大量的信号处理工具箱为信号分析研究，特别是文中主要探讨的声波分析研究带来极大便利。本文应用隐马尔科夫模型(HMM) 为识别算法，采用MFCC(MEL频率倒谱系数)为主要语音特征参数，建立了一个汉语数字语音识别系统，其中包括语音信号的预处理、特征参数的提取、识别模板的训练、识别匹配算法；同时，提出利用Matlab图形用户界面开发环境设计语音识别系统界面，设计简单，使用方便，系统界面友好。经过统计，识别效果明显达到了预期目标。关键词：语音识别算法；HMM模型；Matlab；GUIABSTRACTSpeech Recognition is designed to allow machines to understand what people say,and accurately identify the contents of voice to execute the intent of people.Speech recognition technology is not only an important internationally competed technology,but also an indispensable foundational technology for the national economic development.Based on the mathematical model from the speech signal,this paper analyze audio signal from the time domain,frequency domain proceeding,and discussed the basic theory of speech recognition technology.Five algorithm are discussed:Dynamic Time Warping(DTW)、Rule-based Artificial Intelligence,Artificial Neural Network(ANN),Hidden Markov Model(HMM),HMM combined with ANN.The focus is put in the theoretical studies of Hidden Markov(HMM) model algorithm,and the classical HMM algorithm is improved.Speech recognition algorithm is realized in various programs,this article taking the method is to use Matlab powerful mathematical operation ability to realize the recognition of speech signal isolation. Matlab is a powerful mathematic software with a mass of toolboxes dealing with signal processing. It gives a terrific shortcut to the research of signal processing,especially the wave analysis. We can characterize the sound with key parameters such as intensity, frequency etc. In this paper, hidden Markov model (HMM) recognition algorithm using MFCC (MEL frequency cepstral coefficients) as the main voice characteristic parameters, the establishment of a Chinese digital speech recognition system, including the preprocessing of the speech signal,the extraction of characteristic parameters the training of the recognition template,identifying matching algorithm;the same time,the use of Matlab graphical user interface development environment designed speech recognition system interface,is designed to be simple,easy to use,friendly interface. Besides,to have a simple exploration of the voice recognition is another target.After statistics,recognition result obviously is made out as the expected goal.Key words：Speech recognition algorithm；HMM model；Matlab；GUI45目录一、前言11.1语音识别的发展历史11.2语音识别研究现状11.3语音识别系统的分类21.4语音识别系统的基本构成31.5语音识别技术难点31.6语音识别发展前景4二、语音信号分析42.1语音学知识42.1.1音素和音节52.1.2汉语的声调52.1.3语音信号产生模型62.2语音信号数字化和预处理72.2.1数字化72.2.2预加重处理72.2.3防混叠滤波82.2.4加窗处理82.3语音信号的时域分析92.3.1短时能量分析92.3.2短时平均过零率112.3.3短时自相关函数和短时平均幅度差函数122.3.4语音端点检测132.4语音信号的频域分析142.4.1滤波器组法142.4.2傅立叶频谱分析142.5特征参数提取152.5.1 LPCC倒谱系数152.5.2 Mel频率倒谱系数16三、语音识别主要算法173.1动态时间伸缩算法173.2基于规则的人工智能方法183.3人工神经网络方法193.4隐马尔可夫方法203.5 HMM和ANN的混合模型21四、隐含马尔可夫模型算法234.1 HMM的基本理论和数学描述234.2 HMM的三个基本问题及解决算法244.3 HMM算法的改进314.4 HMM的结构和类型334.5 HMM算法实现的问题34五、基于Matlab环境下的语音识别算法实现355.1识别系统平台介绍355.2在Matlab中HMM算法的实现365.2.1端点检测365.2.2特征参数提取365.2.3训练和识别375.3实验结论分析38六、结束语396.1回顾396.2展望39七、致谢40参考文献40河南理工大学毕业设计（论文）说明书一、前言1.1语音识别的发展历史作为智能计算机研究的主导方向和人机语音通信的关键技术，语音识别技术一直受到各国科学界的广泛关注。以语音识别开发出的产品应用领域非常广泛，有声控电话交换、语音拨号系统、信息网络查询、家庭服务、宾馆服务、旅行社服务系统、订票系统、声控智能玩具、医疗服务、银行服务、股票查询服务、计算机控制、工业控制、语音通信系统、军事监听、信息检索、应急服务、翻译系统等，几乎深入到社会的每个行业、每个方面，其应用和经济社会效益前景非常广泛。因此语音识别技术既是国际竞争的一项重要技术，也是每一个国家经济发展不可缺少的重要技术支撑。研究语音识别，开发相应的产品有着广泛的社会意义和经济意义。语音识别中的说话人辨认的研究始于20世纪30年代。早期的工作主要集中在人耳听辨试验和探讨听音识别的可能性方面。Bell实验室的LGKesta目视观察语谱图进行识别，提出了“声纹(Voiceprint)”的概念。Bell实验室的SPruzansky提出了模版匹配和概率统计方差分析的声纹识别方法，形成了声纹识别研究的一个高潮。60年代末和70年代初语音识别最重要的发展是语音信号线性预测编码(LPC)技术和动态时间规整(DTW)技术，有效地解决了语音的特征提取和时间不等长匹配问题，对特定人的语音识别十分有效。研究特点是以孤立字语音识别为主，通常把孤立字作为一个整体来建立模板。80年代，语音识别研究的重点之一是连接词语音识别，开发了各种连接词语音识别和关键词识别算法，如多级动态规划语音识别算法。另一个重要发展是语音识别算法从模板匹配技术转向基于统计模型技术。1.2语音识别研究现状20世纪90年代后，在细化模型的设计、参数提取和优化，以及系统的自适应技术上取得了一些关键进展。语音识别技术进一步成熟，并开始向市场提供产品。由于中国的国际地位不断提高，以及在经济和市场方面所处的重要地位，汉语语音识别也越来越受到重视。IBM、Microsoft、L&H等公司相继投入到汉语语音识别系统的开发中，其投资也逐年增加。IBM开发的Viavoice和Microsoft开发的中文识别引擎代表了当前汉语语音识别的最高水平。台湾的一些大学和研究所也开发出大词汇量非特定人连续语音识别演示系统。日本也先后在语音识别领域大展头角，还有如Philips公司开发的SpeechMedia和Speech Pearl两套软件，涵盖了自然语音识别与理解的对话系统。我国语音识别研究工作近年来发展很快，同时也从实验室逐步走向实用。从1987年开始执行863计划后，国家863智能计算机主题专家组为语音识别研究立项。每两年滚动一次，从1991年开始，专家组每一至二年举行一次全国性的语音识别系统测试。汉语语音识别研究已经走上组织化的道路。目前我国大词汇量连续语音识别系统的研究已经接近国外最高水平。语音识别发展到一定阶段，世界各国都加快了语音识别引用系统的研究开发，通常连续语音是含有较完整语法信息的连续语句，最接近于人的自然讲话方式，从非连续语音到连续语音的研究面临着很多完全不同的技术难点，非连续语音的识别是一些孤立的声波片段，连续语音则面临着如何切分声波的问题。诸如此类的新问题使连续语音识别率的提高比非连续语音更加困难。经过几十年的发展和摸索，人们终于在实验室突破了大词汇量、连续语音和非特定人这三大障碍，第一次把这三个特性一起集中于一个系统中，并以此确定了统计方法和模型在语音识别和语音处理中的主流地位。在声学识别层次，以多个说话人发音的大规模语音数据为基础，以马尔可夫链为基础的语音序列建模方法HMM(隐含马尔可夫模型)比较有效的解决了语音信号短时稳定、长时时变的特性，并且能根据一些基本建模单元构造成连续语音的句子模型，达到了比较高的建模精度和建模灵活性。目前在语音识别研究领域非常活跃的课题为稳健语音识别、说话人自适应技术、大词汇量关键词识别算法、语音识别的可信度评测算法、基于类的语言模型和自适应语言模型，以及深层次的自然语音的理解。研究的方向也越来越侧重于口语对话系统。1.3语音识别系统的分类语音识别是近年来十分活跃的一个研究领域。在不远的将来，语音识别技术有可能作为一种重要的人机交互手段，辅助甚至取代传统的键盘、鼠标等输入设备，在个人计算机上进行文字录入和操作控制。本文介绍了语音识别的基本流程、所用到的语音参数算法、语音识别的训练算法和识别算法做初步的探究，主要运用了特定人孤立词识别的DTW算法和非特定人识别的连续HMM算法的Matlab识别系统。语音识别按说话人的讲话方式可分为孤立词(Isolated Word)识别、连接词(Connected Word)识别和连续语音(Continuous Speech)识别。孤立词识别是指说话人每次只说一个词或短语，每个词或短语在词汇表中都算作一个词条，一般用在语音电话拨号系统中。连接词语音识别支持一个小的语法网络，其内部形成一个状态机，可以实现简单的家用电器的控制，而复杂的连接词语音识别系统可以用于电话语音查询、航空定票等系统。连续语音识别是指对说话人以日常自然的方式发音，通常特指用于语音录入的听写机。显然，连续非特定人语音识别的难度要大得多，因为不仅有说话人口音的问题，还有协同发音、断字断句、搜索等问题，除了考虑语音的声学模型外还要涉及到语言模型，如构词法、文法等。从识别对象的类型来看，语音识别可以分为特定人(Speaker Dependent)语音识别和非特定人(Speaker Independent)语音识别。特定人是指只针对一个用户的语音识别，非特定人则可用于不同的用户。实际上，非特定人语音识别的初始识别率往往都比较低，一般都要求用户花一定的时间对系统进行训练，将系统的参数进行一定的自适应调整，才能使识别率达到满意的程度。非特定人大词表连续语音识别是近几年研究的重点，也是研究的难点。目前的连续语音识别大多是基于HMM(隐马尔可夫模型)框架，并将声学、语言学的知识统一引入来改善这个框架，其硬件平台通常是功能强大的工作站或PC机。1.4语音识别系统的基本构成语音识别系统的典型实现方案为：输入的模拟语音信号首先要进行预处理，包括预滤波、采样和量化、加窗、端点检测、预加重等。语音信号经预处理后，接下来很重要的一环就是特征参数提取。对特征参数的要求是：1，提取的特征参数能有效地代表语音特征，具有很好的区分性。2，各阶参数之间有良好的独立性。3，特征参数要计算方便，最好有高效的计算方法，以保证语音识别的实时实现。在训练阶段，将特征参数进行一定的处理之后，为每个词条得到一个模型，保存为模版库。在识别阶段，语音喜好经过相同的通道得到语音参数，生成测试模版，与参考模版进行匹配，将匹配分数最高的参考模版作为识别结果。同时还可以在很多先验知识的帮助下，提高识别的准确率。1.5语音识别技术难点虽然语音识别已突破了最初对技术的检验阶段，而进入通过对话及系统形象的设计，建立用户喜爱的应用系统时期。然而语音技术本身仍在不断进步，为市场提供更新更好的应用模式和技术。目前，技术及应用的焦点主要集中在三个方面。首先，带口音(Dialect)语音的识别。首先要明确的是，口音是指同一种语言在不同地区的发音有所不同，与同一地区(例如中国)的不同方言是有区别的。例如，中国的八大方言多属于与普通话(北方语系)不同的语系。也就是说是有别于普通话的不同的语言，应该用不同的声学模型来描述。而对于口音的适应性首先是由声学模型本身的品质决定的。对某一种口音，语言的声学模型的适应性决定了基础识别率，而在此基础上的优化和模型适应方案则提供了很好的解决方案。例如Nuance公司，作为拥有最大市场和最多用户的公司，也拥有最多的用户语音数据，保证了它极高的基础识别率。此外，该公司的系统优化工具为所有系统提供一个实用、有效的优化方法。优化过程对所有系统的表现都会有提高，也可以解决小范围的口音问题。而针对严重的口音问题，它的声学模型适应机制提供了很好的解决方案，可以使系统的识别率有很大改善。焦点之二是背景噪音。人多的公共场所巨大的噪音对语音识别的影响自不用说，早期即使在实验室环境下，敲击键盘、挪动麦克风都会成为背景噪音。它将破坏原始语音的频谱，或者把原始语音部分或全部掩盖掉，造成识别率下降。实际应用中，噪音是无法避免的。研究将要解决的问题就是如何把原始语音从背景噪音中分离出来，即所谓提高音质(speech enhancement)或减噪(noise reduction)的预处理。这将会使识别系统具有很强的适应性。在这方面，Nuance优化的语音参数、灵活的模型结构、新的建模方法以及独有的噪音抑制功能，使得系统在背景环境噪声、手机、车载免提等高噪音环境下能保持良好的工作状况。第三个就是“口语”的问题。这就是用户说话的自由度问题。它既涉及到自然语言理解，又与声学有关。语音识别技术的最终目的是要让用户在“人机对话”的时候，能够像进行“人人对话”一样自然。而一旦用户以跟人交谈的方式来进行语音输入时，口语的语法不规范和语序不正常的特点会给语义的分析和理解带来困难。你也许接触到一些语音软件声称是可以做到自然语言识别，而在这方面真正有实用商业系统的只有Nuance公司。Nuance的最新版识别软件所提供的“随意说(Say anything)”技术，使用户可以以自然的语言说出自己的需求。例如，“我对我的手机上的一些功能不太明白，想问一下”，或者“嗯，我的账单应该到期了，请帮我查一下要交多少钱”。它为用户提供了一种像“人人对话”的自然语音交互界面，这种更加友善的界面允许一般对话时的一些行为，如停顿及不完全的语句等。1.6语音识别发展前景语音技术是目前世界上最热门和最具有发展前景的技术之一。从某种意义上说，语音识别是将计算机变成真正的“智能化”设备的最佳途径。语音作为当前通讯系统中最自然的通信媒介，随着计算机和语音处理技术的发展，不同语种之间的语音翻译将成为语音研究的热点。自然语音数据库的设计：语音特征的提取；利用语音料库进行声学模型训练的研究；适应说话人声学模型的研究；语音识别算法的研究：语言翻译和对话处理的研究等成为语音技术的热点方向。语音识别研究的另一个发展方向是人体语言与口语相结合的多媒体人机交互。目前这种采用声觉、视觉两种信息融合进行识别的研究在全球范围内己经展开，成为语音识别研究的重要发展方向和研究热点之一。一位业界的资深人士对IT产业发展的提出的八大预言之一即为：语音成为新人机界面。语音识别技术的成熟使人机界面发生革命性突破，网络时代用户需要更自然、更简单、更方便的以语音为中心点的人机界面。未来几年里，真正实用的语音识别和音字转换技术将首次走出实验室，走进千家万户的电器设备中。摩尔定律所预言的硬件产品奇迹般的更新速度使计算机处理复杂运算的能力突飞猛进，也使体积庞大的语音库有机会栖身于普通用户的硬盘或其他存储介质上；技术方面，新的语音统计算法日趋成熟：市场需求方面，简化PDA、移动电话和其他信息家电原本繁琐的操作步骤的最佳途径便是通过语音技术。另外，语音识别是一门交叉学科，语音识别技术关系到多学科的研究领域，在不同领域上的进步都会促进语音识别的发展。(1)物理学(声学)：声音产生与传播原理、声电转换以及声音在房间回响等相关知识。(2)生理学：有关人的声道与耳朵的生理结构、耳朵的听觉特征，在脑内高层的语言处理等。(3)统计学和模式识别理论；基于各种统计方法对模式进行匹配，以及建立有关的统计模型，对语音特征参数进行估值和分类。(4)信息理论和计算机科学：各种算法的研究、快速搜索查找匹配的方法。(5)语言学：有关人的语言产生、感觉方面的知识。(7)数字信号处理技术：信号的时域分析、噪声消除、数字滤波、线性预测等方面的知识。(8)微电子技术：超大规模集成电路(VLSI)技术的发展对语音识别的具体应用有很大的影响，VLSI使语音识别系统商品化成为可能。二、语音信号分析2.1语音学知识在连续数字语音识别过程中，为了提高连续数字匹配搜索算法的有效性以及数字的识别率，必须要将对数字语音的研究细化到语音学的层次上，包括对各数字的音素和音节的特性和各数字的声调进行深入研究。2.1.1音素和音节音素是语音信号的最基本组成单位，可分为浊音和清音两大类。浊音通过喉部发声，发声时声带振动，声带振动的基本频率称为“基音频率”，其倒数称为“基音周期”。清音通过将口腔内有的空气释放出来而发声，发声时喉部封闭，由于该气流通过一个狭窄通道时在口腔中形成流，因此具有明显的随机噪声的特点。音节是由音素结合而成的发声最小单位，一个音节由“元音”和“辅音”构成。当声带振动发出的声音气流从喉腔、咽腔进入口腔从唇腔出去时，这些声腔完全开放，气流顺利通过，这种音称为元音。元音构成一个音节的主干，无论从长度还是能量上看，元音在音节中都占主要部分。所有元音都是浊音。发音时呼出的气流，由于通路的某一部分封闭起来或受到阻碍，气流被阻不能畅通，而克服发音器官的这种阻碍而产生的音素称为辅音。辅音也有清浊之分。辅音出现在音节的前端或者后端或前后两端。2.1.2汉语的声调汉语是一种声调语言，相同声母和韵母构成的音节随声调的不同而具有完全不同的意义，对应着不同的汉字。所以，在汉语的相互交谈中，不但要凭借不同的元音和辅音来辨别这些字或词的意义，还需要从不同的声调来区别它，也就是说声调有辨义作用。汉语普通话的声调有阴平、阳平、上声、去声等四种声调(另外，有时还包括“轻声”)，这些基本的调型在语句中虽然受语法、语气的影响而有所变动，但基本上不改变原有的模式一调型。声调的变化就是浊音基音周期(或基音频率)的变化，各个韵母段中基音周期随时问的变化产生了声调，变化的轨迹称为声调曲线。声调曲线从一个韵母的起始端开始，到韵母的终止端结束。不同声调的声调曲线的开始段称为弯头段，呈共同上升走向；末尾一段呈共同下降走向，称为降尾段；而中间一段具有不同的特点，这一段称为调型段。一般来说，弯头段和降尾段对声调的听辨不起作用，起作用的是调型段。而一段语音，它的起始和结尾处的波形幅度较小，要准确地测出这些地方的基音周期并不容易，因此可将这两处的波形忽略，只测调型段这一部分波形的基音周期。图2.1给出了单独说一个音节时的四种声调的典型曲线()。图2.1 声调的四种模式2.1.3语音信号产生模型语音信号是声道被激励发生共振而产生的输出。由于在发音过程中声道是运动的，因此可以用一个时变线性系统来模拟。理想的模型是线性的，且时不变的；但是语音信号是一连串的时变过程，且声门和声道相互耦合形成了语音信号的非线性特性。做一个合理的假设，当在较短的时间间隔内表示语音信号时，则可以采用线性时不变模型。它包括激励模型、声道模型、和辐射模型。图2.2给出了经典的语音信号的产生模型，语音信号被看成是线性时不变系统在随机噪声或准周期脉冲序列激励下的输出。图2.2语音信号产生模型2.2语音信号数字化和预处理2.2.1数字化为了将原始的模拟语音信号变为数字信号，必须经过采样和量化两个步骤，从而得到时间和幅度上均为离散的数字语音信号。根据采样定理，当采样频率大于信号的2倍带宽时，在采样过程中不会丢失信息，且从采样信号中可以精确地重构原始信号波形。在实际语音信号处理中，采样频率通常为710kHz。在信号的带宽不明确时，采样前应接入抗混叠滤波器(低通滤波器)，使其带宽限制在某个范围内；否则，如果采样频率不满足采样定理，则会产生混叠。此时，信号中的高频成分将产生失真。采样之后要对信号进行量化，在量化过程中不可避免的会产生误差。量化后的信号值与原始信号之间的差值为量化误差，又称为量化噪声。信号与量化噪声的功率之比为量化信噪比。若用表示输入语音信号序列的方差，表示信号的峰值，B表示量化分辨率(量化位长)，表示噪声序列的方差，则量化信噪比为： （2.1）假设语音信号的幅度服从Laplacian分布，此时信号幅度超过的概率很小,只有0.35%，因而可以取。此时上式变为SNR=6.02B-7.2。上式表明，量化器中每位字长对SNR贡献为6dB;当B=7位时，SNR=35dB。此时量化后的语音质量能满足一般通信系统的要求。研究表明:要使语音波形的动态变化信噪比达到55dB的信噪比，B应取10位以上。为了在语音信号变化范围内保持35dB的信噪比，常用12位来量化，其中附加的5位用于补偿30dB左右的输入动态范围变化。2.2.2预加重处理由于语音信号的平均功率谱受声门激励和鼻辐射的影响，在800Hz以上的高频时约按6dB/oct衰减，为此要在预处理中进行预加重。预加重的目的是提升高频部分，使信号的频谱变得平坦，以便于进行声道参数分析或频谱分析。预加重在防混叠滤波与A/D转换之前进行。这样，不仅能够进行预加重，而且可以压缩信号的动态范围，有效地提高信噪比。所以为尽量提高SNR，应在A/D转换之前进行预加重。同时，预加重也可在A/D转换之后进行，用具有6dB/oct地提升高频特性地预加重数字滤波器实现。它一般是一阶的，即：，式中u值接近于1,本文中去为0.94。加重的信号在分析处理后，需要进行去加重处理，即加上6dB/oct的下降的频率特性来还原成原来的特性。图2.3所示为对语音信号“0”的预加重处理结果。从下图可以明显的看出，加重后语音信号中高频分量增强。图2.3语音信号“0”的预加重处理效果2.2.3防混叠滤波A/D转换之前还需要加一个防混叠滤波器。如果频率干扰(50或60Hz)不严重或另有抗干扰措施，则不必用带通滤波器而只用低通滤波器即可。低通滤波器的截至频率由语音信号带宽决定，用于虑除高于l/2采样频率的信号成分或噪声，并且希望其带内波动和带外衰减特性尽可能好。A/D转换后采用低通滤波器作为平滑滤波器，对重构的语音波形的高次谐波起平滑作用，以去除高次谐波失真。对于这种低通滤波器的特性和A/D转换频率，也要求与采样时具有相同的关系。2.2.4加窗处理已经数字化的语音信号序列将被依次存入一个数据区。在语音信号处理中，一般用循环队列的方式来存储这些数据，以便用一个有限容量的数据区来应付数量极大的语音数据。在进行处理时，按帧从此数据区中取出数据，处理完成后再取一帧，如此进行下去。一般来说，语音信号处理的帧长一般取20ms(当Fs=8kHz时，相应每帧由160个信号样值)。在取数据时，前一帧与后一帧的交叠部分称为帧移。帧移与帧长之比一般取为00.5。在对语音信号进行短时分析的过程中，信号流的处理用分段或分帧来实现。一般每秒的帧数为33100，视实际情况而定。分帧既可连续，也可采用交叠分段的方法，用可移动的有限长度窗口进行加权的方法来实现。在1020ms这样的时间段内，数字化后的语音信号的频谱特性和某些物理特征参量可近似地看作是不变地。这样就可以采用平稳过程的分析处理方法来处理了。这种时间以来处理的基本手段，一般是用一个长度有限的窗序列w(n)截取一段语音信号来进行分析，并让这个窗滑动，以便分析任意时刻附近的信号。其一般式为，其中T*表示某种运算x(m)为输入信号序列。通帮采用最多的窗函数是矩形窗、汉宁窗(Hanning)和哈明窗(Hamming)。本文主要采用哈明窗，其公式为： (2-2)其中L是窗长。通常认为在一个语音帧内，应含有17个基音周期。然而，不同人的基音周期变化范围很大，从女性儿童的2ms到老年男子的14ms(即基音频率为5070Hz)，所以L的选择比较困难。通常在l0kHz采样频率下，L折衷选择为100200个采样点(即持续时间为1020ms)。2.3语音信号的时域分析对信号分析最自然最直接的方法是以时间为自变量进行分析，语音信号典型的时域特征包括短时能量、短时平均过零率、短时自相关系数和短时平均幅度差。2.3.1短时能量分析对于信号x(n)，短时能量定义为： (2-3)式中，h(n)=w2(n)，N为窗长，En表示在信号的第n个点开始加窗函数时的短时能量。可以看出，短时能量可以看作语音信号的平方经过一个线性滤波器的输出，该线性滤波器的单位冲激响应为h(n)，如图2.4所示。图2.4短时能量的方框图表示如果用xw表示x(n)经过加窗处理后的信号，窗函数的长度为N，则短时能量可表示为： (2-4)如图2.5所示为语音“0”时域波形图和语音“0”短时能量图。图2.5语音信号“0”的短时能力函数利用短时能量可以区分清音和浊音，因为浊音的能量比清音的能量大得多；其次可以用短时能量对有声段和无声段进行判定，对声母和韵母分界，以及对连字分界等。在语音识别系统中，一股也作为特征中的一维参数来表示语音信号能量的大小和超音段信息。短时能量由于是对信号进行平方运算，因而认为增加了高低信号之间的差距，因此要采用短时平均幅度来表示能量的变化，其公式为： (2-5)如图2.6所示为“0”的短时平均幅度图。从图中可观察到，短时平均幅度对能量小的信号累计效果要比短时能量好。图2.6语音信号“0”的短时平均幅度2.3.2短时平均过零率短时平均过零率是指每帧内信号通过零值的次数。对于连续语音信号，可以考察其时域波形通过时间轴的情况。对于离散信号，它实质上是信号采样点符号变化的次数。在一定程度上短时过零率可以反映出频率的信息，在浊音段一般具有较低的过零率，而在清音段具有较高的过零率，这样就可以初步判断清音和浊音，但只是相对而言，没有精确的数值关系。短时平均过零率公式为： (2-6)Sgn*是符号函数。为了解决低频的干扰，我们设立一个门限T，将过零率的含义修改为跨过正负门限的次数。于是有： (2-7)另外，可以将短时平均过零率和短时能量结合起来判断语音起止点的位置，即进行端点检测。在背景噪声较小的情况下，短时能量比较准确，但当背景噪声较大时，短时平均过零率可以获得较好的检测效果。一次一般的识别系统，其前端的端点检测过程都是将这两个参数结合用于检测语音是否真的开始。如图2.7语音信号“0”的过零率，可为端点检测提供参考。图2.7 语音信号“0”的短时平均过零率2.3.3短时自相关函数和短时平均幅度差函数语音信号xw(n)的短时自相关函数Rn(k)的计算式如下： (2-8)这里K是最大的延迟点数。短时自相关函数具有一些性质，如它是偶函数假设序列具有周期性，则其自相关函数也是同周期的周期函数等。因此对于浊音语音可以用自相关函数求出语音波形序列的基音周期。短时自相关函数是语音信号时域分析的重要参量。但是，计算自相关函数的运算量很大，其原因是乘法运算所需要的时间较长。利用快速傅立叶变换等简化计算方法都无法避免乘法运算。为了避免乘法，一个简单的方法就是利用差值，为此常常采用另一种与自相关函数类似作用的参量，即短时平均幅度差函数(AMDP)。平均幅度差函数能够代替自相关函数进行语音分析，是基于这样一个事实：如果信号是完全的周期信号(设周期为Np。)，则相距为周期的整数倍的样点上的幅值是相等的，差值为零。即： (2-9)对于实际的语音信号，d(n)虽不为零，但其值很小。这些极小值将出现在整数倍周期的位置上。为此，可定义短时平均幅度差函数： (2-10)显然，如果x(n)在窗口取值范围内具有周期性，则将出现极小值。如图2.8所示，对于周期性的x(n)，Fn(k)也呈现周期性。与Rn(k)相反的是，在周期的各个整数倍点上Fn(k)具有谷值而不是峰值。图2.8语音信号“0”的自相关函数2.3.4语音端点检测语音端点检测的准确性和可靠性，对系统识别率的提高起着重要的作用当系统收到一段包含语音的信号时，系统需要对语音的端点进行定位，丢弃语音前后多余的噪音段。如果语音前后噪音保留过多，则会增加不同语音的共同成分，对识别产生干扰；而如果语音部分被切割掉，则会造成语音信息的丢失，若丢失的恰是区分语音的重要特征，则造成误识。正确确定语音端点也会减少系统的计算量和存储量。语音端点检测算法主要是根据语音的一些特征参数，短时能量、过零率等完成端点检测。端点检测有双门限前端检测算法和多门限过零率前端检测算法。双门限前端检测算法用于有话、无话鉴别或词语前端检测，通常窗长(即帧长)取1015ms，帧间隔(即采样间隔)取510ms，有一定的抗干扰能力，即使存在小的随机噪声，只要它不使信号越过正负门限所构成的带，就不会产生虚假的过零率。多门限过零率前端检测算法是设多个高低不同的门限。与一股的单门限过零率法相比，可明显地减少前端误判，但是有时存在较大时延。因为首次找到高门限越过点，再往前推可能要搜索200ms左右才能找到清音的起点，这就不便于实现实时特征提取。2.4语音信号的频域分析语音的感知过程与人类听觉系统具有频谱分析功能是紧密相关的。因此，对语音信号进行频谱分析，是认识语音信号和处理语音信号的的重要方法。2.4.1滤波器组法利用一组滤波器来分析语音信号的频谱，方法使用简单、实时性好、受外界环境的影响小。滤波器组法所用的滤波器可以是模拟滤波器，也可以是数字滤波器。滤波器可以用宽带带通滤波器，也可以用窄带带通滤波器。宽带带通滤波器具有平坦性，用它可以粗略地求取语音的频谱，其频率分辨率降低，相当于短时处理时窗宽较窄的那种情况。使用窄带带通滤波器，其频率分辨率提高，相当于短时处理时窗宽较宽的那种情况。语音信号x(t)输入带通滤波器f1，f2， fn，滤波器输出为具有一定频带的中心频率为f1，f2， fn的信号。可以将滤波器组的输出经过自适应增量调制器变为二进制脉冲信号，再经过多路开关，变为一串二进制脉冲信号。这种信号可以输入计算机进行各种分析和处理。2.4.2傅立叶频谱分析傅立叶频谱分析是语音信号频域分析中广泛采用的一种方法。它是法国科学家JFourier在1807年为了得到热传导方程的简便解法而提出的。傅立叶频谱分析的基础是傅立叶变换，用傅立叶变换及其反变换可以求得傅立叶谱、自相关函数、功率谱、倒谱。由于语音信号的特性是随着时间缓慢变化的，由此引出语音信号的短时分析。信号x(盯)的短时傅立叶变换为： (2-11)式中，w(n)为窗口函数。图2.9是从带通滤波器作用理解短时傅立叶变换。图2.9 从带通滤波器作用理解短时傅里叶变换可以看作是加窗后函数的傅立叶变换，为了实现反变换，将进行频率采样，即令则有 (2-12) 式中，L为频率采样点数。短时功率谱实际上是短时傅立叶变换幅度的平方，它是信号x(n)的短时自相关函数的傅立叶变换，即 (2-13)式中Rn（k）是自相关函数。图2.10是几种谱之间的关系。图2.10 几种基于短时傅里叶变换谱之间的关系2.5特征参数提取2.5.1 LPCC倒谱系数线性预测倒谱参数(Linear Prediction Cepstrum Coefficient，LP