第三章-声音的合成-PPT.ppt

第二章 声音的合成l一、音频信号1.声音是一种波声波可以在空气中传播，也可以在液体及固体中传播。声音三要素(1)音调 (高低)(2)音强 (强弱)(3)音色 (特质)2.音质 音质与频率范围成正比，频率范围越宽音质越好3.声音采样把声音信号按固定的时间间隔，转换成有限个数字表示的离散序列。0000000100100011100110101011 常用声音信号与采样频率 声音信号CD音乐数字电话采样频率信号带宽数字电话44.1K16K8K20K7K3.4K声音采样声音采样声音采样声音采样11011100 1100110111011100 11001101采样频率采样频率采样频率采样频率 HzHz数据长度数据长度数据长度数据长度 bitbit数据量分钟数据量分钟数据量分钟数据量分钟11,02511,0258 80.66 MB0.66 MB22,05022,0508 81.32 MB1.32 MB44,10044,1008 82.64 MB2.64 MB11,02511,02516161.32 MB1.32 MB22,05022,05016162.64 MB2.64 MB44,10044,10016165.29 MB5.29 MB音质评价音质评价音质评价音质评价低低低低一般一般一般一般良好良好良好良好中中中中良好良好良好良好优秀优秀优秀优秀4.音频文件的种类及特点(1)MIDI文件（电子乐器数字接口）是用于在音乐合成器、电子乐器、音序器和计算机之间交换音乐信息的一种标准协议。MIDI实质上是由MIDI控制器（或MIDI文件）产生的指示电子音乐合成器要做什么、怎么做（如演奏某个音符、加大音量、生成音响效果）的一套标准指令。MIDI不是声音信号，在MIDI电缆上传送的不是声音，而是动作指令。由于MIDI只是记录音乐信息的数字代码，所以生成的文件比较小，便于传播，也便于编辑修改与Mp3、Wav等音频格式不同的是MIDI的播放质量很大程度上取决于硬件或软件的音源环境，也就是说同样的MIDI文件在不同的电脑上可能有非常明显的效果差别，究其原因是因为它们调用的波表音色库不一样声音文件:24.9K声音文件:16K(2)WAVE(Waveform Audio)WAVE(Waveform Audio)波形音频文件波形音频文件波形音频文件波形音频文件多媒体系统、音乐光盘制作，记录物理波形，数多媒体系统、音乐光盘制作，记录物理波形，数多媒体系统、音乐光盘制作，记录物理波形，数多媒体系统、音乐光盘制作，记录物理波形，数据量大据量大据量大据量大WAVEWAVE格式文件是以格式文件是以格式文件是以格式文件是以RIFFRIFF为标准的为标准的为标准的为标准的在在在在WindowsWindowsWindowsWindows中，把声音文件存储到硬盘上的扩展名中，把声音文件存储到硬盘上的扩展名中，把声音文件存储到硬盘上的扩展名中，把声音文件存储到硬盘上的扩展名为为为为WAVWAV。WAVWAV记录的是声音的本身，所以它占记录的是声音的本身，所以它占记录的是声音的本身，所以它占记录的是声音的本身，所以它占的硬盘空间大的很。例如：的硬盘空间大的很。例如：的硬盘空间大的很。例如：的硬盘空间大的很。例如：16161616位的位的位的位的44.1KHZ44.1KHZ44.1KHZ44.1KHZ的立体的立体的立体的立体声声音一分钟要占用大约声声音一分钟要占用大约声声音一分钟要占用大约声声音一分钟要占用大约10MB10MB10MB10MB的容量，和的容量，和的容量，和的容量，和MIDIMIDIMIDIMIDI相相相相比就差的很远。比就差的很远。比就差的很远。比就差的很远。标准格式的WAV文件和CD格式一样，也是44.1K的采样频率，速率88K/秒，16位量化位数WAV格式的声音文件质量和CD相差无几 MP3也就是指的是MPEG标准中的音频部分，也就是MPEG音频层。根据压缩质量和编码处理的不同分为 3层，分别对应“*.mp1”/“*.mp2”/“*.mp3”这3种声音文件。MPEG音频文件的压缩是一种有损压缩，MPEG3高压缩率，基本保持低音频部分不失真，但是牺牲了声音文件中12KHz到16KHz高音频这部分的质量来换取文件的尺寸相同长度的音乐文件，用.mp3格式来储存，一般只有.wav文件的1/10，而音质要次于CD格式或WAV格式的声音文件。文件尺寸小，音质好声音文件声音文件声音文件声音文件 WAV Wave WAV Wave，波形音频文件，波形音频文件，波形音频文件，波形音频文件 (.wav)(.wav)WAVWAV文件文件文件文件特点：特点：特点：特点：1 1 真实记录自然声波形真实记录自然声波形真实记录自然声波形真实记录自然声波形 2 2 基本无数据压缩基本无数据压缩基本无数据压缩基本无数据压缩 3 3 数据量大数据量大数据量大数据量大 MIDI Musical Instrument Digital Interface MIDI Musical Instrument Digital Interface，乐器数字化接口文件乐器数字化接口文件乐器数字化接口文件乐器数字化接口文件 (.mid)(.mid)MIDIMIDI文件文件文件文件特点：特点：特点：特点：1 1 纪录音符、时值、通道纪录音符、时值、通道纪录音符、时值、通道纪录音符、时值、通道 2 2 使用电子键盘乐器使用电子键盘乐器使用电子键盘乐器使用电子键盘乐器 3 3 数据量小数据量小数据量小数据量小教学进程教学进程教学进程教学进程STOPSTOPSTOPSTOP二、录音编辑1.基于句子和单词的录音编辑方式 可以预先将句子、单词作为录音的单位，对录音、讲话所涉及的有关句子或单词逐个进行录音并保存 为了实现这种录音编辑方式，应事先存入大量的有关单词、句子（即需要大量的存储空间），声音合成时还需要快速地检出和呈现（需要高速的检索和控制）。2.基于音节的编辑合成方式在任何语言中，音节的数量比单词的数量少很多；基于音节的编辑方式在合成时的检索、控制变得十分方便；基于音节的合成方式的音质较差，很难表现人们在讲话时的各种情感和声调的变化；根据发音耦合的原理和要求，人们对单词的发音制定了一定的规则，基于这种规则进行声音合成，可以得到较好的声音效果。3.录音编辑声音合成的分析（1）以录音编辑的方式进行声音合成，需要大容量的存储设备（2）为了让一定容量的存储设备能存储更多的声音信息，需要对声音信息的数据量进行压缩（3）通过编码的方式，减少声音信息中的冗余性是实现声音信息压缩的基本方法。三、脉冲代码调制PCM脉冲代码调制 PCM（pulse code modulation）是一种对模拟信号的编辑声音信号是一种模拟信号，经PCM编码后，变成数字信号通常所说的PCM录音就是一种数字录音。1.基本原理PCM编码过程：（1）对模拟声音信号进行采样采样周期采样信号t振幅（2）将各个采样点的声音信号值通过模数变换（A D转换）变换成由0和1组成的脉冲变换序列0011001000010000111111101101正值负值模拟信号码字序列（3）在PCM（脉冲代码调制）中所分配码字的首位为符号位，信号为正时，首位为0信号为负时，首位为1（4）对声音采样的频率称为采样频率：f经采样后对每一个采样点分配的码字为a位，用于存储1秒钟的声音信号所需的存储容量为fa，它也表示了传递声音信号所需的速率。例：设声音信号的采样频率为10KHz，PCM编码所分配码字长度为8bit，传送该声音信号所需的传递速率应不低于 101038=8104 bits（5）PCM录音及其声音合成系统扬声器AD变换器录音 话筒大容量存储器DA变换器2.采样与量化（1）在PCM调制中，采样频率应是声音信号中最高频率的两倍以上（2）声音信号中包括有多种不同的频率成分，为使各种不同的频率成分都能很好地传递、呈现，所需的带宽应是 20Hz-20KHz 采样频率应选为40Hz（3）对于连续的声音信息，由于其相关性，通过前、后的有关信息可以实现信息的预测和识别，声音合成时采样频率选为8KHz就足够了（至多10KHz）（4）PCM编码中，除需要以一定的频率进行采样外，还需要对每一个样本进行量化，分配一定的码字（5）量化的精度，即分配码字的长度，对声音的失真度有很大影响。声音信号与量化精度的关系量化噪音与量化精度，即分配码字长度a之间有如下关系：6（a-1）dB 例如：要求噪音的信噪比SN不低于60dB 6（a-1）=60 a=11说明：在PCM编码时，分配的码字长度应不低于11bit如采样频率为10kHz 分配的码字长度为11bit，记录1秒钟的声音信息所需要的存储容量为：1110103=110（kb）若以字节计算，记录1分钟的声音信号所需存储容量：1101038=14（KB）40KB的存储容量，只能存3秒钟3.高频滤波为提高声音合成效果，进行预处理：采样频率为f 将声音信号中高于f2的高频成分滤掉，这种处理是通过低通滤波器完成低通滤波器四、增量调制1.基本原理 增量调制是一种以最低的一位数进行数据压缩的编码方式 在DM系统中，应预先确定具有一定振幅值的增量，并根据当前信号与基于预测编码的预测值之间的差值进行编码。设当前时刻n的声音信号值为Sn，基于预测编码的n-1时刻的声音信号预测值为Sn-1其间的误差值en 为 en=Sn-Sn-1 en为预测误差 预测编码是按照不断减少预测误差的方向进行编码的，通过编码，使预测值Sn-1不断逼近Sn 在DM方式中，预测值是以 Sn=Sn-1+确定的下面以声音信号采样序列：4，5，1，0，3在编码前，应预先确定增量，设=2，并给定编码的初始条件为S0=0 n=1时刻：声音信号为4，由于初始条件为S0=0 e1=S1-S0=4-0=4由于e10 分配增量=2，以码字0表示，预测值为 S1=S0+=2n=2时刻：声音信号为5，预测误差为 e2=S2 S1=5-2=3由于e20 分配增量=2，以码字1表示，预测值为 S2=S1+=4n=3时刻：声音信号为1，预测误差为 e3=S3 S2=1-4=-3由于e30 分配增量为-，以码字0表示，预测值为 S3=S2-=4-2=2声音信号、预测值、预测误差与码字序列及其相互间的关系如下图所示DM方式的信号波形l通过上述DM编码的过程，可得到声音信号的DM编码的0、1符号序列。根据这样的符号序列，通过DM编码的逆操作，可进行解码，恢复原声音信号。l例如，=2的情况下，接收的码字序列为“1101 1100”，当码字“1”到来时，进行+2的操作，当码字“0”到来时，进行-2的操作，由此可得到解调后的声音信号为“2，4，2，4，6，8，6，4”。2.粒状噪声与超载噪声 增量调制是一种一位数的编码方式，它根据预测误差的正、负分配相应的 在很多情况下，信号的变化很小，甚至不变，在这种情况下，DM编码仍然要分配+或-.2.粒状噪声与超载噪声l如上图，在原声音信号不变，或缓慢变化时，DM编码的码字序列却是010101这样变化的码字序列。l这种变化的0、1序列，经解码后产生一种 噪声，对原声音符号的音质造成一定的影响，称这种噪声为粒状噪声(GranularNoise)。为了减小粒状噪声的影响，应减小增量的幅度。显然，的幅度越小，粒状噪音越小。l当增量的幅值减小时，会给DM方式的声音信号带来超载噪声(OverloadNoise)l对于一定的增量幅值，当声音信号变化比较大时，DM编码信号值的变化跟不上声音信号的变化，使得编码信号值的变化比原声音信号产生一种延迟 如图所示超载噪声 为了减少超载噪声应增大增量的幅值，这与减小粒状噪声是相矛盾的。一般地，人们对超载噪声噪声的感知不太敏感，而粒状噪声在整个频谱范围上都会产生一定的影响，它对音质的影响较大。因此，在决定增量的幅值时，与实际的声音信号大小相比较，应选择增量足够小的幅值 增量的幅值过小，必将使超载噪声增加，为减少超载噪声，可增加采样频率，使得在一定的采样间隔内声音信号的变化减少。所以，在DM编码时，应慎重选择采样频率和增量幅值。五、差分脉冲代码调制基本原理DPCM方式的基本原理与DM方式相同，要求声音信号相邻的两个采样信号间不应有很大的变化，即声音信号是一种连续性的信号。不同的是,DM是一位数的编码，DPCM则是多位数的编码。DPCM编码解码的原理图DPCM编码中的各信号波形