化学近红外.pptx

1现代近红外光谱分析技术一、近红外光谱分析基础知识一、近红外光谱分析基础知识二、近红外光谱仪器二、近红外光谱仪器三、近红外光谱定量及定性分析三、近红外光谱定量及定性分析2一、近红外光谱分析基础知识n n1.1 概述 n n1.2 近红外(near infrared，NIR)光谱分析原 理 n n1.3 近红外光谱分析技术的特点近红外光谱分析技术的特点31.1 概述概述 n n近红外光谱分析是将光谱测量技术、计算机技术、化学计量学技术与基础测试技术的有机结合。是将近红外光谱所反映的样品基团、组成或物态信息与用标准或认可的参比方法测得的组成或性质数据采用化学计量学技术建立校正模型，然后通过对未知样品光谱的测定和建立的校正模型来快速预测其组成或性质的一种分析方法4n n 近红外光谱是发展最快最引人注目的分析技术之一。n n与常规分析技术不同，近红外光谱是一种间接分析技术，。n n与传统分析技术相比，近红外光谱分析技术具有诸多优点。n n近红外光谱主要是反映CH、OH、N一H、SH等化学键的信息，因此分析范围几乎可覆盖所有的有机化合物和混合物。5n n近红外光谱分析技术的组成有三部分近红外光谱分析技术的组成有三部分:n n光谱测量技术基础测试技术n n化学计量学技术n n计算机软件技术671.2 近红外近红外(near infrared，NIR)光谱分光谱分析原理析原理 n n1.2.1近红外光谱近红外光谱n n近红外光近红外光(NIR)是介于可见光是介于可见光(VIS)和中和中红外光红外光(MIR)之间的电磁波，之间的电磁波，ASTM定义定义的近红外光谱区的波长范围为的近红外光谱区的波长范围为7802526nm(128203959cm-1），习惯上又将），习惯上又将近红外区划分为短波近红外区划分为短波(7801100nm)和长和长波波(11002526nm)两个区域。两个区域。8光波各波段与分子内能的跃迁形式波段波段波段波段波段范围波段范围波段范围波段范围跃迁形式跃迁形式跃迁形式跃迁形式远紫外远紫外远紫外远紫外近紫外近紫外近紫外近紫外可见光可见光可见光可见光近红外近红外近红外近红外中红外中红外中红外中红外远红外远红外远红外远红外1010 200200nmnm200420040000nmnm40040075750 0nmnm0.750.75 2.52.5 mm2.552.550 0 mm5050101000 00 mm中层电子中层电子中层电子中层电子价电子价电子价电子价电子价电子价电子价电子价电子分子振动分子振动分子振动分子振动分子振动分子振动分子振动分子振动分子转动和分子转动和分子转动和分子转动和低能振动低能振动低能振动低能振动9n n近红外光谱记录的是分子中单个化学键的基频振动的倍频和合频信息，它常常受含氢基团X-H（X-C、N、O）的倍频和合频的重叠主导，所以在近红外光谱范围内，测量的主要是含氢基团X-H振动的倍频和合频吸收。10n n不同基团(如甲基、亚甲基、苯环等)或同一基团在不同化学环境中的近红外吸收波长与强度都有明显差别，NIR 光谱具有丰富的结构和组成信息，非常适合用于碳氢有机物质的组成与性质测量。但在NIR区域，吸收强度弱，灵敏度相对较低，吸收带较宽且重叠严重。因此，依靠传统的建立工作曲线方法进行定量分析是十分困难的，化学计量学的发展为这一问题的解决奠定了数学基础。11n n被测物质的近红外光谱取决于样品的组成和结构。样品的组成和结构和近红外光谱之间有着一定的函数关系。使用化学计量学方法确定出这些重要函数关系，即经过校正，就可以根据被测样品的近红外光谱，快速计算出各种数据。121.2.2化学计量学方法化学计量学方法 n n化学计量学是化学、计算机技术与数学相互结合形成的一门崭新的边缘学科。现代分析化学计量学已发展成数理统计、数据处理、分类、解析、实验设计最优化，最大限度地获取有关物质系统化学信息等的有效方法。由于采用了计算机技术，通过解析光谱数据获得物质的有关化学信息，利用数学模型和数学方法描述，消除基质和干扰组分的影响，从而对复杂样品不经预处理直接进行多组分分析。13n n化学计量学(Chemometrics)是综合使用数学、统计学和计算机科学方法从化学测量的数据中提取信息的科学。n n定量校正也称多元校正,即在物质浓度(或其他物化性质)与分析仪器响应值建立定量关联关系.它是化学计量学的主要分支.常用的多元校正的方法，如PLS、MLR、约束MLR、PCA以及这些方法的组合。14n n20世纪70年代美国开始了化学计量学的研究，尤其是将分析仪器与化学过程自动化联系起来，综合使用数学、统计学和计算机科学知识，研究如何从测定数据中提取信息。随后又发展了偏最小二乘法(PLS)，该方法在对光谱矩阵进行降维处理的同时引入应变量信息。目前，PLS是近红外光谱分析中应用最广的计算方法。15n n物质中某一化学成分的含量与近红外区内多个物质中某一化学成分的含量与近红外区内多个不同的波长点吸收峰呈线性关系。公式如下不同的波长点吸收峰呈线性关系。公式如下n n Y Y1 1=b=b0 0+b+b1 1x x1 1+b+b2 2x x2 2+b+b3 3x x3 3+.+b.+bn nx xn nn n式中式中b0b0，b1b1，b2b2，b bn n回归系数；回归系数；n nx x1,1,x x2,2,x x3,3,x xn n第第n n个波长点的吸收峰；个波长点的吸收峰；n nY1Y1近红外光谱分析的某个化学成分含量。近红外光谱分析的某个化学成分含量。16n n通过对一批已知其化学成分含量的近红外光谱校正，可获得n个波长点的回归系数，再用这个被确定的模型来预测未知样品中该化学成分的含量。17分析过程包括校正和预测两个过程分析过程包括校正和预测两个过程 n n在校正过程中，收集一定量有代表性的样品(一般需要40个样品以上)，在测量其光谱图的同时，根据需要使用有关标准分析方法进行测量，得到样品的各种质量参数，称之为参考数据。通过化学计量学对光谱进行处理，并将其与参考数据关联，这样在光谱图和其参考数据之间建立起一一对应的映射关系，通常称之为模型。18n n虽然建立模型所使用的样本数目很有限，但通过化学计量学处理得到的模型应具有较强的普适性。对于建立模型所使用的校正方法，视样品光谱与待分析的性质关系不同而异，常用的有多元线性回归、主成分回归、偏最小二乘法、人工神经网络和拓扑方法等 19n n模型所适用的范围越宽越好，但是模型的范围大小与建立模型所使用的校正方法有关，与待测的性质数据有关，还与测量所要求达到的分析精度范围有关。实际应用中，建立模型都是通过化学计量学软件实现的，并且有严格的规范(如ASTM6500标准)。20n n在预测过程中，首先使用近红外光谱仪测定待测样品的光谱图，通过软件自动对模型库进行检索，选择正确模型计算待测质量参数。211.2.3近红外光谱的测量形式近红外光谱的测量形式n n近红外线有很强的穿透能力，其分析仪器有三种测量形式；漫透射测量、透射测量和漫反射测量22n n透射测量；是指将待测样品置于光源与检测器之间，检测器所检测的光是透射光或与样品分子相互作用后的光（光谱（波长一般在7801100nm范围内）承载了样品结构与组成信息），透射光强度与样品浓度之间的关系符合Beer定律。23n n漫透射测量；若样品是混浊的，样品中有能对光产生散射的颗粒物质，光在样品中经过的路程是不确定的，透射光强度与样品浓度之间的关系不符合Beer定律。对这种样品应使用漫透射分析法。24n n漫反射是光投射到物体后（常是粉末或颗粒物体），在物体表面或内部发生方向不确定的反射。漫反射光是与样品内部分子发生作用以后的光.携带有丰富的样品结构和组织信息.应用漫反射光进行的分析称为漫反射光谱法n n积分球是漫反射测量中的常用附件之一 251.3近红外光谱分析技术的特点n n1）分析速度快，测量过程大多可在1min内完成。因此在日常分析中，包括了样品准备等工作时间，在5min以内即可得到数据。近红外光谱分析技术的另一个特点是通过样品的一张光谱，可以测得各种性质或组成。n n2)适用的样品范围广，通过相应的测样器件可以直接测量液体、固体、半固体和胶状体等不同物态的样品光谱。26n n(3)对样品无损伤，可以在活体分析和医药临床领域广泛应用。n n(4)不破坏样品、不用试剂、不污染环境。近红外光谱的取得可以是透射方式，也可以是漫反射方式。因此样品可以是气、液、固任一形态，不必做任何形态的改变。试样经分析后，仍可送回生产线，分析过程不产生任何污染。27n n(5)光导纤维的应用使近红外光谱分析技术扩展到了过程分析及有毒材料或恶劣环境的远程分析，同时也使光谱仪的设计更小型化。n n(6)投资少，操作技术要求低。近红外光的波长较紫外光长，较中红外光短，所用光学材料为石英或玻璃，仪器价格较低。28n n近红外光谱分析技术也存在着以下的局限性：近红外光谱分析技术也存在着以下的局限性：n n近红外光谱分析必须用相似的样品先建立一近红外光谱分析必须用相似的样品先建立一个稳健的模型才能快速得到分析结果，而模型个稳健的模型才能快速得到分析结果，而模型的建立需要投入一定的人力、财力和时间。对的建立需要投入一定的人力、财力和时间。对于经常性的质量控制是十分经济且快速，但并于经常性的质量控制是十分经济且快速，但并不适用于偶然做一次的分析工作。不适用于偶然做一次的分析工作。n n物质一般在近红外区的吸收系数较小，对痕物质一般在近红外区的吸收系数较小，对痕量分析并不适用。当然为了克服以上的局限性，量分析并不适用。当然为了克服以上的局限性，各种研究工作仍在进行中。各种研究工作仍在进行中。29n n近红外光谱分析技术主要用于以下领域:n n1.食品分析n n2.农产品分析 n n3.石油化工，纺织，化妆品及药品分析n n4.生物医学分析n n5.其它应用 30二、近红外光谱仪器n n2.1 概述n n第一代分光技术-“滤光片”n n第二代分光技术-“光栅”n n第三代分光技术-“傅里叶变换”n n第四代分光技术-“二极管阵列”n n20世纪90年代末，来自航天技术的“声光可调滤光器”(缩写为AOTF)技术的问世，被认为是“20世纪90年代近红外光谱仪最突出的进展”。312.2 近红外光谱仪器的基本结构近红外光谱仪器的基本结构 n n近红外光谱仪器不管按何种方式设计，一般由光源、分光系统、测样器件、检测器、控制及数据处理分析系统和记录仪(或打印机)6部分构成。32n n(1)光源n n近红外光谱仪器的光源，基本要求是在所测量光谱区域内发射足够强度的光辐射，并具有良好的稳定性。n n在近红外光谱仪器中最常见的光源为溴钨灯 33n n(2)分光系统n n分光系统的作用是将多色光转化为单色光，是近红外光谱仪器的核心部件。根据分光原理的不同，现在近红外光谱仪器的分光器件主要有滤光片、光栅、干涉仪、声光调制滤光器4种类型。34n n(3)(3)测样器件测样器件n n测样器件是指承载样品或与样品作用的器件。测样器件是指承载样品或与样品作用的器件。n n液体样品根据选定使用的光谱区域可采用不同液体样品根据选定使用的光谱区域可采用不同尺寸的玻璃或石英样品池；固体样品可采用积尺寸的玻璃或石英样品池；固体样品可采用积分球或特定的漫反射载样器件；分球或特定的漫反射载样器件；n n(4)(4)检测器检测器n n检测器由光敏元件构成，其作用是检测近红外检测器由光敏元件构成，其作用是检测近红外光与样品作用后携带样品信息的光信号，将光光与样品作用后携带样品信息的光信号，将光信号转变为电信号，并通过模数转换器以数字信号转变为电信号，并通过模数转换器以数字信号形式输出信号形式输出 35n n(5)控制及数据处理分析系统n n现代近红外光谱仪器的控制及数据处理分析系统是仪器的重要组成部分。一般由仪器控制、采谱和光谱处理分析两个软件系统和相应的硬件设备构成。n n(6)打印机 n n记录或打印样品的光谱或定性、定量分析结果。36n n近红外光谱仪器的主要类型n n近红外光谱仪的分类方式比较多，但市场上分类主要还是按照仪器的分光器件不同来分，一般可分为4种主要类型：滤光片型、光栅色散型、傅里叶变换型和声光调制滤光器型。其中光栅色散型又有光栅扫描单通道和非扫描固定光路多通道检测之分。37三、近红外光谱定量及定性分析n n3.1近红外光谱的定量分析近红外光谱的定量分析n n3.2近红外光谱的近红外光谱的定性分析 383.1近红外光谱的定量分析n n近红外光谱的定量分析就利用化学分析近红外光谱的定量分析就利用化学分析数据和近红外光谱数据建立模型，确定数据和近红外光谱数据建立模型，确定模型参数，然后以这个模型去定量预测模型参数，然后以这个模型去定量预测某些信息（如浓度）的方法。某些信息（如浓度）的方法。39 定量分析过程具体步骤如下：定量分析过程具体步骤如下：1选择足够多的且有代表性的样品组成校正集；通过现行标准方法测定校正模型样品的组成或性质；测定校正模型样品的近红外光谱；40光谱数据的预处理；建立校正模型；校正模型验证；分析样品；8模型更新；411校正集的选择校正集的选择n n校正集是建立模型的基础，建模过程就是根据校正集的光谱和数据建立数学关系。42n n理想的校正集应具备以下要求：n n（1）校正集样品的组成应包含以后未知样品所包含的所有化学组成；n n（2）校正集中样品的浓度变化范围大于使用模型进行分析的未知样品的浓度变化范围；n n（3）组分浓度在整个变化范围内是均匀分布的；n n（4）校正集中具有足够的样品数以能统计确定光谱变量与浓度（或性质）之间的数学关系。43n n对于简单混合物而言，可以通过人工配制的方式满足上述要求，但对于复杂混合物，尤其是实际样品则很难完全实现上述要求，为了避免模型标外推，通常采用统计学方法判断未知样品是否位于校正集样品所涵盖的模型范围之内。也就是说，对于非理想状态的校正集，需要附加统计学判据，避免未知样品出现在模型范围之外以致预测出现误差。44n n建立模型所需的校正集样品个数与被分析样品的复杂程度有关。如果被分析样品中只有少数组分的浓度有变化，也就是说光谱变量较少，那么较小的校正集就足以确定光谱变量与浓度/性质之间的关系。反之，如果被分析样品组分浓度变化复杂，那么建模需要较多的校正集样品数。只有在建立模型之后才能了解建模所需的变量数从而进一步了解建模所需的校正集样品数。452.样品组成或性质的测定样品组成或性质的测定 n n建立校正模型所需的样品组成或性质通常采用建立校正模型所需的样品组成或性质通常采用现行标准或传统认可方法进行测定。对于只含现行标准或传统认可方法进行测定。对于只含有少量组分的混合物，可以通过配制的方式得有少量组分的混合物，可以通过配制的方式得到校正集，但这时应注意，为了避免组分之间到校正集，但这时应注意，为了避免组分之间的干扰，不能只变化某些组分的浓度，而是在的干扰，不能只变化某些组分的浓度，而是在未知样品可能的浓度范围内变化所有组分的浓未知样品可能的浓度范围内变化所有组分的浓度。度。46n n对于组分比较复杂的样品，如小麦、大豆等农作物和石油产品等，不可能配制校正集样品，因此必须通过现行标准或传统认可方法测得样品的浓度或性质。473.测定样品的近红外光谱测定样品的近红外光谱n n校正集、验证集和未知样品的近红外光谱测定必须采用同一方式，否则会校正带来误差。48光谱数据的预处理光谱数据的预处理n n对光谱图的预处理主要包括噪声滤除、归一化处理、数据筛选、中心化及标准化处理、光谱范围的优化选择等。通常仪器都带有专用光谱图的预处理软件，有经验的用户可自己完成这部分工作。49n n噪声滤除噪声主要来自高频随机噪声、基线漂移、信号本底、样品不均匀、光散射等，可以用以下的处理方法滤除。n na.平滑处理主要去掉高频噪声对信号的干扰。n nb基线校正主要是扣除仪器背景或漂移对信号的影响，可以采用峰谷点扯平、偏置扣减、微分处理和基线倾斜等方法。50n n归一化处理用于消除光程的变化或样品的稀释归一化处理用于消除光程的变化或样品的稀释等变化对光谱响应产生的影响。等变化对光谱响应产生的影响。n n数据筛选的目的是尽量从原始光谱数据中选取数据筛选的目的是尽量从原始光谱数据中选取有用的数据，剔除无用的数据以减少以后的计算有用的数据，剔除无用的数据以减少以后的计算工作量。工作量。n n光谱范围的优化选择光谱范围的优化选择 n n实际上有些光谱区域样品的光谱信息很弱，与样实际上有些光谱区域样品的光谱信息很弱，与样品的组成或性质缺乏相关关系。要找出最有效的品的组成或性质缺乏相关关系。要找出最有效的光谱区域，可以将测定的组成或性质数据与样品光谱区域，可以将测定的组成或性质数据与样品的光谱数据进行关联，求出相关系数，并得到相的光谱数据进行关联，求出相关系数，并得到相关系数与波长的相关图，通过相关图，可以选出关系数与波长的相关图，通过相关图，可以选出较大相关系数的光谱区域。较大相关系数的光谱区域。51n n中心化及标准化处理 数据中心化是从每个光谱数据中减去各个样品的平均值。这样处理后的光谱数据充分反映了变化信息，使所有的数据都分布在零点两侧，对于以后的回归运算可以简化并使之稳定。标准化通常是用同一列数据的方差去除，使每一个数据之间在数据标度上有可比性。525.建立校正模型建立校正模型n n在近红外光谱分析中，被测物质的近红外光谱取决于样品的组成和结构。样品的组成和结构和近红外光谱之间有着一定的函数关系。使用化学计量学方法确定出这些重要函数关系，即建立校正模型53n n应用化学计量学软件建立校正模型的具体步骤为：先进入模型参数设置软件，根据光谱图预处理的结果设置波长、噪声滤除、归一化处理、数据筛选、中心化及标准化处理等参数并将图形文件转化为数据文件，输入实验室数据；再进入模型计算软件，选择相应的建立校正模型计算方法并根据计算结果对界外点进行剔除，试甩不同的建立校正模型的条件，多次计算以使校正模型更符合实际。54n n在近红外定量分析中，数据预处理，光谱区间的选择，建立数学模型都有很多方法，包含很多参数，判断这些方法和参数对某一应用是否适用的原则是：模型精度满足要求和模型通过验证。因此，建模过程实际是这些方法和参数的筛选过程，筛选的依据就是模型的精度大小和验证结果。55校正模型验证校正模型验证n n近红外光谱分析要求在建模之后进行模型验证以确保模型的可用性。模型验证的基本过程是采用模型对一组已知参考值的释品（称为验证集）进行预测，将预测结果与参考值进行统计比较。56验证集的选择验证集的选择 n n对于多元校正而言，理想的验证集应具备以下条件：n n包含待测样品所包含的所有化学组分。n n化学组成的浓度变化范围与待没样品相同。n n化学组分的浓度变是均匀的。n n包含足够的样品数量以便进行统计检验。57验证集光谱的测定与分析验证集光谱的测定与分析 n n应当完全按校正集样品的光谱测量方式测定验证集光谱。参考值的测定也应与校正集样品采用同一种方法。采用已建立的模型预测验证集样品的性质。58n n验证结果的统计检查 n n验证集预测标准偏差 n n验证集偏差的显著性检验597分析样品分析样品n n建立校正模型后，将模型转化为界面软件，运行建立校正模型后，将模型转化为界面软件，运行界面软件对未知样品进行测量。未知样品的分析界面软件对未知样品进行测量。未知样品的分析过程也是先在相同的仪器条件下测量光谱，进行过程也是先在相同的仪器条件下测量光谱，进行与校正集样本相同的预处理，然后通过已有的校与校正集样本相同的预处理，然后通过已有的校正模型预测其物化性质。正模型预测其物化性质。608.模型更新模型更新 n n在近红外分析过程中，有时需要向现有模型中添加新的样品以扩展模型的应用范围。612-4近红外光谱的定性分析定性分析 n n近红外定性分析是用已知类别的样品建立近红外定性模型，然后用该模型考察未知样品是否是该类物质。由于近红外光谱对微量物质的敏感，因此如果微量物质的存在影响物质分类，在这种情况下，很难用近红外分析方法进行定性分析。在使用近红外分析方法进行定性分析时，需要考虑到这种可能性，并考察在这种情况下是否能采用近红外分析方法进行定性分析。62n n 近红外定性分析的主要过程是：n n采集已知类别样品的光谱。n n用一定的数学方法处理上述光谱，生成定性判据。n n用该定性头判据判断未知样品属于哪类物质。63n n近红外光谱分析常用的化学计量学方法近红外光谱分析常用的化学计量学方法64光谱数据预处理方法光谱数据预处理方法n n光谱数据处理是消除仪器因素（灯及测量方式等）环境因素（如温度等）和样品物态（如颜色、形态等）等对光谱的影响。常采用的方法有平滑、微分、基线漂移扣减、多元散射校正（MSC）和有限脉冲响应滤波（FIR）等.也可以用小波变换来进行部分处理。65常用的校正方法常用的校正方法n n 现在主要有：多元线性回归（MLR）主成分分析（PCA），偏最小二乘法（PLS）、人工神经网络（ANN）和拓扑（Topological）方法等 66模式识别定性方法模式识别定性方法 n n无监督模式识别方法聚类分析n n有监督模式识别方法判别分析67模型传递模型传递n n S/B算法n nDS算法n nPDS算法n nShenks算法n n FIR算法68近红外光谱分析技术注意事项n n近红外分析技术的一个重要特点就是技术本身的成套性，即必须同时具备三个条件。n n各项性能长期稳定的近红外光谱仪，是保证数据具有良好再现性的基本要求。n n功能齐全的化学计量学软件，是建立模型和分析的必要工具。n n准确并适用范围足够宽的模型。n n这三个条件的有机结合起来，才能为用户真正发挥作用。