LCD面板C_FOG工艺制造虚拟计量方法研究.pdf

第 45 卷 第 1 期2024 年 1 月仪器仪表学报Chinese Journal of Scientific InstrumentVol.45 No.1Jan.2024DOI:10.19650/ki.cjsi.J2311364收稿日期:2023-04-27 Received Date:2023-04-27LCD 面板 C/FOG 工艺制造虚拟计量方法研究刘暾东1,黄智斌1,高凤强1,郑 鹏2,谢玉练3(1.厦门大学萨本栋微米纳米科学技术研究院 厦门 361005;2.厦门市计量检定测试院 厦门 361004;3.厦门天马微电子有限公司 厦门 361102)摘 要:针对液晶显示器(LCD)面板的“Chip/FPC on Glass”(C/FOG)工艺生产制造过程中存在的计量延迟大、生产异常无法提前预测的问题,本文提出一种基于神经网络的 C/FOG 工艺生产制造虚拟计量方法。该方法利用生产机台上的传感器采集生产过程中的过程状态数据,构建基于多尺度一维卷积及通道注意力模型(MS1DC-CA)的虚拟计量模型。通过多个尺度的卷积核提取不同尺度范围内的状态数据特征。在对含有缺失值的原始数据预处理中,提出了基于粒子群算法改进的 K 近邻填补方法(PSO-KNN Imputation)进行缺失值填充,保留特征的同时,减少因填充值引入的干扰。最后在实际生产采集的数据上进行实验对比分析,实际不良率主要集中在 0.1%0.5%,该虚拟计量模型的拟合均方误差为 0.397 7,低于其他现有拟合模型,在平均绝对误差、对称平均绝对百分比误差和拟合优度 3 种评价指标下也均优于其他现有的拟合模型,具有良好的预测性能。关键词:C/FOG 工艺;虚拟计量;缺失值填充;多尺度一维卷积;通道注意力中图分类号:TH71 TP29 文献标识码:A 国家标准学科分类代码:510.99Research on virtual metrology method for LCD panel C/FOG process manufacturingLiu Tundong1,Huang Zhibin1,Gao Fengqiang1,Zheng Peng2,Xie Yulian3(1.Pen-Tung Sah Institute of Micro-Nano Science and Technology,Xiamen University,Xiamen 361105,China;2.Xiamen Institute of Measurement and Testing,Xiamen 361004,China;3.TIANMA Microelectronics Co.Ltd,Xiamen 361102,China)Abstract:Aiming at the problems of large measurement delay and unpredictable production abnormalities that cannot be predicted in the manufacturing process of“Chip/FPC on Glass”(C/FOG)for liquid crystal display(LCD)panels,this paper proposes a virtual metrology method for C/FOG manufacturing.This method uses sensors installed on the production machine to collect process state data during the production process and constructs a virtual metrology model based on multi-scale one-dimensional convolution and channel attention network(MS1DC-CA).Where the state data features in different scale ranges are extracted through multiple scale convolution kernels.In the preprocessing of original data containing missing values,an improved K-nearest neighbor interpolation method based on the particle swarm optimization algorithm(PSO-KNN Interpolation)is proposed to fill in the missing values.This method can reduce the interference introduced by filling values while retaining the features.Finally,its found that the actual defect rate is concentrated between 0.1%and 0.5%according to the experimental comparative analysis carried out for the data collected in actual production.The fitting mean square error of virtual metrology model is 0.397 7,which is lower than other existing fitting models.It also outperforms other existing fitting models under the evaluation indexes including mean absolute error,symmetric mean absolute percentage error and goodness of fit,which prouides the good predictive performance.Keywords:C/FOG process;virtual metrology;missing value filling;multi-scale one-dimensional convolution;channel attention0 引 言 稳定加工和产量提高是制造业不断追求的目标,离线抽样检验是实现上述目标最常用的方法之一。但是,该方法只能在制造加工完成后评估取样工件的质量,因此有一个等待获取计量值的时间。离线抽样检验方法的计量延迟导致无法实时监控产品质量,一旦在等待计量 第 1 期刘暾东 等:LCD 面板 C/FOG 工艺制造虚拟计量方法研究17 时发生生产过程参数漂移,就会出现更多的不良品,造成损失。较好的解决方案是搭建虚拟计量模型在生产过程中进行在线实时计量,通过虚拟计量模型,利用从生产机台实时采集到的生产过程中传感器数据来预测该生产环境下的产品不良率。当预测结果超过了不良率要求时,及时对生产机台参数做出调整,从而避免过多不良品带来的损失1。虚拟计量是一种基于数学模型的计量预测方法,它可以根据输入的生产设备状态数据或环境数据和相应的数学模型或预测算法对产品的质量或数量进行预测计算2。虚拟计量技术通过虚拟传感或虚拟仪器进行虚拟测量,可以起到省去大量实际计量设备降低计量成本、克服批次质量控制机制中存在的计量延迟问题、作为实际计量补充应用于难以进行实际计量的应用场合等作用3-4。近几年来,国内外的研究人员将虚拟计量技术应用于各种工业领域,在半导体生产中也得到了广泛的应用5-9。HSIEH 等10提出了基于卷积自动编码器和迁移学习的自动虚拟计量系统用于干式蚀刻 STI 工艺、等离子体增强化学气相沉积等半导体制造工艺。CHANG等11将 BP 神经网络与 AdaBoost 算法相结合,提出了一种改进的 BP-AdaBoost 模型用于半导体质量预测。为了解决 LCD 液晶面板 C/FOG 工艺生产制造过程中存在的计量延迟大、生产异常无法提前预测等问题,本文提出了面向 LCD 液晶面板 C/FOG 工艺制造虚拟计量方法。获取生产过程中机台的实时设备传感器数据,根据参数字段选择与生产不良率相关的关键参数,并对参数中存在的缺失值进行填充,将预处理后的状态参数输入到训练好的虚拟计量模型中预测当前设备环境下的生产不良率。基于以上工作,可以实现对 C/FOG 工段生产不良率的实时预测,并在预测数值异常时进行预警。该方法在实际生产过程中起到参数异常提前预判的作用。1 LCD 液晶面板 C/FOG 工艺 C/FOG 工艺是 LCD 液晶面板模组工艺流程中重要的流程之一,是将 LCD 驱动集成电路芯片(integrated circuit chip,IC Chip)以及带有驱动电路的柔性印刷电路(flexible printed circuit,FPC)通过 ACF 技术与液晶玻璃基板形成机械连接和电气导通,其中 Chip on Glass(COG)是将 IC Chip 绑定在液晶玻璃基板上,FPC on Glass(FOG)则是将 FPC 绑定在液晶玻璃基板上12-13。如图 1 所示,驱动 IC 或 FPC 与液晶玻璃之间通过异方性导电胶膜(anisotropic conductive film,ACF)粘合,并利用机器在一定的温度、压力和时间下对其进行热压。ACF由热固性树脂黏着剂和导电粒子两部分组成。树脂黏着剂不导电,在树脂黏着剂中均匀分布着导电粒子,导电粒子表面包裹着一层绝缘膜。机器对其加温加压的过程中,会使导电粒子的绝缘膜破裂并与两侧有线路的部分挤压在了一起,形成电气导通。同时热固性树脂黏着剂在加热的过程中固化,保持导通状态。在这个过程中,温度和压力的偏移都会对连接部分的导电率产生影响,造成液晶屏幕显示异常或无法显示等不良。在进行热压操作前还需要对液晶玻璃进行清洗,以防止因灰尘等杂质的混入导致线路短路等问题,所以清洗过程中清洗功率、时间等参数对液晶屏幕生产良率也有一定的影响。图 1 ACF 技术示意图Fig.1 Schematic diagram of ACF technology 2 C/FOG 工艺制造虚拟计量方法实现2.1 虚拟计量方法总览 本文提出的 C/FOG 工艺制造虚拟计量方法利用生产过程中的热压、清洗等流程中的温度、压力、时间、功率等状态参数对生产产品的不良率进行实时预测。该方法主要由数据采集、数据预处理、计量预测 3 部分组成,其总览如图 2 所示。图 2 虚拟计量方法总览Fig.2 Overview of virtual metrology method数据采集部分通过访问服务器接口获取 C/FOG 工段的实时设备传感器数据即生产设备状态参数点检值。数据预处理部分对数据进行数据筛选、特征排序、规范化、缺失值填补等预处理。计量预测部分通过训练好的虚拟计量模型对当前生产环境下的生产不良率进行实时预测。2.2 基于粒子群优化算法改进的 K 近邻填补方法 现有的缺失值填补方法主要包括以下几种方法:1)填充固定值:通过固定值进行填充,大多数场景下18 仪 器 仪 表 学 报第 4 5 卷是使用数值 0 进行填充(fill zero);2)通过统计学方法进行填充:使用平均数、中位数或众数来表示数据的集中趋势,通过平均数(fill mean)、中位数(fill median)或众数(fill most)对缺失值进行填充;3)根据上下相邻值进行填充:选择上一个值(fill up)或下一个值(fill down)进行填充,或者采用插值法如线性插值法(linear)进行填充;4)K近 邻 缺 失 值 填 补(K-nearest neighbor interpolation,KNN):计算与待填充样本距离较近的 K 个样本,使用 K 个样本的观察值均值对该样本的缺失值进行填充;5)通过模型进行填充:将缺失值所在的字段作为模型的标签,使用其他特征作为模型输入,对缺失值进行拟合 填 充,如 随 机 森 林 缺 失 值 填 补(random forest interpolation,RF)。上述方法都只是利用样本的数据特征,样本的标签没有参与缺失值计算。在回归或多标签分类的场景下,使用上述方法可能会导致无效数据的引入,使填充后的样本在实际应用场景下的输出值远离了原有的标签值。所以本文提出的 PSO-KNN Imputation 以 K 近邻缺失值填补方法作为基础方法,引入样本标签作为参考,加以改进。通过式(1)的含缺失值欧式距离来计算生产工况的相近程度(相似度),xik其中表示第 i 个样本第 k 个状态数据,xjk表示第 j 个样本第 k 个状态数据,M 为样本总特征数,m 为去除缺失值特征后的特征数。similarity=Mmnk=1(xik-xjk)2(1)将 K 近邻缺失值填补方法填补值的计算公式如式(2)改进,其中 xik表示与待填补样本的 K 个近邻样本中第 i 个样本的第 k 观察值,wij为该观察值的权重,xjk为第 j 个样本缺失字段的填补值计算结果,该字段的数据索引是 k。与 K 近邻填补方法不同在于每个观察值的权重不是相同的,需要根据样本相似度计算得到。xjk=Ki=1wijxik(2)通过负指数幂函数计算 K 个近邻样本观察值的权重,如式(3)所示,其中 和 K 为可调参数,similarityij表示 K 个近邻样本中第i 个样本与待填充样本的相似度,表示归一化参数,保证 K 个样本的权重值之和等于 1。wij=-similarityij,Ki=1wij=1(3)图 3 为 v=-u曲线示意图,从图中可以看出当 越大,曲线的斜率越大,且当 1 时,u 越大,v 则越小,所以式(3)中当 similarityij越小,即待填充样本与其近邻样本的相似度越高时,对应的观察值权重值就越大。图 3v=-u曲线示意图Fig.3 Schematic diagram of y=-x curve 观察值权重计算过程中存在两个可调参数 和 K,需要通过算法来选择更优的参数值。在理想状态下,相近工况所生产的产品良率应该相近,通过方差计算可以衡量 K1(为了避免与上述的 K 混淆,此处的近邻样本个数采用 K1)个近邻样本的偏差程度,如式4 所示,其中 K1为可调参数,yi表示 K1个近邻样本中第 i 个样本的标签值,y 表示 K1个近邻样本的均值,S2j为计算得到的待填充样本的 K1个近邻样本标签值的方差。S2j=K1i=1(yi-y)2K1(4)和K 的参数优化目标是将式(4)中的方差最小化,即填充后近邻样本的标签值偏差程度最小化。因为 为连续值参数,而 K 为离散值参数,不适合搭建数学关系模型来计算这两个参数的最优值,所以本文采用粒子群算法对参数进行调优。粒子群优化(particle swarm optimization,PSO)算法是基于群体的优化算法,根据对环境的适应度将群体中的个体移动到好的区域14。每个个体(粒子)运动的速度以及位置更新表达式如式(5)和(6)所示,其中 vid表示第 d 时刻第 i 个粒子运动的速度,xid表示第 d 时刻第 i 个粒子所在的空间位置,pid表示第d时刻第i个粒子的个体最优位置,pgd表示第 d 时刻的全局最优位置,w 为惯性权重,c1和 c2为学习因子,r1和 r2为随机数,取值范围为0,1。vid+1=wvid+c1r1(pid-xid)+c2r2(pgd-xid)(5)xid+1=xid+vid+1(6)每个待优化参数根据参数的取值范围通过线性移动缩放映射至粒子的每个维度,如式(7)所示,其中 opi代表第 i 个待优化参数,opimax和 opimin分别代表第 i 个待优化参数的上下限,pimax和 pimin则代表粒子第 i 维度的上下限,pi为映射计算结果。第 1 期刘暾东 等:LCD 面板 C/FOG 工艺制造虚拟计量方法研究19 pi=(opi-opimin)(pimax-pimin)opimax-opimin+pimin(7)根据 PSO 的空间位置计算公式得到的下一时刻粒子所在位置为连续值,因为参数 K 的取值范围是个整数集,所以在优化的过程中计算适应度值时,对参数 K 对应的粒子维度 pi逆映射后进行向下取整。2.3 虚拟计量建模 将预处理好的机台状态数据输入到虚拟计量模型中预测该机台状态下生产产品的不良率。虚拟计量模型如图 4 所示,其中包括 3 个部分:多尺度一维卷积、通道注意力以及全连接部分。图 4 虚拟计量模型示意图Fig.4 Schematic diagram of virtual metrology model 1)基于多尺度一维卷积的特征提取卷积神经网络作为深度学习的重要方法之一,因为其对数据具有局部连接的特点而被广泛应用于各种领域的特征提取,一维卷积网络则被应用于一维数据如时序分析、参数诊断等15。而普通的一维卷积网络在同一个网络层中仅采用单一尺度的卷积核对特征进行提取,如果卷积核的长度过小,则无法将完整的特征包含于一个卷积核中,而如果卷积核的长度过大,则卷积核包含关键特征的同时也包含了其他背景特征,使特征提取不够精确。因此在许多领域,多尺度一维卷积代替了普通的一维卷积用于对数据特征的更充分的提取16-18。如图 5 所示,本文的虚拟计量模型首先通过多尺度一维卷积对机台的设备状态数据进行特征提取。设置 S个不同尺寸的一维卷积核(即 S 个尺度)挖掘原始数据的特征信息,单个卷积核尺寸为CL,L 为卷积核长度,L=2s+1,s s s 0,S),s Z,C 为卷积核通道数。将多尺度一维卷积提取出来的多个特征矩阵和原始数据拼接成一个多通道特征矩阵,并输入到激活函数tanh 中。若输入的原始数据特征数为 MI,卷积核长度为 L=2s+1 时,卷积的输出特征数为 MO=MI-2s。因为拼接矩阵需要保证多尺度一维卷积输出不同的多通道特征矩阵的长度相同(特征数相等),需要在卷积前根据不同卷积核的长度对原始数据进行两端补零处理。假设原始数图 5 多尺度一维卷积示意图Fig.5 Schematic diagram of multi-scale one-dimensional convolution据特征数为M,为了保证输出特征数MO=MI-2s=M,则输入卷积核的数据长度为 MI=MO+2s=M+2s,即需要在原始数据上补 2s 个数据,因此在每个卷积核输入数据两端各补 s 个 0。2)基于通道注意力的特征选择注意力机制近几年来在图像、自然语言处理等领域中都取得了重要的突破,被证明有益于提高模型的性能。注意力机制通过对特征进行加权处理,使得提取出来的特征聚焦于局部有用的信息。卷积神经网络提取出来的特征有一个维度是通道,基于通道的注意力机制是让后端的网络聚焦于前端提取出来的特征中对结果产生更大影响的通道上19。通过多尺度一维卷积网络提取出来的多通道特征矩阵可以看作是对原始数据提取特征的不同策略。如图 6所示,通过通道注意力机制计算每个通道的权重,使与拟合结果相关性更高的特征提取策略(通道)凸显出来。图 6 通道注意力示意图Fig.6 Channel attention schematic diagram对每个特征矩阵每个通道进行求均值作为每个通道的通道描述特征,即对特征矩阵进行全局平均池化(global average pooling,GAP),如式(8)所示,其中 xc表示特征矩阵中第 c 通道的特征向量,z 为通道描述特征计算结果。z=z1,z2,zc,zc=GAP(tanh(xc)(8)通过一个多层感知机(multilayer perceptron,MLP)计算出通道注意力图,即每个通道的权重值,表达式如20 仪 器 仪 表 学 报第 4 5 卷式(9)所示,其中 1和 2表示两个不含偏置的全连接层(fully connected layer,FC layer)的权重参数,f 表示激活函数 LeakyReLU,表示激活函数 Sigmoid。=MLP(z)=(2f(1z)(9)最后将计算出来的通道注意力图与多尺度一维卷积提取出来的多通道特征矩阵进行乘积得到具有通道聚焦的多通道特征矩阵,如式(10)所示。xc=cxc(10)3)特征拟合和正则化模型的最后将多尺度一维卷积和通道注意力模型提取出来的的特征经过 Flatten 层展平,并传入 FC 层计算拟合结果。为了防止模型过于复杂导致模型在训练过程中过拟合,在训练过程中将模型权重参数的 L1 范数作为惩罚项加入到损失函数中进行梯度优化。训练过程的总损失如式(11)所示,其中 l为总损失值,lf为拟合误差,i为模型中的权重参数,为 L1 正则化的权重值。l=lf+ii(11)3 实验验证3.1 实验环境 实验过程在配备 Intel i7-12700k CPU 和 RTX3070Ti GPU 的台式计算机上使用 Python 3.7 进行。3.2 数据采集 本文研究的 C/FOG 工艺制造虚拟计量方法所采用的数据来源于国内 LCD 液晶面板制造公司 厦门天马微电子有限公司,采集该公司 6 个月内 LCD 液晶面板制造过程中 C/FOG 工艺段多条产线每个班别的实际生产设备参数点检值以及该班别的生产产品不良率。生产状态点检数据有 52 个字段,包括机台环境温度、工艺中的热压温度、压力以及时间等,共收集 12 228 条点检数据,产品良率报表共 1 089 条有效计量记录。在每个班别的生产过程中,工人对与生产不良率相关的生产状态参数值进行多次点检。通过对每个班别的参数点检值进行含缺失值均值计算,获取可以表征该班别生产工况的特征数据样本。图 7 是每个班别均值计算后的生产状态点检值示意图,图中绘制了其中 6 个状态数据字段的曲线图,横轴表示班别序号,纵轴表示点检值,每个参数因量纲不同数据集差异较大,需要对数据进行规范化处理。每个班别的产品不良率由生产机台操作系统自动统计。图 8 为每个班别产品不良率示意图,不良率主要集中在 0.0010.005 之间,数量级较小,不适合在训练时计算模型损失值。图 7 生产状态点检值示意图Fig.7 Schematic diagram of inspection values for production status图 8 生产产品不良率示意图Fig.8 Schematic diagram of defective rate of production products3.3 数据规范化 本文通过神经网络模型提取生产状态与生产不良率之间的关系,该模型输入为一维数据。所以本文将与生产不良率相关的所有生产状态数据按工艺顺序进行排列,构成一维数组。训练样本中的输入数据是由多个班别的生产状态数据组成的二维数据,用 x 表示,包含不同类型的状态数据;输出数据则是由多个班别的生产产品不良率(defective rate)组成的一维数据,用 D 表示。首先对生产状态点检值和生产产品不良率进行规范化处理,本文采用 Z-Score 标准化方法对数据进行规范化。Z-Score 标准化如式(12)所示,以生产状态点检值规范化为例,其中 xj为训练集中第j个原始状态参数的一组样本,包含多个班别的点检数据,xj为该样本的数据均值,xj为该样本的数据标准差,则 xj为该状态参数数据样本标准化后的结果。xj=xj-xjxj(12)图 9 和 10 为规范化后的生产状态点检值与生产产品不良率示意图,规范化后的状态数据不同字段点检值数量级接近,生产产品不良率数据集中在-0.520.14,更适用于神经网络建模。第 1 期刘暾东 等:LCD 面板 C/FOG 工艺制造虚拟计量方法研究21 图 9 生产状态点检值规范化后示意图Fig.9 Schematic diagram of normalized inspection values of production status图 10 生产产品不良率规范化后示意图Fig.10 Schematic diagram of normalized defect rate of production products3.4 评价指标 本文采用均方误差(mean square error,MSE)、平均绝对误差(mean absolute error,MAE)、对称平均绝对百分比误差(symmetric mean absolute percentage error,SMAPE)、决定系数(R2)等 4 个评价指标评价模型拟合结果。4 个评价指标表达式如式(13)(16)所示,其中 Di为测试样本中第 i 个班别的不良率真实值,Di为通过虚拟计量模型拟合出来的第 i 个班别的不良率预测值,D 为真实值平均值。MSED=Ni=1(Di-Di)2(13)MAED=1NNi=1Di-Di(14)SMAPED=100%NNi=1Di-Di(Di+Di)/2(15)R2D=1-SSresidualSStotal=1-Ni=1(Di-Di)2Ni=1(D-Di)2(16)因为标签数据在模型训练前进行了规范化的预处理,所以使用训练好的模型对测试集进行测试时,对模型的输出需要进行逆规范化的后处理操作,如式(17)所示,其中Di为第 i 个样本模型的拟合输出,y和 y分别为预处理时计算的标签值的标准差和均值,Di为逆规范化后的预测结果。预测结果与测试集原始标签以百分比(%)形式计算拟合误差。Di=yDi+y(17)3.5 缺失值填补实验 在使用本文提出的 PSO-KNN Imputation 对生产状态点检数据进行缺失值填补的过程中,PSO 算法粒子数设置为 50,迭代次数设置为 50,粒子的学习因子设置为c1=c2=0.3,惯性权重设置为 w=0.15。每个粒子 p 的维度为 2,每个维度取值范围设置为1,2,使用式(7)对优化参数进行映射,其中 op0对应近邻观察值权重计算公式中参数,op1则是近邻样本数K,其中的取值范围为1,2,R,K 的取值范围为1,11,K Z。图 11 为粒子群优化算法对参数进行优化搜索过程中的粒子位置图,颜色越深代表迭代数越大的粒子,从图中可以看出粒子随着优化过程不断地收敛。图 12 为每次迭代后粒子的历史全局最优解,可以看出粒子收敛得很快(12 代后全局最优值保持平稳)。图 11 粒子位置图Fig.11 Particle position map图 12 全局最优值曲线Fig.12 Global optimal value curve实验 优 化 的 最 终 结 果 为 p0=1.120 342、p1=1.223 103,即=1.120 342、K=4,对应的近邻样本标签值的方差平均值S2=0.593 533。22 仪 器 仪 表 学 报第 4 5 卷在几种常见的拟合模型上测试比较本文提出的PSO-KNN Interpolation 与 2.2 节中提到的其他缺失值填补方法的性能。测试模型包括最小二乘法线性(linear)拟合、采 用 径 向 基 核 函 数 的 支 持 向 量 回 归(support vector regression with radial basis function,SVR_rbf)拟合、随机 森 林(random forest,RF)拟 合、多 层 感 知 机(multi-layer perceptron,MLP)拟合,模型拟合结果通过MSE 进行评价。实验结果如表 1 所示。在 SVR_rbf 和RF 拟 合 模 型 的 测 试 中,本 文 提 出 的 PSO-KNN Interpolation 对数据预处理后训练出来的模型拟合效果最优(MSE 最低),在 linear 和 MLP 拟合模型的测试中,虽然本文提出的 PSO-KNN Interpolation 方法效果不是最优的,但均比改进前的 KNN Interpolation 效果更好(MSE 较低)。实验结果表明,本文提出的 PSO-KNN Interpolation 对数据集预处理后训练出来的模型拟合效果较优,更适用于该数据集。表 1 缺失值填补对比实验 MSE 结果Table 1 Missing value filling comparison experiment MSE results填补方法LinearSVR_rbfRFMLPFill Zero16.796 37 0.411 33 0.470 70 0.576 32 Fill Mean16.796 37 0.411 33 0.470 70 0.560 67 Fill Median0.415 84 0.411 49 0.475 01 0.672 77 Fill Most0.427 49 0.411 80 0.473 75 0.664 30 Fill Up0.426 92 0.411 63 0.471 00 0.605 64 Fill Down0.425 76 0.411 44 0.465 06 0.564 06 Linear0.426 77 0.411 34 0.470 71 0.747 40 KNN0.429 24 0.411 42 0.463 07 0.690 98 RF0.426 69 0.411 88 0.459 51 0.928 22 PSO-KNN 0.428 930.411 27 0.458 730.577 84 3.6 虚拟计量实验 将预处理后的生产机台设备状态数据作为虚拟计量模型的输入。数据集以 6 2 2的比例分为训练/验证/测试集。3.2 节中提到,本课题采集到的有效计量数据共包含 1 089 条计量记录,所以划分后的训练集、验证集、测试集数据量分别是 653、218、218。在实际生产过程中,虚拟计量模型只能采用已有的数据集对模型进行训练,再将训练好的模型运用于对未来数据的预测。因此,为了模拟虚拟计量模型在实际生产过程中的应用,本章节仅使用划分好的数据集中训练集和验证集对状态数据缺失值填补的近邻样本数 K 和近邻观察值权重计算函数中的参数 进行优化,再使用优化后的 K 和 确定近邻样本数和近邻观察值权重对测试集中存在的缺失值进行填补。缺失值填补的优化结果为 p0=1.158 378、p0=1.593 6,即=1.158 378、K=6。模型的训练过程中,训练模型的数据批大小和学习率分别设置为 32 和 0.01,L1 正则项权重 设置为 0.01。使用 Adam 作为优化器以及使用 MSE 作为拟合损失函数。在 2.3 节 1)中介绍的多尺度一维卷积部分有两个重要的参数:多尺度卷积核尺度数 S、卷积核通道数C,这两个参数决定着该模型的最终网络结构。本文在对模型进行训练的过程中采用网格搜索的方式对这两个决定模型最终结构的重要参数进行参数选择。网格搜索结果如表 2 所示,可以看出当尺度数 S=5,卷积核通道数 C=32 时,对测试集拟合的均值误差MSE 最低。表 2 模型参数网格搜索 MSE 结果Table 2 Model parameters of grid search MSE results卷积核通道数12345680.409 10.405 50.408 70.422 00.397 90.405 9160.407 50.414 40.414 70.409 10.415 00.415 5240.408 80.402 20.405 70.405 80.402 70.409 2320.410 90.409 60.407 60.409 50.397 70.399 5 尺度数设置为5,卷积核通道数设置为32 时,整个网络模型表示为 MS1DC-CA(5,32),该模型各层结构以及参数数目如表 3 所示。图 13 为 MS1DC-CA(5,32)模型训练过程中的训练集和验证集损失曲线图,其中实线为训练集损失,虚线为验证集损失。图 13 模型训练损失曲线图Fig.13 Model training loss graph 第 1 期刘暾东 等:LCD 面板 C/FOG 工艺制造虚拟计量方法研究23 表 3 MS1DC-CA(5,32)各层结构及参数数目Table 3 Each layer structure and number of parameters for MS1DC-CA(5,32)层(类型)输出规模参数数目Conv1d-1Bs,32,4964Conv1d-2Bs,32,49128Conv1d-3Bs,32,49192Conv1d-4Bs,32,49256Conv1d-5Bs,32,49320ConcatBs,161,490TanhBs,161,490AvgPool1dBs,1610Linear-1Bs,16125 921LeakyReLUBs,1610Linear-2Bs,16125 921SigmoidBs,1610MultiplyBs,161,490FlattenBs,7 8890DropoutBs,7 8890Linear-3Bs,17 890 总训练迭代数为 300,50 代后的训练集和验证集损失值接近于两条直线,这里只截取前 50 代的损失值绘制曲线图。从图中可以看出,该模型的训练过程很快就收敛了(30 代内)。图 14 展示了本文中的 MS1DC-CA(5,32)模型对测试集数据的曲线拟合结果,其中虚线代表原始数据,实线代表模型的预测数据。从图 14 可以看出,模型在一些不良率比较高的班别预测的偏差还是比较大。模型在测试集上拟合的 MSE 为 0.397 7,从总体趋势来看效果较为良好。图 14 测试集拟合效果图Fig.14 Test set fitting effect diagram使用 3.4 节提到的 4 种评价指标对本文提出的MS1DC-CA(5,32)与现有的传统机器学习拟合算法和神经网络拟合算法进行对比。其他拟合模型的参数均已调整为最优参数,实验结果如表 4 所示。表 4 模型对比结果Table 4 Comparison results of missing value filling 模型MSE/MAE/%SMAPE/%R2BPNN0.533 20.389 396.870.022 0Conv1d0.420 10.311 769.370.069 3Attention0.577 00.483 6124.030.022 51D-ResNet4.405 60.788 4197.310.082 6Linear0.429 20.323 371.94-0.029 4Lasso0.411 80.309 768.500Ridge0.428 50.323 071.87-0.028 4KNeighbors0.439 90.328 373.890.030 8SVR_linear0.446 00.311 272.280.059 0SVR_poly0.471 30.325 472.98-0.087 4SVR_rbf0.441 00.313 973.200.056 9SVR_sigmoid2.000 40.778 5126.350.193 5DecisionTree0.627 60.471 3102.40-0.063 7ExtraTree0.716 70.451 6103.78-0.048 5RandomForest0.438 00.349 473.050.074 2AdaBoost0.457 30.411 680.730.092 6GBDT0.452 10.355 674.640.005 0 xgboost0.473 00.371 379.33-0.013 1MS1DC-CA(5,32)0.397 70.300 867.380.246 0 实验结果表明,本文提出的 MS1DC-CA(5,32)模