基于Fiducial推断的Kriging模型选择.pdf

Advances in Applied Mathematics 应用数学进展应用数学进展,2024,13(2),684-691 Published Online February 2024 in Hans.https:/www.hanspub.org/journal/aam https:/doi.org/10.12677/aam.2024.132066 文章引用文章引用:张淑芹,李涵,李新民.基于 Fiducial 推断的 Kriging 模型选择J.应用数学进展,2024,13(2):684-691.DOI:10.12677/aam.2024.132066 基于基于Fiducial推断的推断的Kriging模型选择模型选择 张淑芹张淑芹1，李李 涵涵2，李新民李新民1 1青岛大学数学与统计学院，山东 青岛 2乌鲁木齐八一中学，新疆 乌鲁木齐 收稿日期：2024年1月28日；录用日期：2024年2月22日；发布日期：2024年2月29日 摘摘 要要 计算机试验异军突起，并因其经济性而越来越普遍地取代物理实验。计算机试验异军突起，并因其经济性而越来越普遍地取代物理实验。Kriging模型作为计算机试验的元模模型作为计算机试验的元模型之一，因其使用简单、灵活被广泛地应用于各大领域。本文给出了基于型之一，因其使用简单、灵活被广泛地应用于各大领域。本文给出了基于Fiducial推断的推断的Kriging模型选模型选择方法，并与择方法，并与Lasso和和Elastic Net惩罚下的选择方法相比较。数值模拟和实例分析表明惩罚下的选择方法相比较。数值模拟和实例分析表明Elastic Net惩罚下惩罚下的选择方法优于的选择方法优于Lasso，基于，基于Fiducial推断的模型选择方法相较于推断的模型选择方法相较于Lasso和和Elastic Net具有更高的拟合准具有更高的拟合准确性和预测精度确性和预测精度。关键词关键词 Kriging模型，模型，Fiducial推断，模型选择推断，模型选择 Model Selection of Kriging Model Based on Fiducial Inference Shuqin Zhang1,Han Li2,Xinmin Li1 1School of Mathematics and Statistics,Qingdao University,Qingdao Shandong 2Urumqi Bayi High School,Urumqi Xinjiang Received:Jan.28th,2024;accepted:Feb.22nd,2024;published:Feb.29th,2024 Abstract Computer experiments are becoming increasingly popular and surrogate for physical experiments because of their economy.Kriging model,as one of the meta models of computer experiments,is widely used in various fields because of its simplicity and flexibility.This paper studies a model selection method based on Fiducial inference for Kriging model,and compares with the selection methods under Lasso and Elastic Net penalties.Numerical simulation and case analysis show that 张淑芹 等 DOI:10.12677/aam.2024.132066 685 应用数学进展 the selection method based on Elastic Net penalty is superior to Lasso,and the model selection method based on Fiducial inference has higher fitting accuracy and prediction accuracy compared to Lasso and Elastic Net.Keywords Kriging Model,Fiducial Inference,Model Selection Copyright 2024 by author(s)and Hans Publishers Inc.This work is licensed under the Creative Commons Attribution International License(CC BY 4.0).http:/creativecommons.org/licenses/by/4.0/1.引言引言 随着科学技术的不断发展进步，计算机试验异军突起，并因其经济性而越来越普遍地取代物理实验。计算机试验的主要目标是建立一个相对简单的元模型，使其可以很好地近似原始的复杂模型，从而可以节约时间成本和试验费用。1989 年 Sacks 等1首次提出的 Kriging 模型可以作为计算机试验中的元模型使用，因为它具有方便、灵活和广泛的通用性。Kriging 模型主要包括两个部分：均值函数和一个平稳的高斯过程。当均值函数是一个常数时，称为ordinary Kriging(OK)模型，若在均值函数中假设一些预先指定的变量，则称为 Universal Kriging(UK)模型，也称为一般 Kriging 模型，目前在研究领域被广泛使用。计算机试验通常会包含大量的输入变量，因此，能够准确地识别出哪些变量对输出结果是有重要作用的变量是非常关键的。Welch 等2在 1992 年提出了计算机试验变量选择的概念。他们在均值函数是常数的情形下，选择出对高斯过程影响比较大的一些变量。在 Welch 等人思想的鼓舞下，Li 和 Sudjianto 3提出了惩罚似然的方法，Linkletter 等4使用贝叶斯方法选择出对高斯过程影响较大的变量。目前的 Kriging 模型的变量选择问题从对高斯过程的讨论转移到了均值函数上，均值函数不再是单一的常数值，而是包含了一些预先指定变量的函数，此时我们关注的重点放在了如何从均值函数中准确地选择出主要变量。之所以会发生这样的转变，是因为 OK 模型的恒定均值不足以捕捉总体趋势，采用 UK模型对于建立较为精确的 Kriging 模型是合理的。Zhang 5提出了一种均值函数的新的惩罚方法，并从贝叶斯观点出发证明了该方法的有效性。Hung 6采用惩罚似然方法对均值函数进行变量选择，李涵等11在 Lasso 和 Adaptive Lasso 惩罚似然的基础上，提出 Elastic Net 惩罚，并证明了基于 Elastic Net 惩罚的选择方法在拟合和预测上都优于其他两种。然而基于贝叶斯思想的选择方法在很大程度上依赖于先验的选择，不合适的先验可能会导致一个较差的结果；基于惩罚似然的选择方法往往会导致过拟合现象，更倾向于选择一个较大模型作为最优模型。近些年，Fiducial 推断理论重新兴起，基于 Fiducial 推断的模型选择方法开始迅速发展。不同于贝叶斯方法，Fiducial 推断不依赖于先验信息，避免了先验信息选取不当带来的影响，它还可以给出每个候选模型是最优模型的概率保证。赵勇超等12基于 Fiducial 推断研究了高维线性模型的变量选择问题，结果表明所提出方法具有一定的优越性。本文主要基于 Fiducial 推断对 Kriging 模型均值函数进行变量选择，并与李涵等11提出的基于Lasso 和Elastic Net惩罚的选择方法比较拟合和预测效果。文章主要结构如下：第二部分介绍 Kriging 模型的基础理论知识；第三部分介绍基于 Fiducial 推断的模型选择方法；第四部分通过数据模拟给出变量选择的结果和预测效果；第五部分进行实例分析；最后给出结论。Open AccessOpen Access张淑芹 等 DOI:10.12677/aam.2024.132066 686 应用数学进展 2.一般一般 Kriging 模型模型 假设,1,ix in=是 d 维试验区域上的设计点，()iiyy x=是ix对应的输出值，则一般 Kriging 模型定义为：()()101,1,pijijijyfxz xin=+=,(1)其中()()111,pfxfx是基向量，(),1,1jfxjp=是基函数，j是回归系数，()z x是一个高斯随机过程，其均值为 0，协方差函数为()()()()2cov,;ijijz xz xr x x=,(),;ijr x x是()z x的相关函数，与空间相关参数有关。协方差函数种类多样，这里我们只考虑平方指数协方差函数，即()()()2221cov,expdikjkijkkxxz xz x=.为了方便表示，我们给出上述 Kriging 模型的矩阵记号()12,0,nyFR U UNI=+,(2)其中()1,nyyy=，()011,p=，()12,d=，()2,=是1pd+维参数向量。()R是基于平方指数协方差函数得到的相关系数阵，它的(),i j位置的元素为(),;ijr x x，设计矩阵 F 具有以下形式()()()()()()1111121211111ppnpnfxfxfxfxfxfx.Santner 等7表明最大似然估计优于交叉验证估计，所以本文使用最大似然估计来估计参数，Kriging模型的对数似然函数为：()()()()()()()212111|log 2loglog2222nlyRyFRyF=,(3)当参数已知时，可得到()2,的极大似然估计为：()()()111F RFF Ry=,(4)()()()12yFRyFn=,(5)参数未知时，由于似然函数对的偏导很难计算，其极大似然估计没有解析形式。因此只能通过数值计算的方法给出其近似解：()()2argmin loglogRn=+.(6)当求得参数的估计值()2,=后，对于新的数据点*x，其对应的预测值为：张淑芹 等 DOI:10.12677/aam.2024.132066 687 应用数学进展 ()()()()()*1,y xfxr xX RyF=+,(7)其中()()()()*111,pfxfxfx=，()*,r xX是一个1 n的行向量，表示()*z x与()z X之间的相关性。3.Fiducial 模型选择方法模型选择方法 3.1.广义广义 Fiducial 推断推断 Fiducial 推断的思想最早起源于 Fisher 8，但在当时并没有引起大家的重视，直到 21 世纪初，一些学者重新开始研究 Fiducial，并且对其进行了各种变形使用，用于解决各种推断问题。目前使用最广泛的当属广义 Fiducial 推断(GFI)，不需要参数的先验信息也可以对参数估计进行统计推断。假定描述数据 y 和参数关系的表达式为：(),yG U=,(8)其中(),G 是一个确定的函数，称为数据生成方程，U 是分布已知的随机向量，并且与参数是独立的。给定 y 的情况下，如果对于任意的，1G均存在，则()1,Gy u=.已知 U 的分布，多次重复抽样 U，通过结构方程的逆可以得到一组关于的随机样本，我们称之为的 Fiducial 样本，与之相对应的密度称为的 Fiducial 密度，记为()|ry。Hannig 等人9在 2016 年提出了 Fiducial 密度的一种易于计算的版本，在对似然函数施加一定的光滑性假设下，参数的 Fiducial 密度可以写成：()()()()(),|,dfyJ yryfyJ y=,(9)其中：()()()1,d,du GyJ yDG u=,(10)且()()12det=D AA A，()1,Gy是结构方程关于 u 的逆。3.2.Fiducial 模型选择方法模型选择方法 对于一般 Kriging 模型，假设候选模型集为12,KMMM=，则模型 M 可以表示为：()()12,MMMMMyG MUFRU=+,(11)其中M 是候选模型之一，MM是模型 M 中包含的未知参数，pMR，,0MM，U 是与参数独立且分布已知的随机向量。为了计算方便，我们对其作了简单的转换：(),MMMMyG MUFU=+,其中()12MyRy=，()12=MMMFRF，根据公式(10)可以计算出：()11122,MMMMMJ yF FRSS=,其中()()MMMMMRSSyFyF=，()1MMMMF FF y=。张淑芹 等 DOI:10.12677/aam.2024.132066 688 应用数学进展 广义 Fiducial 推断倾向于变量选择较多的模型，为了防止过拟合，Hannig 和 Lee 10在 GFI 的框架下引入了惩罚，即对每个候选模型加上一个惩罚约束()0,1,min,kP kM n=,其中M是模型 M 中变量的个数，kP是独立同分布的连续随机变量，且满足()0Pfq=，其中 q 是一个确定的惩罚常数。基于最小描述长度的思想，使用1 2qn=作为默认惩罚值，并给出了候选模型 M 的 Fiducial概率：()()()()(),d|,dMMMMMMMMMMMMMMMqfyJyr M yqfyJy=.当参数已知时，对于任意候选模型M，我们可以给出模型 M 的 Fiducial 概率：()()()122|2MnMMnMr MyR MnRSS=.(12)当参数未知时，根据(4)(6)式，可以给出候选模型 M 下的参数估计()2,MMM，再按照参数已知时的情况代入公式(12)，可求得模型 M 的 Fiducial 概率()r M。然后找出候选模型集中模型 Fiducial概率最大的作为最优模型，即()argmaxMMr M=.(13)算法 1 给出了一般 Kriging 模型下 Fiducial 推断变量选择的具体实现步骤。Algorithm 1.Variables selection method of Fiducial inference under the universal Kriging model 算法算法 1.一般 Kriging 模型下 Fiducial 推断变量选择方法 Step 1：根据 Sure Independence Screening(SIS)准则对变量进行重要性排序，构造一组嵌套候选模型集 12,KM MM=；Step 2：对于模型kM，设置初始值()20、()0；Step 3：根据公式(6)求得参数估计l，并将l代入(4)(5)求得()21l+、()1l+；Step 4：重复 Step2、Step3，直至收敛，求得kMRSS；Step 5：将得到的kMRSS代入(12)式，求得模型kM下的 Fiducial 概率()kr M；Step 6：1kk=+，重复 Step 2Step 5，求得模型1kM+下的 Fiducial 概率()1kr M+，直到kK=；Step 7：根据式(13)，比较得到最大的()maxkrM对应的模型*M即为最优模型。4.数值模拟数值模拟 李涵等11提出了 Elastic Net 惩罚下的变量选择方法，并验证了基于 Elastic Net 惩罚的选择方法在拟合和预测上都优于其他方法。本节对提出的 Fiducial 模型选择方法(FUK)进行数值模拟，并将其模拟结果与 Lasso 惩罚(LUK)、Elastic Net 惩罚(ENUK)11的方法进行比较。比较的指标主要包括两方面：一方面是变量识别的准确性，主要有积极变量识别率的平均(AEIR)；消极变量识别率的平均(IEIR)；积极变量个张淑芹 等 DOI:10.12677/aam.2024.132066 689 应用数学进展 数的平均(MEAN)。另一方面是预测精度，主要有均方根预测误差的平均值(MRMSPE)和标准差(sd(RMSPE)。AEIR 越大，说明所选模型中包含的积极变量越多，故 AEIR 越大越好；IEIR，RMAPE，sd(RMSPE)越小越好，MEAN 越接近真模型越好。4.1.模拟模拟 1：线性函数：线性函数 已知函数模型：()1234560.40.30.20.10.050.01yxxxxxxx=+,(14)输入维数12d=，X 均匀分布在120,1，16,xx的系数越来越小，712,xx的系数均为零。()()20,xNR，0.05=，R 是相关系数矩阵，参数1,1,kkd=。本模拟通过拉丁超立方抽样产生12d=，样本量分别为50,80,100N=的样本 D。测试集 T 由随机生成的 1000 个样本点组成。基于 500次重复实验，模拟结果在表 1 中给出。通过表 1 的结果可以得到，从积极变量识别率 AEIR 来看，LUK 和 ENUK 差别不大，N=50 时，FUK不如 LUK、ENUK 高，但随着样本量的增加，FUK 的 AEIR 开始高于 LUK、ENUK。无论样本量大小，FUK的消极变量识别率IEIR一直为0，说明Fiducial选择的最优模型中没有包含消极变量，而LUK、ENUK一直都包含消极变量，随着样本量的增加 IEIR 逐渐减小，ENUK 的 IEIR 要略小于 LUK。从根均方预测误差 RMSPE 来看，ENUK 的预测误差要小于 LUK，且误差标准差也小于 LUK，FUK 的预测误差小于LUK、ENUK，具有良好的预测效果。综上来看，FUK 在积极变量识别率只有在样本量较大时能够展现出优势，但在消极变量识别率上有优势，而且在预测方面也优于 LUK 和 ENUK，这说明 Fiducial 模型选择方法的准确性和稳定性更优。Table 1.Data simulation results of linear function model(14)表表 1.线性函数模型(14)的数值模拟结果 样本容量 方法 AEIR(%)IEIR(%)MEAN MRMSPE sd(RMSPE)N=50 LUK 98.83 50.50 8.96 0.0792 7.71e04 ENUK 98.00 50.50 8.91 0.0790 7.69e04 FUK 67.33 0.00 4.04 0.0671 6.97e09 N=80 LUK 83.33 24.83 6.49 0.0647 2.26e05 ENUK 83.33 24.17 6.45 0.0646 2.11e05 FUK 83.33 0.00 5 0.0631 3.16e09 N=100 LUK 82.40 12.10 6.38 0.0544 7.23e06 ENUK 82.90 11.89 6.30 0.0541 4.88e06 FUK 83.33 0.00 5 0.0506 3.18e09 4.2.模拟模拟 2：非线性钻孔函数：非线性钻孔函数 钻孔函数13模型：()()()1373234621211852log12logx xxxy xxxxxxxx xx=+,(15)输入维数8d=，输入空间为0.05,0.15 100,5000 63070,115600 990,1110 63.1,116 张淑芹 等 DOI:10.12677/aam.2024.132066 690 应用数学进展 700,820 1120,1680 9855,12045，拟合模型使用一般 Kriging 模型()()()y xm xz x=+，设定均值函数形式为()01 188m xxx=+。通过拉丁超立方抽样生成8d=，样本量100N=的样本 D，测试集 T 由计算机随机生成的 1000 个样本点组成。基于 500 次重复试验，模拟结果在表 2 给出。Table 2.Data simulation results of nonlinear borehole function model(15)表表 2.非线性钻孔函数模型(15)的数值模拟结果 方法 AEIR(%)MEAN MRMSPE sd(RMSPE)LUK 80.02 7.54 0.2536 0.0037 ENUK 89.94 7.01 0.2043 0.0035 FUK 98.32 7.89 0.0537 0.0023 从表 2 可以看出，FUK 的 AEIR 高于 LUK、ENUK，最优模型中包含积极变量的个数是最多的，且积极变量的个数也最接近真实模型。从预测效果看，FUK 的平均根均方预测误差 MRMSPE 最小，预测效果最好。可见 FUK 不仅在线性模型中选择变量和预测效果好，在拟合非线性模型上，也具有很好的优良性质。5.实例分析实例分析 活塞拍击的声音是一种由活塞二次运动引起的发动机噪音。为了降低活塞拍击的噪音，选取了 6 种对噪音影响较大的因素进行分析，希望通过改变这 6 种因素达到减少噪音的目的。6 种因素分别为活塞和气缸套之间的设定间隙 x1，峰值压力位置 x2，裙部长度 x3，裙部轮廓形状 x4，裙部椭圆度 x5，活塞销偏置 x6。数据集来源于 Huang 等14，共包含 100 个观测样本，每个样本有 6 个输入变量，模型中可能包含所有的线性主效应、二次主效应以及正交多项式编码下的所有双因素相互作用，因此共有 72 个基变量。我们从 100 个样本中取 80 个作为训练集，剩下的 20 个做测试集，模拟结果在表 3 中给出。Table 3.Data simulation results of a piston slap noise example 表表 3.活塞拍击噪声实例的数据模拟结果 方法 MEAN MRMSPE sd(RMSPE)LUK 15.39 0.1587 0.0057 ENUK 17.48 0.1289 0.0056 FUK 17.57 0.1271 0.0014 从表 3 可以得出，从平均模型长度看，FUK 比 LUK 要长一点，但和 ENUK 相差不大。从平均根均方预测误差 MRMSPE 来看，FUK 比 LUK、ENUK 小，预测效果更好，且结果比较稳定。总体来看，FUK 方法能够在有效简化模型同时具有较好的预测效果。6.结论结论 本文给出了一般 Kriging 模型的 Fiducial 模型选择方法 FUK，并将其与 Lasso 和 Elastic Net 惩罚下的模型选择方法(LUK、ENUK)相比较，通过两个模拟和一个实例我们得到：三种方法中最好的是 FUK，其次是 ENUK，最后是 LUK。ENUK 在拟合和预测方面均优于 LUK 好，FUK 不但在消极变量识别率上有着显著的优势，而且预测误差小于 LUK、ENUK，这说明 FUK 预测效果好且比较稳定。张淑芹 等 DOI:10.12677/aam.2024.132066 691 应用数学进展 参考文献参考文献 1 Sacks,J.,Welch,W.J.,Mitchell,T.J.and Wynn,H.P.(1989)Design and Analysis of Computer Experiments.Statistic-al Science,4,409-423.https:/doi.org/10.1214/ss/1177012413 2 Welch,W.J.,Buck,R.J.and Sacks,J.(1992)Screening,Predicting,and Computer Experiments.Technometrics,34,15-25.https:/doi.org/10.2307/1269548 3 Li,R.and Sudjianto,A.(2005)Analysis of Computer Experiments Using Penalized Likelihood in Gaussian Kriging Models.Technometrics,47,111-120.https:/doi.org/10.1198/004017004000000671 4 Linkletter,C.,Bingham,D.and Hengartner,N.(2006)Variable Selection for Gaussian Process Models in Computer Ex-periments.Technometrics,48,478-490.https:/doi.org/10.1198/004017006000000228 5 Zhang,C.H.(2010)Nearly Unbiased Variable Selection under Minimax Concave Penalty.The Annals of Statistics,38,894-942.http:/www.jstor.org/stable/25662264 https:/doi.org/10.1214/09-AOS729 6 Hung,Y.(2011)Penalized Blind Kriging in Computer Experiments.Statistica Sinica,21,1171-1190.https:/doi.org/10.5705/ss.2009.226 7 Santner,T.J.,Williams,B.J.and Notz,W.I.(2003)The Design and Analysis of Computer Experiments.Springer,New York.https:/doi.org/10.1007/978-1-4757-3799-8 8 Fisher,R.A.(1922)On the Mathematical Foundations of Theoretical Statistics Philosophical Transactions of the Royal Society of London.Series A,Containing Papers of a Mathematical or Physical Character,222,309-368.http:/doi.org/10.1098/rsta.1922.0009 9 Hannig,J.,Iyer,H.,Lai,R.C.S.,et al.(2016)Generalized Fiducial Inference:A Review and New Results.Journal of the American Statistical Association,111,1346-1361.https:/doi.org/10.1080/01621459.2016.1165102 10 Hannig,J.and Lee,T.C.M.(2009)Generalized Fiducial Inference for Wavelet Regression.Biometrika,96,847-860.https:/doi.org/10.1093/biomet/asp050 11 李涵,赵建昕,王晓,李新民.计算机试验下 Kriging 模型选择的比较J.应用数学进展,2021,10(3):694-700.https:/doi.org/10.12677/AAM.2021.103076 12 赵勇超,梁华,李新民.高维回归模型的 Fiducial 变量选择J.中国科学:数学,2023,53(6):839-858.https:/doi.org/10.1360/SCM-2022-0245 13 Worley,B.A.(1987)Deterministic Uncertainty Analysis.Oak Ridge National Lab,TN,USA.14 Huang,H.,Lin,D.K.J.,Liu,M.Q.and Zhang,Q.(2019)Variable Selection for Kriging in Computer Experiments.Journal of Quality Technology,52,1-14.https:/doi.org/10.1080/00224065.2019.1569959