IsomapVSG-LIME：一种新的模型无关解释方法.pdf

DOI:10.11992/tis.202209010网络出版地址:https:/ 计算智能重庆市重点实验室,重庆 400065）摘 要：为了解决局部可解释模型无关的解释(local interpretable model-agnostic explanations,LIME)随机扰动采样方法导致产生的解释缺乏局部忠实性和稳定性的问题，本文提出了一种新的模型无关解释方法 IsomapVSG-LIME。该方法使用基于流形学习的等距映射虚拟样本生成(isometric mapping virtual sample generation,Iso-mapVSG)方法代替 LIME 的随机扰动采样方法来生成样本，并使用凝聚层次聚类方法从虚拟样本中选择具有代表性的样本用以训练解释模型；本文还提出了一种新的解释稳定性评价指标特征序列稳定性指数(fea-tures sequence stability index,FSSI)，解决了以往评价指标忽略特征的序关系和解释翻转的问题。实验结果表明，本文提出的方法在稳定性和局部忠实性上均优于现有的最新模型。关键词：局部可解释模型无关的解释；机器学习；等距映射虚拟样本生成；凝聚层次聚类；稳定性；局部忠实性；随机扰动采样；特征序列稳定性指数中图分类号：TP181 文献标志码：A 文章编号：16734785(2023)04084108中文引用格式：向许,于洪,张晓霞,等.IsomapVSG-LIME：一种新的模型无关解释方法 J.智能系统学报,2023,18(4):841848.英文引用格式：XIANG Xu,YU Hong,ZHANG Xiaoxia,et al.IsomapVSG-LIME:a novel local interpretable model-agnostic ex-planationsJ.CAAI transactions on intelligent systems,2023,18(4):841848.IsomapVSG-LIME:a novel local interpretable model-agnostic explanationsXIANG Xu，YU Hong，ZHANG Xiaoxia，WANG Guoyin(Chongqing Key Laboratory of Computational Intelligence,Chongqing University of Posts and Telecommunications,Chongqing400065,China)Abstract:In order to solve the problem of lacking local fidelity and stability caused by local interpretable model-agnost-ic explanations(LIME)random perturbation sampling method,a new local interpretable model-agnostic explanation,IsomapVSG-LIME is proposed in this paper.In this method,isometric mapping virtual sample generation(IsomapVSG),a virtual sample generation method based on manifold learning,is used in substitution of random perturbation samplingmethod of LIME to generate samples,and aggregation hierarchical clustering method is used to select representativesamples from virtual samples for training explanation model.In addition,this paper also proposes a new explanation sta-bility evaluation index,the features sequence stability index(FSSI),which solves the problem that previous evaluationindexes ignore the sequential relationship of features and the flipping of explanations.Experimental results show that theproposed method outperforms the latest models in terms of stability and local fidelity.Keywords:local interpretable model-agnostic explanations(LIME);machine learning;IsomapVSG;hierarchical ag-glomerative clustering;stability;local fidelity;random perturbation sampling;features sequence stability index(FSSI)机器学习是实现人工智能系统的重要方法。然而，由于可解释性的缺乏，一些具有出色性能的机器学习模型在某些特定领域的部署应用受到了严重阻碍，如医疗诊断、司法量刑、金融等关键决策领域。为了克服这一弱点，许多学者对如何提高机器学习模型可解释性进行了深入的研究，并提出了大量的解释方法以帮助用户理解模 型内部的工作机制1。根据不同的标准2-4，这些方法可以大致分为以下几类：1)事前可解释和事后可解释；2)全局可解释和局部可解释；3)特定于模型的解释和模型无关的解释。收稿日期：20220906.网络出版日期：20230327.基金项目：国家自然科学基金项目(62136002，61876027)；重庆英才计划项目(cstc2022ycjh-bgzxm0004).通信作者：于洪.E-mail：.第 18 卷第 4 期智能系统学报Vol.18 No.42023 年 7 月CAAI Transactions on Intelligent SystemsJul.2023智能系统学报编辑部版权所有其中，模型无关解释方法尤其流行。其目标是设计一个能够解释任意机器学习模型决策过程的独立算法。局部可解释模型无关的解释(localinterpretable model-agnostic explanations,LIME)5是一种著名的模型无关算法，它首先通过随机扰动在实例周围生成模拟数据点，然后用模拟数据拟合一个加权稀疏线性模型来为单个预测提供解释。无论是何种分类器，LIME 的解释总是在局部忠实于待解释实例。由于 LIME 的灵活性和易用性，其在医疗诊断6-9、推荐系统10-11、工业12-13等领域得到了广泛应用。但 LIME 方法本身在解释稳定性和局部忠实性等方面还存在不足之处。局部忠实性指的是解释模型在待解释实例邻域内的行为和黑盒模型的接近程度。稳定性指的是在相同条件下，重复实验在理想情况下应该对相同的实例产生相同的解释。研究发现14-16，两者都与 LIME 的随机扰动采样方法有直接关系。首先，该方法产生的样本比较分散，有些样本可能不符合原始数据分布，其严重影响了解释模型的局部忠实性。其次，由于该方法的随机性，重复实验产生的样本也有所不同，其最终导致 LIME 解释缺乏稳定性。确定性 LIME(deterministic LIME,DLIME)17首先利用凝聚层次聚类(agglomerate hierarchicalclustering,AHC)将数据聚类，然后用 k 近邻(k-nearest neighbor,KNN)算法选择待解释实例的相关类簇来代替 LIME 的随机扰动采样方法，提高了 LIME 解释的稳定性。贝叶斯 LIME(BayesianLIME,BayLIME)18利用贝叶斯修正方法将先验知识融入到 LIME 中，提高了 LIME 解释的稳定性和内核设置的鲁棒性。基于自编码器的 LIME(autoencoder based LIME,ALIME)19用降噪自编码器将数据从原始特征空间映射到隐空间，再进行加权操作，最后根据样本权重选择待解释数据的邻域，提高了 LIME 解释的局部忠实性。稳定的LIME(stabilized-LIME,S-LIME)20利用一个基于中心极限定理的假设检验框架来确定需要扰动的数据点数，以保证结果的稳定性。此外，如何选择一个合适的指标来评价 LIME解释的稳定性也是一个重要的问题。Zafar 等17用特征稳定性指数(features stability index,FSI)指标来评价 LIME解释的稳定性。Zhao 等18用 Jac-card 系数来评价解释的稳定性。Visani 等21提出了一种统计稳定性指标变量稳定性指数(vari-ables stability index,VSI)来评价解释的稳定性。以上指标均存在 2 个缺陷:1)忽略了特征的序关系;2)忽略了特征翻转问题。等距映射虚拟样本生成(isometric mappingvirtual sample generation,IsomapVSG)22是一种基于特征表示的虚拟样本生成(virtual sample genera-tion,VSG)方法，其采用了一种等距映射(isomet-ric mapping,Isomap)23的流形学习方法对数据进行降维处理，然后通过插值法和极限学习机(ex-treme learning machine,ELM)24生成虚拟样本。该方法能够在局部生成可靠的、稠密的虚拟样本。受此启发，本文将 IsomapVSG 引入到 LIME 框架中代替随机扰动采样方法来生成样本，并用 AHC选择具有代表性的样本用以训练解释模型。考虑到特征的序关系和特征翻转问题，本文还提出了一种名为特征序列稳定性指数(features sequencestability index,FSSI)的解释稳定性评价指标来更加准确地度量 LIME 解释的稳定性。1 LIME 模型和 IsomapVSG 模型 1.1 LIME 模型局部代理模型本身是可解释的模型，用于解释黑盒机器学习模型的单个预测，LIME 是 Ribeiro等5提出的局部代理模型的具体实现。代理模型经过训练可以近似底层黑盒模型的预测。LIME并非训练全局代理模型，而是专注于训练局部代理模型以解释单个预测。LIME 的框架结构如图 1 所示。上半部分为一个训练好的黑盒分类器，其内部工作机制未知且不限于某种模型。下半部分为 LIME 产生解释的整个工作流程，解释模型不限于某种模型。对于一个给定的黑盒模型 f 和一个待解释实例 x，LIME通过以下步骤解释 x 的分类结果 f(x)：1)样本生成：随机扰动 x 产生一批指定数量的模拟数据 Z；2)样本加权：根据 Z 与目标实例 x 的相似性对样本进行加权，得到样本权重(Z)；3)获取标签：将步骤 1)产生的样本输入到黑盒模型中获取样本标签信息 f(Z)；4)特征选择：运用某种特征选择方法选择 topk 特征；5)训练解释模型：用加权的样本(Z)和标签信息 f(Z)训练一个可解释的模型 g；6)解释：通过分析解释模型的系数来解释 f(x)。LIME 产生的解释可以表示为(x)=argmingGL(f,g,x)+(g)L式中：为损失函数和；为解释模型的复杂度，例842智能系统学报第 18 卷 L如解释模型为决策树时，模型复杂度为决策树的深度。损失函数 定义为L(f,g,x)=z,zZx(z)(f(z)g(z)2fgz式中：为黑盒模型；为解释模型；为采样得到zz的新数据点；为 的可解释表示；为加权函数，其定义为x(z)=exp(D(x,z)2/2)D式中：为欧氏距离，为核宽参数。黑盒分类器待解释实例 x样本生成LIME 工作流程样本加权获取标签分类器 f训练集特征选择训练解释模型解释分类结果 f(x)图 1 LIME 框架Fig.1 LIME framework 1.2 IsomapVSG 模型IsomapVSG22的目标是通过生成可行的虚拟样本来解决小样本问题，提高软传感模型的精度。整个过程可分为以下步骤：1)利用小样本构建 ELM 模型；2)通过流形学习方法和插值方法生成虚拟样本；3)选择合适的虚拟样本并将其加入训练样本集对 ELM 模型进行修改。IsomapVSG 的流程如图 2 所示。原始训练样本特征 x标签 y特征 xvir标签 yvirIsomap 数据映射插值法生成样本构建 ELM 模型y=fELM计算虚拟样本的输出yvir=fELMxvir虚拟训练样本选择可靠的虚拟样本用虚拟样本和原始样本重构 ELM 模型 图 2 IsomapVSG 流程Fig.2 Flowchart of the IsomapVSG IsomapVSG 的数据生成过程分为以下步骤：1)利用 Isomap 方法将所有基样本从原始特征空间映射到二维特征空间，得到二维空间中所xi=xi1,xi2,i=1,2,n有点的坐标和 k 个近邻。2)用插值法生成虚拟样本。根据每个投影点之间的距离和平均距离确定插补点的数量和位置，二维空间中第 i 个投影点与第 j 个投影点之间的距离为dist(xi,xj)=(xi1xj1)2+(xi2xj2)2平均距离为AD=1knni=1nj=1dist(xi,xj)dist(xi,xj)如果 2 个投影点之间的距离 大于所有投影点之间的平均距离，虚拟样本点在这 2个投影点之间的直线的 t 分割处生成产生，t 定义为t=dist(xi,xj)ADxvir RV2最终，所有的二维虚拟样本点被获取，其中 V 是虚拟样本点的数量。xixixvirxvir RVm3)获取虚拟样本在原始特征空间的表示。建立从二维投影点到原始样本点的 ELM 模型，以所有样本在二维空间的坐标为输入变量，以所有样本的原始输入为输出变量。根据建立的网络模型和，虚拟样本输出可以被计算。4)选择可靠的虚拟样本。考虑到生成的虚拟样本的可行性，合适的虚拟样本受制于不等式：Li xi Ui,i=1,2,mxiLi(Ui)式中：为决策变量的第 i 维向量，为i 个决策变量的下(上)界。2 IsomapVSG-LIME 模型LIME 的目标是在待解释实例的邻域内训练第 4 期向许，等：IsomapVSG-LIME：一种新的模型无关解释方法843 一个简单的可解释的模型，通过分析解释模型的系数来解释单个预测结果。为了训练解释模型，首先需要在待解释实例的邻域内生成一批模拟数据。LIME 使用随机扰动采样的方法来生成模拟数据，该方法本身存在一些缺陷。首先，通过随机扰动生成的样本比较分散，并且可能存在一些样本不符合原始数据分布，这严重影响了解释模型的局部忠实性。低的局部忠实性意味着解释方法是不可靠的。其次，由于该方法具有随机性，对于同一待解释实例，在相同条件下重复多次实验所生成样本也会有所不同，这会导致 LIME产生不稳定的解释。不稳定的解释意味着解释结果是不可信的。LIME 在邻域数据生成过程中应该考虑 3 个重要的因素。首先，生成的数据点要尽可能符合原始数据分布。其次，为了获取准确的解释，有必要在待解释实例周围生成稠密的数据。最后，为了获得稳定的解释，样本生成过程的随机性要尽可能小。IsomapVSG 采用了一种称为 Isomap的流形学习方法对数据进行降维处理，然后通过插值法和极限学习机生成虚拟样本。其可以在局部生成稠密的、符合原始数据分布的虚拟样本。因此，本文将 IsomapVSG 引入 LIME 框架中代替随机扰动采样方法进行样本生成，然后用凝聚层次聚类方法从生成的样本中选择具有代表性的样本，最后用选择的样本训练一个可解释的模型来提供解释。本文提出方法的框架如图 3 所示。训练集待解释实例 x分类器 fIsomapVSG模型近邻选择样本生成样本选择特征选择获取标签样本加权训练解释模型 图 3 IsomapVSG-LIME 模型Fig.3 IsomapVSG-LIME model 对于一个给定的黑盒模型 f 和一个待解释实例 x，IsomapVSG-LIME 通过以下步骤产生解释：1)近邻选择：IsomapVSG 生成模型需要一定数量的基样本作为输入，同时，模型生成的样本应该尽可能稠密。因此，通过计算欧氏距离从训练集中选出离待解释实例距离最近的 m 个样本。2)样本生成：设定需要生成的样本数量，然后将步骤 1)中选择的近邻数据作为 IsomapVSG模型的输入，生成指定数量的样本。3)样本选择：这一步的目标是从虚拟样本中选择具有代表性的数据点。给定一个最小样本数量阈值，该方法能够自适应地为待解释实例选择合适的数据点，从而确定其邻域的密度25。整个样本选择过程如算法 1 所示。算法 1样本选择 procedure DataSelection(x,f,Z,)nc 2 Z l L for all doGl z Z|f(z)=l Gl xGl while True docx,cx AgglomerativeClustering(Gl,nc)|cx|if thenGl cx else breakZ ZGl Z return L其中 x 为待解释实例，f 为黑盒模型，为最小样本数量阈值，为标签集合。该算法可分为3 个步骤：根据样本的标签信息将样本划分为多个集合，每一个集合中的样本的标签相同；将每一个集合的样本并上待解释实例，然后用凝聚层次聚类方法将该集合聚为 2 类：a）包含待解释实例的类簇；b）不包含待解释实例的类簇；对待解释实例所属的类簇进行数量判断，如果该类簇样本数量不小于设定的阈值，则保留该部分样本，否则丢弃该部分样本。对每一个样本集合重复上述步骤最终返回挑选出的样本以用作训练解释模型。4)获取标签：将步骤 3）选出的样本输入黑盒模型中获取标签信息。844智能系统学报第 18 卷 5)样本加权：根据样本和待解释实例的相似程度对样本进行加权，本文使用了 RBF(radialbasis function)核函数作为加权函数。该函数提供了 0,1 的平滑权重，权重的值通过核宽参数进行调整。RBF(z)=exp(xz22)6)样本选择：运用前向特征选择方法从数据中选出最重要的 k 个特征；7)训练解释模型：利用上述步骤中得到的样本、样本标签信息和样本权重训练一个线性模型作为解释模型，通过分析模型的参数返回解释结果。本文提出方法的伪代码如算法 2 所示。算法 2IsomapVSG-LIME 模型Xtrain输入训练集,分类器 f,解释实例 x,解释长度 K,样本数量 N,加权函数。输出解释模型 g。初始化 Y=,W=,Z=,F=Xtrain Neighbours SelectNeighbors(x,)Z=IsomapVSG(Neighbours,N)Z=DataSelection(x,f,Z,t)for z in Z:W=W (z)Y=Y f(z)F=FeatureSelection(Z,K)g=LinearRegression(Z,Y,W,F)3 实验结果与分析 3.1 评价指标LIME 返回的解释结果为一个列表：E=(e1,w1),(e2,w2),(ek,wk)列表的每个元素为一个元组，元组中的第1 个元素表示特征，第 2 个元素表示特征的权值，且权值大小满足：|w1|w2|,|wk1|wk|e1,e2,ekw1,w2,wkA=(TB,0.5),(DB,0.4),(TP,0.3)B=FSI17、Jaccard 系数18 和 VSI21在评估解释稳定性时仅仅考虑特征集合，没有考虑特征的序关系和特征的权值，特征的权值对于解释来说是非常重要的信息。特征权重的绝对值越大表示特征越重要，特征在解释列表中的位置越靠前，反之亦然。如果权重的符号为正，表示特征与解释呈正相关关系，反之亦然。因此，以上指标不能准确地评估 LIME 解释的稳定性。例如，假设 LIME 2 次重复实验返回的解释结果为和(TP,0.5),(DB,0.4),(TB,0.3)DB，根据定义计算，VSI(A,B)=FSI(A,B)=J(A,B)=1，但是这并不意味LIME 的解释是稳定的。因为特征之间存在序关系，并且第 2 个特征的权重由正值变为了负值，即发生了解释翻转。EA=(ea1,wa1),(ea2,wa2),(eak,wak)EB=(eb1,wb1),(eb2,wb2),(ebk,wbk)FSSI(EA,EB)为了更好地量化 LIME 解释的稳定性，本文提出了一种新的稳定性评价指标 FSSI(features se-quence stability index)。对于 2 次重复实验产生的解释结果和，定义为FSSI(EA,EB)=ki=11eai=ebi&waiwbi0k 0,1只有在特征序列和特征权值的符号相同时，才认为这 2 次实验的解释结果是稳定的。FSSI 值越大表示解释的稳定性越高。因此，根据定义 FSSI(A,B)=0，即 LIME 产生的解释是不稳定的。算法3 给出了 FSSI 的伪代码。为了评价模型的局部忠实性，本文选用了 R2作为评价指标，R2定义为R2=1ni=1(yi yi)2ni=1(yiy)2 0,1算法 3特征序列稳定性指数(FSSI)EA=(ea1,wa1),(ea2,wa2),(eak,wak)输入 EB=(eb1,wb1),(eb2,wb2),(ebk,wbk)输出 FSSI foreach i in 1,2,k Initialize count=0eaiebiwaiwbi 0 if=and count+return count/k 3.2 数据集和对比算法本文共使用了 6 个公开的常用加州大学欧文分校(university of California Irvine,UCI)数据集(http:/archive.ics.uci.edu/)作为实验数据集：Parkin-sons、Breast cancer(BC)、Indian liver patient(ILP)、Wine quality(Wine)、Electrical grid(EG)和 Bankmarketing(Bank)。数据集的详细统计信息如表 1所示。为了评估本文提出方法的性能，本文选择了以下 5 个最新的方法作为对比算法：LIME5、DLIME17、BayLIME18、ALIME19和 S-LIME20。第 4 期向许，等：IsomapVSG-LIME：一种新的模型无关解释方法845 表 1 数据集的统计信息Table 1 Statistics of the datasets 数据集样本数特征数类别数任务Parkinsons197222分类BC569302分类ILP579102分类Wine4 9801110分类EG10 000132分类Bank45 211202分类 3.3 实验设置所有的数据集被划分为 80%训练集，20%测试集。算法 1 中参数 的值设置为 100。算法 2 中，样本数量 N 设置为 1 000，ILP、Wine 和 EG 数据集的解释长度 K 设置为 5，其他数据集设置为 10。参照 DLIME、BayLIME、LIME、S-LIME 均使用了随机森林作为黑盒模型，在后续实验中均使用含500 棵树的随机森林26模型作为黑盒模型。3.4 局部忠实性评估为了评估本文提出方法的局部忠实性，以R2 为评价指标，将其和其他 5 种最新方法在 6 个数据集上进行了详细的对比实验，实验结果如表 2所示。从表 2 中可以看出，针对不同的数据集，LIME、BayLIME、DLIME、ALIME 和 S-LIME 的局部忠实性水平波动很大，而 IsomapVSG-LIME 比较稳定，R2 值均保持在 0.7 左右，这在一定程度上说明了本文提出方法的泛化性能是比较好的。就 R2 的平均值而言，IsomapVSG-LIME 比其他5 种方法的平均值高出 46.93%，比局部忠实性最低的 DLIME 高出 67.4%，比局部忠实性最高的BayLIME 高出 20.27%。在单个数据集上和其他方法相比，IsomapVSG-LIME 比局部忠实性最低的 DLIME(在 EG 数据集上)高出 77.67%，比局部忠实性最高的 BayLIME(在 BC 数据集上)高出19.18%。综上，本文提出方法有效地提高了 LIME解释的局部忠实性。表 2 局部忠实性实验结果Table 2 Local fidelity experiment results 数据集IsomapVSG-LIMELIME5DLIME17BayLIME18ALIME19S-LIME20Parkinsons0.776 10.337 20.061 30.500 60.347 30.325 0BC0.798 70.277 30.136 10.607 90.244 40.260 2ILP0.793 30.216 20.058 20.592 90.236 30.209 7Wine0.693 60.142 60.006 80.395 40.177 50.168 6EG0.777 40.252 00.000 70.595 70.252 40.244 2Bank0.627 70.298 90.094 30.558 50.302 50.288 8平均0.744 50.254 10.070 50.541 80.260 00.249 4 3.5 稳定性评估为了评估本文提出方法的稳定性，以 FSSI 为评价指标，在相同条件下对测试集中的每一条数据重复进行了 10 次实验，对比实验结果如表 3 所示。从表 3 中可以明显地看出，本文所提方法和DLIME 一样，是一种稳定的方法，在每一个数据集上的 FSSI 值都达到了 1.0。就 FSSI 的平均值而言，IsomapVSG-LIME 比其他 4 种方法(DLIME除外)的平均值高出了 53.81%，比稳定性最差的LIME 高出了 62.52%，比稳定性最好的 S-LIME 高出了 49.2%。在单个数据集上和其他方法(DLIME除外)相比，IsomapVSG-LIME 比稳定性最低的LIME(在 EG 数据集上)高出 69.18%，比稳定性最高的 S-LIME(在 ILP 数据集上)高出 21.49%。综上，本文提出方法有效地提高了 LIME 解释的稳定性。表 3 稳定性实验结果Table 3 Stability experiment results 数据集IsomapVSG-LIMEDLIME17LIME5BayLIME18ALIME19S-LIME20像素1.000 01.000 00.335 60.438 30.403 10.509 4BC1.000 01.000 00.336 40.578 20.326 30.622 2ILP1.000 01.000 00.516 30.779 10.535 20.785 1 846智能系统学报第 18 卷 续表 3数据集IsomapVSG-LIMEDLIME17LIME5BayLIME18ALIME19S-LIME20Wine1.000 01.000 00.433 70.637 90.476 10.461 1EG1.000 01.000 00.308 20.327 80.372 60.387 3Bank1.000 01.000 00.318 50.363 50.325 10.508 0平均值1.000 01.000 00.374 80.520 80.406 40.545 6 3.6 消融实验为了验证样本选择模块的有效性，本节设置了一个消融实验，将去掉样本选择模块的 Iso-mapVSG-LIME 模型(命名为 Version1.0)和包含样本选择模块的 IsomapVSG-LIME 模型(命名为Version2.0)进行局部忠实性对比，实验结果如表 4所示。从表 4 中可以看出，就 R2 的平均值而言，Version2.0 比 Version1.0 提高了 17.15%。在单个数据集上，ILP 数据集的提升效果最明显，提高了26.38%。EG 的提升效果最差，提高了 8.33%。综上，样本选择模块是必要的，其可以有效地提高解释的局部忠实性。表 4 消融实验结果Table 4 Ablation experiment results 数据集Version1.0Version2.0Parkinsons0.625 30.776 1BC0.574 70.798 7ILP0.529 50.793 3Wine0.511 90.693 6EG0.694 10.777 4Bank0.516 30.641 6平均值0.575 30.746 8 4 结束语为了提高 LIME 解释的局部忠实性和稳定性，本文提出了一种新的局部模型无关解释方法IsomapVSG-LIME。该方法使用基于流形学习的虚拟样本生成方法 IsomapVSG 代替 LIME 的随机扰动采样方法来进行样本生成，然后用凝聚层次聚类方法从生成的虚拟样本中选择具有代表性的样本，最后用其训练一个加权稀疏线性模型来解释单个预测实例。此外，本文还提出了一种新的解释稳定性评价指标 FSSI，克服了以往评价指标忽略特征序关系和解释翻转的缺陷。在现有的公开数据上进行对比实验，结果表明本文提出的方法在局部忠实性和稳定性上均优于其他方法。参考文献：纪守领,李进锋,杜天宇,等.机器学习模型可解释性方法、应用与安全研究综述 J.计算机研究与发展,2019,56(10):20712096.JI Shouling,LI Jinfeng,DU Tianyu,et al.A review of in-terpretability methods,applications and security of ma-chine learning modelsJ.Journal of computer researchand development,2019,56(10):20712096.1陈珂锐,孟小峰.机器学习的可解释性 J.计算机研究与发展,2020,57(9):19711986.CHEN Kerui,MENG Xiaofeng.Interpretability of Ma-chine LearningJ.Journal of computer research and de-velopment,2020,57(9):19711986.2MOLNAR C.Interpretable machine learningM.Raleigh:Lulu Press,2019.3程国建，刘连宏.机器学习的可解释性综述 J.智能计算机与应用,2020,10(5):69.CHENG Guojian,LIU Lianhong.An overview of theinte rpre tability of machine learningJ.Intelligent com-puter and applications,2020,10(5):69.4RIBEIRO M T,SINGH S,GUESTRIN C.“why should Itrust You?”:explaining the predictions of any classifierC/Proceedings of the 22nd ACM SIGKDD Internation-al Conference on Knowledge Discovery and Data Mining.New York:ACM,2016:11351144.5MODHUKUR V,SHARMA S,MONDAL M,et al.Ma-chine learning approaches to classify primary and meta-static cancers using tissue of origin-based DNA methyla-tion profilesJ.Cancers,2021,13(15):3768.6PAN Pan,LI Yichao,XIAO Yongjiu,et al.Prognostic as-sessment of COVID-19 in the intensive care unit by ma-chine learning methods:model development and valida-tionJ.Journal of medical internet research,2020,22(11):e23128.7SCHULTEBRAUCKS K,CHOI K W,GALATZER-LEVY I R,et al.Discriminating heterogeneous trajector-ies of resilience and depression after major life stressorsusing polygenic scoresJ.JAMA psychiatry,2021,78(7):744752.8FAN Yanghua,LI Dongfang,LIU Yifan,et al.Toward9第 4 期向许，等：IsomapVSG-LIME：一种新的模型无关解释方法847 better prediction of recurrence for Cushings disease:afactorization-machine based neural approachJ.Interna-tional journal of machine learning and cybernetics,2021,12(3):625633.NBREGA C,MARINHO L.Towards explaining re-commendations through local surrogate modelsC/Pro-ceedings of the 34th ACM/SIGAPP Symposium on Ap-plied Computing.New York:ACM,2019:16711678.10ZHU Fan,JIANG Min,QIU Yiming,et al.RSLIME:anefficient feature importance analysis approach for indus-trial recommendation systemsC/2019 InternationalJoint Conference on Neural Networks.Piscataway:IEEE,2019:16.11DARIAN M,ONCHIS.Stable and explainable deeplearning damage prediction for prismatic cantilever steelbeamJ.Computers in industry,2021,125:103359.12PANDEY P,RAI A,MITRA M.Explainable 1-D convo-lutional neural network for damage detection using LambwaveJ.Mechanical systems and signal processing,2022,164:108220.13GARREAU D,LUXBURG U.Explaining the explainer:A first theoretical analysis of LIMEC/In