基于NaN-Bicluster SMOTE的非均衡信贷数据分类研究及应用.pdf

ISSN 10049037，CODEN SCYCE4Journal of Data Acquisition and Processing Vol.38，No.6，Nov.2023，pp.1482-1494DOI：10.16337/j.10049037.2023.06.021 2023 by Journal of Data Acquisition and Processinghttp：/Email：sjcj Tel/Fax：[phone]基于 NaNBicluster SMOTE 的非均衡信贷数据分类研究及应用何亮，徐海燕，陈璐（南京航空航天大学经济与管理学院，南京 211106）摘要：为了有效评估非均衡信贷数据中的借款人信用风险，基于合成少数过采样技术（Synthetic minority oversampling technique，SMOTE）、自然近邻（Natural neighbor，NaN）和双聚类（Bicluster）构建了NaNBicluster SMOTE 方法以改进 SMOTE。首先使用无参数的自然近邻设定采样样本选取的逻辑规则，规避了r近邻划分样本时产生的不稳定性；其次基于自然近邻稳定结构规定安全范围设定的逻辑规则，避免合成样本成为噪声样本；然后使用双聚类挖掘局部规则，以合成样本继承局部规则的方式改进SMOTE合成公式；最后，在Prosper小额贷款平台的非均衡信贷数据集上将NaNBicluster SMOTE与若干采样方法和机器学习模型进行对比分析，并进一步使用统计检验方法验证其性能的优越性。关键词：小额贷款；信用风险；合成少数过采样技术；自然近邻；双聚类中图分类号：TP181 文献标志码：AResearch and Application of Imbalanced Credit Data Classification Based on NaNBicluster SMOTEHE Liang，XU Haiyan，CHEN Lu(College of Economics and Management,Nanjing University of Aeronautics&Astronautics,Nanjing 211106,China)Abstract：To assess borrower s credit risk using imbalanced data，we propose an improved SMOTE，called NaN-Bicluster SMOTE，which is based on synthetic minority oversampling technique（SMOTE），natural neighbor（NaN）and bicluster.Firstly，we use parameterless NaN to set logical rules for sampling sample selection，avoiding the instability caused by r nearest neighbor partitioning of samples.Secondly，based on the neighbor relationship of stable structure，we set logical rules that specify security range to avoid samples becoming noise samples.Then，we use bicluster to mine local rules，synthetic samples inherit local rules，and synthetic formula is improved.Finally，we apply several sampling methods and machine learning models，carry out various experiments of NaN-Bicluster SMOTE and comparative models on Prosper s credit data，and further use statistical testing methods to verify the performance of NaN-Bicluster SMOTE.Key words:microloans;credit risk;synthetic minority oversampling technique(SMOTE);natural neighbor(NaN);bicluster基金项目：国家自然科学基金面上项目(71971115);国家自然科学基金青年项目(72201126)；智能决策与数字化运营工业和信息化部重点实验室项目（NJ2023027）。收稿日期：20220713；修订日期：20221005何亮 等：基于 NaNBicluster SMOTE的非均衡信贷数据分类研究及应用引 言小额贷款作为小额度的持续性信贷形式1，在缓解个人及中小企业的资金约束、推动经济持续增长的过程中，发挥着不可替代的作用2，已经成为一种主要的信贷模式。然而，越来越多的小额贷款平台因为借款人的信用风险而蒙受巨大损失，甚至濒临破产和倒闭34，因此，有效甄别信用优质的借款人对信贷行业的健康发展有着深远影响。机器学习模型可以有效甄别借款人的信用风险，借助于信贷数据对借款人的信用进行“违约”与“非违约”风险的分类评估。决策树（Decision tree，DT）5、逻辑回归（Logistic regression，LR）6、K 近邻（K nearest neighbor，KNN）7、支持向量机（Support vector machine，SVM）89和神经网络（Neural network，NN）10等机器学习模型已被广泛用于评估信用风险，并被证实具有较好的性能。而在现实信贷数据中，“违约”借款人占比极少，与“非违约”借款人的数量差异极大，这种差异使得信贷数据具有非均衡特征。机器学习模型在处理非均衡数据时，往往过多地学习“非违约”的多数类样本，对“违约”的少数类样本识别欠缺，致使机器学习模型对“违约”的少数类样本识别能力近乎为零，无法分类出关键的“违约”借款人也就不具备实际应用价值。如何妥善处理信贷数据的非均衡特征，提升机器学习模型的分类能力，成为信用风险评估中亟待解决的问题。现有研究中，非均衡数据的处理方式可分为成本敏感方法11、算法级方法12和数据级方法13。数据级方法使用最为广泛，包含欠采样方法和过采样方法。两种采样方式虽然同样易受噪声和边界样本的影响，但欠采样方法丢失过多数据，数据原有特性被破坏，而过采样方法的对象是决策者关注的“违约”少数类样本，应用场景较欠采样方式更为广泛。合成少数过采样技术（Synthetic minority oversampling technique，SMOTE）14是一种著名的过采样方法，通过在邻近的少数类样本之间进行随机线性插值合成新少数类样本，从而达到数据均衡，被运用于信用风险评估15、虚假评论识别16及工业故障检测17等诸多领域。然而，诸多研究表明 SMOTE 的合成过程易受噪声和边界样本影响，均衡化后的数据往往不符合预期1819，因此，改进合成过程以此提升 SMOTE的均衡能力至关重要。采样方式和合成公式是 SMOTE 改进的两个主要方向。采样方式的改变是指在指定区域内合成少数类样本。Han等20认为处于正负类之间的边界样本被误分的概率较大，于是基于在边界区域合成样本的思想构建了 Borderline SMOTE，但其忽视了噪声的影响；Bunkhumpornpat等21通过计算安全水平范围，提出了 SafeLevel SMOTE，将合成的少数类样本置于安全区域，但合成的少数类样本过于靠近多数类样本，从而干扰了分类过程；赵冬雪等22融合采样方式和粗糙集属性约简技术，构建动态集成的分类模型；邢延等23使用类别混叠度作为采样的依据，指导非均衡数据的分类；吴志峰等24综合使用逐级优化递减欠（Optimization of decreasing reduction，ODR）采样算法和数据清洗方法，构建了融合自适应变核参数模型（ODRBSMOTETOMEK adaptive support vector machine，OBTAdaptiveSVM），以提升分类性能。改变合成公式旨在弥补线性随机插值带来的噪声样本过度泛化且随机性较强的不足。Li 等25通过计算少数类样本与其自然近邻（Natural neighbor，NaN）样本的属性差值，替代传统SMOTE 的属性差值计算，使得合成样本与少数类样本具有更多的相似性，并消减噪声样本的影响；Soltanzadeh 等26构建了边界约束的合成少数过采样技术（Rangecontrolled synthetic minority oversampling technique，RCSMOTE），通过计算属性的范围，融合差分计算并设计了一套全新的合成公式，但对高维属性的数据运算较为缓慢。现有研究对传统 SMOTE 进行了多方改进，但采样样本选取、合成公式制定仍存在部分欠缺之处，具体如下：（1）现有研究通过r近邻（rnearest neighbor，NNr）划分安全样本、边界样本和噪声样本，以此选定边界样本进行采样。然而，该种划分方式严重依赖于近邻参数r的设定，整个合成过程对参数取值1483数据采集与处理 Journal of Data Acquisition and Processing Vol.38,No.6,2023极为敏感，存在较大的不稳定性。（2）在边界样本的少数类样本和其r近邻少数类样本合成新样本时，无法保证少数类样本与r近邻少数类样本同时处于安全范围，存在合成样本置于多数类范围内的现象，成为噪声样本并混淆了分类边界。（3）随机线性差值的合成公式忽视了合成样本与少数类样本之间的关联规则，合成样本应继承少数类样本的规则，以体现两者的相关性。针对现有研究中存在的问题，本文在 SMOTE 基础上，借助于无参数设定并提供稳定结构的自然近邻、用以挖掘数据隐藏的局部信息及表达同类数据关联规则的双聚类（Bicluster）2728，构建了NaNBicluster SMOTE，以此从采样样本选取、安全范围设定和合成公式制定多个角度改进 SMOTE。首先，使用无参数的自然近邻设定采样样本选取的逻辑规则，找出可疑样本并用离群度对可疑样本进行边界样本和噪声样本的甄别，取代依赖于参数设定的r近邻样本划分方式，更为客观地选取参与采样的边界样本；其次，对于边界样本中的少数类样本，借助自然近邻的稳定结构规定安全范围设定的逻辑规则，规避合成样本置于多数类范围的情形；然后，在安全范围内，通过双聚类提取局部规则，使得合成样本继承少数类样本的局部规则，从而实现合成公式的改进；最后，结合 Prosper小额贷款平台的信贷数据，与已有的多种采样方法和机器学习模型进行大量的对比分析，并使用统计检验方法验证本文所提的 NaNBicluster SMOTE方法在信贷数据上的均衡性能。1 理论分析1.1SMOTE（1）基础理论SMOTE 通过少数类样本xmini、xminj的随机线性插值合成新少数类样本xnew，实现数据的均衡化20，合成公式可表示为xnew=xmini+gap(xmini-xminj)（1）式中gap表示 01 之间的随机数。对于任意一个少数类样本xmini，挑选其 r 近邻集合中的少数类样本xminj，通过式（1）合成新的少数类样本xnew。（2）理论不足现有研究中 SMOTE的采样样本选取、合成公式制定仍有待完善，具体问题可归纳为以下 3点：第一，采样样本的选取过程严重依赖于参数设定。现有研究通过r近邻集合中少数类样本的个数r，实现安全样本S（r/2 r r）、边界样本B（0 r r/2）和噪声样本N（r=0）的划分，并对边界样本进行过采样，如图 1（a）所示。但该过程依赖近邻参数 r的设定，不同 r得到的边界样本集合是不同的，使 SMOTE的性能存在较大不稳定性。图 1SMOTE采样样本选取及安全范围示意图Fig.1Schematic diagram of sample selection and safe range setting for SMOTE sampling1484何亮 等：基于 NaNBicluster SMOTE的非均衡信贷数据分类研究及应用第二，无法保证合成过程处于安全范围。在图 1（b）中，Bmini为边界样本中的少数类样本，Bmini，r近邻为Bmini的r近邻集合中的少数类样本，在Bmini和Bmini，r近邻之间合成新少数类样本Bmini，new，但参与采样的样本Bmini与Bmini，r近邻未处于安全合理的范围，使得合成样本Bmini，new处于多数类样本的范围之内，成为不符合预期的噪声样本。第三，合成公式的制定有较大提升空间。式（1）中的xmini体现合成样本与原样本的相似性，gap(xmini-xminj)则体现了二者的差异性，在一定程度上权衡了相似性和差异性，但尚未充分体现xmini、xminj和xnew之间的内在关联规则。1.2自然近邻自然近邻相较于r近邻，是一种无参数设定的检测技术29，被广泛运用于异常值检测30和分层聚类31等领域；其原理是不断搜索每个样本的r近邻，直到每一个样本都有一个相互的r近邻，形成稳定结构，此时自然近邻的特征值等于r32，且每个样本的自然近邻集合的元素个数均不同，可以表述为(xi)(xj)(r n)(xi xj)(xi NNr(xj)(xj NNr()xi)（2）式中：xi和xj分别表示两个不同的样本；NNr(xi)表示xi的r近邻集合；NNr(xj)表示xj的r近邻集合。在一个稳定结构中，对于任意一个xi，都存在与之不同的xj，使得xi与xj互为r近邻。自然近邻的定义如式（3）所示，被看作为稳定结构中构成的友邻关系xi NaN(xj)xj NN(xi)xi NN(xj)（3）式中NaN(xj)表示xj的自然近邻集合。xi属于xj的自然近邻集合的充要条件是，在稳定结构中，xj是xi的近邻，且xi是xj的近邻。1.3双聚类相较于传统聚类搜寻的全局信息，双聚类挖掘了数据隐藏的局部信息，用以表达同一类数据的关联规则27。其原理是同时对矩阵的行和列进行聚类，寻找具有紧密联系的子矩阵，即为双聚类结果，如图 2所示。在图 2中，依据平均平方残差删除无关联的行或者列，得到平均平方残差在阈值范围内的子矩阵，进而归纳出局部规则，具体定义如下33。m n的数据集构成原始矩阵A，G为m个样本的集合，C为n个属性的集合，xij为第i个样本的第j个属性值。双聚类结果为Bicluster=(I，J)，其中I为G的子集，J为C的子集，子矩阵Bicluster的平均平方残差H(I，J)的计算公式为H(I，J)=1|I|Ji I，j J(xij-xIj-xiJ+xIJ)2（4）图 2双聚类示意图Fig.2Schematic diagram of bicluster1485数据采集与处理 Journal of Data Acquisition and Processing Vol.38,No.6,2023式 中：xiJ表 示Bicluster第i行 的 平 均 值，xiJ=1|Jj Jxij；xIj表 示Bicluster第j列 的 平 均 值，xIj=1|Ii Ixij；xIJ表示Bicluster的平均值。通过设定子矩阵Bicluster的最大平均平方残差，决定Bicluster中行列的添加与删除，(0，1)。越小，允许的最大平均平方残差越小，表明子矩阵的内在联系越紧密，则Bicluster和局部规则的规模越小；反之，Bicluster和局部规则的规模越大3435。2 NaNBicluster SMOTE方法构建为完善 SMOTE 的理论不足，构建了 NaNBicluster SMOTE 方法的框架结构，依据该框架结构依次介绍本文工作。2.1NaNBicluster SMOTE框架构建基于自然近邻、双聚类和 SMOTE，构建了 NaNBicluster SMOTE 方法，分为采样样本选取、安全范围设定和局部规则提取与合成公式改进 3个阶段，具体如图 3所示。第一阶段，采样样本选取。使用无参数的自然近邻设定逻辑规则，得出非均衡数据中的可疑样本。设定离群度阈值，甄别出可疑样本中的边界样本和噪声样本，删除噪声样本减少其造成的不利影响，选取边界样本参与采样。替代了r近邻的样本划分方式，增强了模型输出结果的稳定性。第二阶段，安全范围设定。使用自然近邻的稳定结构设定逻辑规则，为边界样本中的少数类样本设定合理安全的范围，避免合成样本处在多数类样本范围内、成为扰动 SMOTE均衡性能的噪声样本。第三阶段，局部规则提取与合成公式改进。在安全范围内，使用双聚类提取各个范围内少数类样本的局部规则，充分体现安全范围内少数类样本的共有特性。通过合成样本继承局部规则的方式，实现 SMOTE合成公式的改进。2.2基于自然近邻的采样样本识别使用自然近邻设定可疑样本识别的逻辑规则。若样本自然近邻中存在与其分类标签不一致的样本，则该样本称为可疑样本（Suspicious sample，SE）；若样本的标签与其所有自然近邻标签完全一致，则该样本称为正常样本（Normal sample，NE），其定义分别如式（5）和式（6）所示。xi SE(xj)(xj NaN()xi)(l()xi l(xj)（5）图 3NaN-Bicluster SMOTE方法框架图Fig.3Framework of NaN-Bicluster SMOTE1486何亮 等：基于 NaNBicluster SMOTE的非均衡信贷数据分类研究及应用xi NE(xj)(xj NaN()xi)(l()xi=l(xj)（6）在式（5）中：对于xi而言，自然近邻中存在xj的标签l(xj)与自身标签l(xi)不一致，则xi属于可疑样本SE；式（6）中：对于xi而言，自然近邻中不存在任何一个xj的标签l(xj)与自身标签l(xi)不一致，则xi属于正常样本NE。使用自然近邻和离群值设定边界样本选取的逻辑规则。通过设定离群度甄别得出边界样本和噪声样本，可分别表示为xi N(xj)(xi SE)(xj NaN()xi)(l()xi l(xj)（7）xi B(xj)(xi SE)(xj NaN()xi)(l()xi=l(xj)（8）对于可疑样本SE中的样本xi而言，如果xi的自然近邻集合NaN(xi)中任意一个样本xj的标签l(xj)与其标签l(xi)不一致时，即xi的友邻关系全为异类样本，记xi为噪声样本N；如果xi的自然近邻集合NaN(xi)中存在一个样本xj的标签l(xj)与其标签l(xi)一致时，即xi处于两类样本的边界区域，记xi为边界样本B。2.3基于自然近邻的安全范围设定现有研究通常选取边界样本中的少数类样本与其r近邻集合中的少数类样本合成样本，但该方式并未考虑到两者是否处于同一安全范围。若两者不处于同一安全范围内，则合成的少数类样本极有可能偏离少数类群体，成为噪声样本。自然近邻在识别可疑样本的同时，提供了一个稳定结构，该稳定结构中的友邻关系可以较好地形成安全范围，规避上述问题。NaNBicluster SMOTE 安全范围逻辑规则的设定如下所示。从边界样本B中选出少数类样本Bmin，可表示为xi Bmin(xi B)(l()xi=lmin)（9）式中：对于边界样本B中的样本xi，若其标签l(xi)与少数类标签lmin一致，则xi属于边界样本中的少数类样本Bmin。通过自然近邻稳定结构中的友邻关系，将Bmin采样过程中的安全范围设定为(xi)(xj)(xi Bmin)(xj Bmin)(xj NaN()xi)（10）式中：对于少数类样本Bmin中的任意一个参与采样的样本xi，与之配对的样本xj需同时满足：xj属于xi的自然近邻集合NaN(xi)，且xj属于Bmin。将xi与xj限定于自然近邻的稳定结构中，从而设定采样的安全范围。2.4基于双聚类的局部规则提取和合成公式改进以双聚类提取出的局部规则为基础，以继承和差异的思想改进合成公式，具体如下所示，设局部规则R=(Rattribute，Rvalue)，将R映射为属性集Rattribute和属性取值集Rvalue，Rattribute表示局部规则包含的属性集合，Rvalue表示局部规则包含的属性取值集合。首先，对于参与采样的边界样本xi，选取处于安全范围内的样本xj，计算得出xi、xj和自然近邻集合NaN(xi)的局部规则R，通过式（11）选取差值diff，即diffd=Rvalue d Rattributexdi-xdj d Rattribute（11）式中：diffd表示第d个属性的差值，diff=(diff1，diff2，diffd，)，其含义为，如果样本第d个属性属于局部规则属性集Rattribute，那么差值diffd为该属性对应的局部规则属性取值集Rvalue；如果样本第d个属性不属于局部规则属性集Rattribute，那么差值为传统 SMOTE的差值xdi-xdj。1487数据采集与处理 Journal of Data Acquisition and Processing Vol.38,No.6,2023其次，SMOTE合成公式设定为xnew=xi+gap diff（12）式中：通过继承xi、xj及自然近邻集合的局部规则，使得xnew的部分属性取值与xi、xj保持一致的趋势，更贴近该安全范围内的样本；通过xdi-xdj随机更改属性取值，使得xnew的其余属性取值与xi、xj存在一定的差异，增强了多样性，如图 4所示。3 实验和结果分析 为了验证 NaNBicluster SMOTE方法在非均衡信贷数据上的均衡能力，在Prosper小额贷款平台的真实信贷数据集上，选取SMOTE、Borderline SMOTE、SafeLevel SMOTE 和 OBTAdaptiveSVM 这 4种采样方法，结合 DT、LR、KNN、SVM 和 NN 这 5种机器学习模型展开对比分析，并采用多种维度的评价准则和统计检验方法评估验证 NaNBicluster SMOTE方法的性能。3.1数据来源选取全球规模前十的 Prosper小额贷款平台的信贷数据36，该数据包含 2013年的 2 343条数据与 51个属性，基本信息如表 1所示。记 Completed状态样本为非违约样本，Charged Off和 Defaulted状态样本为违约样本。由于数据若图 4基于双聚类的合成公式改进示意图Fig.4Schematic diagram of improved synthetic formula based on bicluster表 1数据集的基本信息Table 1Basic information of data sets序号1234567891011121314151617属性贷款原因借款人居住地借款人职业受雇佣状态受雇时间是否为户主是否在组群中年收入范围支持其收入必要文件贷款期限借款人年利率贷款标利率客户月收入日期贷款起源的季度预定的每月贷款支付投资人的建议数量序号1819202122232425262728293031323334属性Prosper评级估计损失估计有效收益预期回报上市资金的百分比收益率投资人朋友投资数量投资人朋友投资数提供资金投资者数量信用评分信贷资料被扣除的日期评分范围上限评分范围下限第一条信用额度建立日期当前信贷额度未清信用额度过去七年中的信用额度序号3536373839404142434445464748495051属性开立的循环账户数量债务收入比循环账户每月还款数量当前拖欠额度当前拖欠美元数循环账户中的美元使用可用循环信用的百分比通过银行卡的可用信用总额开设的交易行数从未拖欠的交易数量最近 6个月内开设交易数量已经向 Prosper借入的资金最近 6个月查询征信次数征信记录查询的总次数过去 7年违约次数过去 10年的公共记录数量过去 12个月的公共记录数量1488何亮 等：基于 NaNBicluster SMOTE的非均衡信贷数据分类研究及应用干属性取值为文本型分类数据，机器学习模型难以学习该类数据，本文以有序排列的 1、2、3等数值型数字代替文本型分类数据，将文本型分类数据转化为数值型分类数据。例如，“借款人居住地”包含 48种文本型取值，分别使用 1、2、48的数值进行对应，对应顺序不影响后期分类结果。对预处理后的数据进行标准化处理。数据处理后，违约样本数为 274，非违约样本数为 2 069，非均衡比约为 1 7。3.2模型评价准则的选取为了公平比较 NaNBicluster SMOTE 与其他采样方法在非均衡数据上的性能差异，选取多种维度的评价准则进行性能评估。首先，选取Gmean这一非均衡数据的评价准则，计算公式为3738Gmean=TPTP+FNTNTN+FP（13）式中：被正确分类的正类样本（True positive）记为TP，被正确分类的负类样本（True negative）记为TN，将负类样本错误分类为正类样本（False positive）记为FP，将正类样本错误分类成负类样本（False negative）记为FN。TP/(TP+FN)表示实际为正类的样本被正确分类的比例，TN/(TN+FP)表示实际为负类的样本被正确分类的比例，Gmean为两种比例的几何平均数，同时考虑了正负类样本的比例，适用于非均衡数据集性能的评估。其次，受试者工作特征曲线下与坐标轴围成的面积（Area under curve，AUC）39被广泛用以评价模型的分类性能，因此选取其为非均衡数据的评价准则。3.3实验结果分析结 合 机 器 学 习 模 型 中 的 DT、LR、KNN、SVM 和 NN 这 5 种 分 类 器，将 构 建 的 NaNBicluster SMOTE 与现有研究中的 SMOTE、Borderline SMOTE 和 SafeLevel SMOTE、OBTAdaptiveSVM 进行对比分析。采用交叉验证得到 NaNBicluster SMOTE 与对比模型在Gmean和AUC上的均衡能力。鉴于试错法得到 5折交叉验证和 10折交叉验证差异不显著，遂选取效率更高、运算更快的 5折交叉验证用以实验；根据信贷数据 1 7的非均衡比例和现有研究的取值2526，均衡比例k分别取值为 3、5和 7；依据平均平方残差的定义和现有研究的取值2728分别设为0.01、0.10和0.30。实验结果如表24所示。从表 2中可以得出，当非均衡比例k=3时，除了 SafeLevel SMOTE+NN 在Gmean上表现较优，SafeLevel SMOTE+KNN、Borderline SMOTE+NN、SafeLevel SMOTE+NN 在AUC上表现较优之外，NaNBicluster SMOTE 的均衡能力均为最优。这在一定程度上说明了考虑合成范围设定、以局表 2NaNBicluster SMOTE 与对比模型的实验结果（k=3）Table 2Experimental results of NaNBicluster SMOTE and contrast models（k=3）模型DTLRKNNSVMNN评价准则GmeanAUCGmeanAUCGmeanAUCGmeanAUCGmeanAUC无采样模型参与0.000 00.500 00.501 00.760 00.467 60.570 00.000 00.580 00.486 00.640 0SMOTE0.830 10.880 00.567 20.680 00.808 30.810 00.847 60.680 00.811 40.870 0Borderline SMOTE0.856 00.880 00.749 00.810 00.773 90.820 00.754 00.810 00.890 80.910 0SafeLevel SMOTE0.852 40.890 00.802 30.870 00.789 50.890 00.808 40.860 00.905 90.910 0NaNBicluster SMOTE=0.010.902 40.920 00.911 40.930 00.820 40.820 00.939 10.870 00.824 40.870 0=0.100.902 50.920 00.912 40.930 00.825 80.830 00.939 10.870 00.822 10.870 0=0.300.878 20.910 00.914 60.930 00.822 30.830 00.939 10.890 00.825 70.870 01489数据采集与处理 Journal of Data Acquisition and Processing Vol.38,No.6,2023部规则改进合成公式的方式能有效提升均衡能力。通过表 3的实验结果可以看出，NaNBicluster SMOTE 的均衡能力仅在Gmean评价准则上，劣于SafeLevel SMOTE+NN。相较于k=3，NaNBicluster SMOTE的均衡能力得到较大幅度的提升。这说明随着均衡比例k的提升，机器学习模型对于 NaNBicluster SMOTE 均衡后的数据集具有更强的分类性能。从表 4中可以看出，NaNBicluster SMOTE 的总体均衡能力相较于其余模型而言，有着明显优势，且随着k的增加，不会出现均衡能力的弱化。再次说明了考虑合成范围设定、以局部规则改进合成公式的方式能有效提升均衡能力，且在均衡比例k=7时尤为突显。以 OBTAdaptiveSVM 为对比模型，该模型需规定 SVM 核函数为RBF、固定删除系数为 0.3，对SVM 惩罚因子C及RBF超参数进行寻优，具体参数取值如表 5 所示。其中，NaNBicluster SMOTE的实验结果来自表 24中与 SVM 结合时的最大值。表 3NaNBicluster SMOTE 与对比模型的实验结果（k=5）Table 3Experimental results of NaNBicluster SMOTE and contrast models（k=5）模型DTLRKNNSVMNN评价准则GmeanAUCGmeanAUCGmeanAUCGmeanAUCGmeanAUC无采样模型参与0.000 00.500 00.501 00.760 00.467 60.570 00.000 00.580 00.486 00.6400SMOTE0.881 20.910 00.551 30.670 00.870 00.870 00.726 30.910 00.869 80.910 0Borderline SMOTE0.848 80.910 00.756 60.810 00.895 20.880 00.767 90.810 00.886 70.910 0SafeLevel SMOTE0.881 10.890 00.780 80.840 00.903 50.900 00.792 10.840 00.899 70.910 0NaNBicluster SMOTE=0.010.916 90.940 00.922 70.930 00.917 40.940 00.939 10.930 00.876 60.920 0=0.100.908 60.940 00.923 60.950 00.918 90.940 00.939 10.910 00.864 60.920 0=0.300.921 00.940 00.921 90.950 00.913 20.940 00.939 10.920 00.873 40.920 0表 4NaNBicluster SMOTE 与对比模型的实验结果（k=7）Table 4Experimental results of NaNBicluster SMOTE and contrast models（k=7）模型DTLRKNNSVMNN评价准则GmeanAUCGmeanAUCGmeanAUCGmeanAUCGmeanAUC无采样模型参与0.000 00.500 00.501 00.760 00.467 60.570 00.000 00.580 00.486 00.640 0SMOTE0.897 90.930 00.503 00.650 00.893 00.890 00.645 20.740 00.892 60.920 0Borderline SMOTE0.856 30.890 00.758 50.820 00.898 40.880 00.768 00.810 00.894 10.910 0SafeLevel SMOTE0.870 70.890 00.767 10.840 00.901 10.890 00.784 50.840 00.903 00.910 0NaNBicluster SMOTE=0.010.920 60.960 00.907 30.940 00.920 10.950 00.939 10.940 00.892 10.940 0=0.100.927 20.960 00.930 10.960 00.922 40.950 00.939 10.930 00.888 90.940 0=0.300.926 20.950 00.930 20.960 00.921 90.950 00.939 10.930 00.895 00.940 01490何亮 等：基于 NaNBicluster SMOTE的非均衡信贷数据分类研究及应用通过观察表 5可知，结合过采样和欠采样、融合自适应变核参数的 OBTAdaptiveSVM，其均衡能力 相 较 于 SMOTE、Borderline SMOTE、SafeLevel SMOTE 具 有 明 显 提 升。更 需 要 注 意 的 是，OBTAdaptiveSVM 通过参数寻优实现性能的最大化，但最优参数往往过大，易出现过拟合情况，性能、可解释性和现实层面的可操作性弱于本文提出的 NaNBicluster SMOTE。根据上述实验结果总结出如下结论：（1）基于 NaNBicluster SMOTE 的模型性能总体上优于对比模型。在不同的参数k和的情况下，基于 NaNBicluster SMOTE 的机器学习模型的Gmean、AUC相较于对比模型，均有较大幅度的提升，说明了本文所构建的 NaNBicluster SMOTE方法的有效性。（2）NaNBicluster SMOTE适用于不同的机器学习模型且性能优越。无论与结构单一的DT、LR和KNN结合，还是与结构多样、计算复杂的SVM、NN结合，NaNBicluster SMOTE均适用且发挥了较好的性能。（3）NaNBicluster SMOTE 的均衡能力不会随着k增加，出现退化的情况。随着k逐渐增加至正负类样本均衡的状态时，合成样本的数量出现急剧的增长，过多合成样本的加入使样本间相似性增强、区分性减弱，从而存在干扰机器学习模型的分类性能。例如，基于 SafeLevel SMOTE 的 LR、SVM 机器学习模型，其Gmean、AUC随着k的增加出现明显的下降趋势。而基于 NaNBicluster SMOTE 的机器学习模型规避了过多合成样本造成数据混沌的弊端，其Gmean、AUC保持稳定的趋势。（4）NaNBicluster SMOTE 的局部规则提取中的最大平均平方残差虽然会使 NaNBicluster SMOTE的均衡能力出现波动，但该波动幅度是轻微的，使得不同的 NaNBicluster SMOTE 的均衡能力处于稳定水平，且优于其余对比模型。（5）NaNBicluster SMOTE 适用于非均衡