基于Stacking学习的地区工业经济预测模型研究——以新疆为例.pdf

现代营销下旬刊2023.07XDYX区 域一、引言工业在国民经济中起着非常重要的作用，是GDP增长的主要动力。对区域工业经济的研究和分析有助于优化和协调区域工业产业，确定区域工业经济增长的投入因素，并对经济增长进行分析和预测。总结国内外文献，有些研究使用了机器学习方法，但与工业企业经济没有直接关系，如对劳动力方面和市场条件的研究；有些研究直接涉及工业经济，但较少使用机器学习方法。本文将机器学习方法纳入工业经济研究，对数据进行分析和处理，为区域工业发展提出可行的优化策略，支持区域经济的高质量发展。目前，关于工业经济的研究有多种专题和区域性的研究方向，对新疆工业经济的研究却很少。创新方面，本文为预测问题引入一个集成算法的 Cat-Boost 模型，将其与现有的随机森林、GBDT、AdaBoost、XG-Boost和LightGBM模型进行比较，使其更加准确，并利用贝叶斯优化、粒子群优化和麻雀搜索算法来提高模型的预测性能，这些模型能够准确地预测工业增加值增长速度。二、模型优化通过观察图1可知，三种优化算法的七种回归模型在训练集上的精度。尽管经过三种优化算法调优后的AdaBoost模型精度最差，其可能原因是对异常样本较为敏感，异常样本在迭代中可能会获得较高的权重，从而影响最终的强学习器的预测精度，但PSO和SSA优化算法对超参数调优的模型产生更好的预测结果。于是，将最高精度的模型所对应的超参数取值，作为这七个机器学习回归算法的超参数的最终取值，并构建了基于这七种回归算法的工业经济预测模型。（一）模型结果分析使用上述基于三种优化算法中精度最高的七种回归算法的工业经济预测模型，对测试集的数据进行预测，结果如表1和图1所示。观察表1可得，基于这七种回归算法的工业经济预测模型的误差值都很低，说明这七种工业经济预测回归算法适用于本研究，具有良好的预测性能。基于GBDT算法的工业预测模型的均方误差MSE和均方根误差MAE的值最小，分别为0.2918和0.3744；基于RFR算法的均方误差MSE和平均绝对误差MAE分别为0.2993和0.3815。说明这两个预测模型显示出最好的预测性能，也是最稳健的。次之是基于XGBoost算法的预测模型的均方误差MSE为0.3619、平均绝对误差MAE为0.3872，表明该模型的预测精度较高，泛化能力较强。排名第四的是基于SVR算法的工业经济预测模型的均方误差MSE和平均绝对误差MAE分别为0.3964、0.4221。相比其余三种模型，这四种回归算法预测效果更好。由图2可以发现，基于上述七种回归算法的工业经济预测模型，在测试集数据上的拟合效果很好，且预测精度都达到了0.90以上，再次证明本节建立的基于这七种机器学习回归算法预测模型的预测性能很好，并且在预测精度方面表现良好。具体而言，基于GBDT算法、XGBoost算法的工业经济预测模型的预测精度都超过了 0.93，其中表现最佳的是GBDT 算法，二是 XGBoost 算法，三是 RFR 算法，四是基于SVR算法预测模型，它的预测精度达到了0.9199。（二）特征变量量化分析本研究使用Python软件的shap库来计算上一节中预测性能相对较好的基于GBDT、XGBoost与RFR的模型的SHAP值，将计算结果以图的形式展示能够直观地反映特征变量对预测值的贡献程度。图3至图5中，X1、X2、X3、X5、X6、X7、X8、X9、X10、X11分别表示：资产总额（X1）、产成品（X2）、资产负债率（X3）、主营业务收入利润率（X5）、亏损企业亏损总额（X6）、利润总额（X7）、应收账款（X8）、销售费用（X9）、管理费用（X10）、财务基于Stacking学习的地区工业经济预测模型研究闵春磊（新疆财经大学统计与数据科学学院新疆乌鲁木齐830012）摘要：基于机器学习的数据分析方法被用来解决经济和社会发展中的问题，并被广泛应用于商业、金融和工业等各个领域。本文通过收集新疆工业部门经济水平的数据进行研究分析，选取2001年2月至2023年2月新疆地区相关指标数据作为样本数据，以工业增加值增长速度（Y，单位：%）作为研究对象，分别使用贝叶斯优化（BO）、粒子群优化（PSO）以及麻雀搜索算法（SSA），对GBDT、RFR、LightGBM、Adaboost、XGBoost和CatBoost算法的预测模型镜像参数调优。使用SHAP库对特征变量进行量化分析，使用精度最高的四个回归模型搭建二层Stacking预测模型，对新疆工业增加值进行预测。结果表明，预测性能表现最优的是基回归器为GBDT算法、XGBoost、RFR算法、SVR算法，元回归器为Ridge回归模型、基回归器个数以及元回归器的选择，都会影响Stacking集成预测模型的预测性能。关键词：工业增加值；BO；PSO：SSA：集成学习；模型优化中图分类号：F272.1文献识别码：ADOI：10.19932/ki.22-1256/F.2023.07.095以新疆为例图1基于三种优化算法调优七个回归算法的模型精度对比表1基于七个回归算法的预测误差结果ModelSVRGBDTRFRAdaBoostXGBoostLightGBMCatBoost均方误差 MSE0.39640.29180.29930.40810.36190.44230.4811平均绝对误差 MAE0.42210.37440.38150.44730.38720.47850.4693095现代营销下旬刊2023.07XDYX区 域费用（X11）。从上图可知，各个特征变量对工业增加值增长速度的影响都是正向的，即它们的值越大，工业增加值增长速度也越大。在 GBDT、XGBoost 和 RFR 算法中，特征变量的平均SHAP值由大到小依次排序前六的分别为：X5X3X1X6X2X8、X3X5X1X8X6X2和 X5X1X3X8X2X6。从排序可以看出，基于GBDT算法和RFR算法的工业经济预测模型，在进行特征变量重要性排序时都将主营业务收入利润率（X5）排在了第一位。这反映出主营业务收入利润率（X5）对工业增加值增长速度的正面影响最大，但GBDT算法的值较大，且平均 SHAP值为 0.35，说明 GBDT算法中主营业务收入利润率对工业增加值增长速度预测的平均贡献率达到了35%。在XGBoost算法进行特征变量重要性排序时，将资产负债率（X3）排在了第一位，资产负债率的SHAP值是0.41，说明XGBoost算法中资产负债率对工业增加值增长速度预测的平均贡献率达到了41%。尽管三种算法的特征变量的平均SHAP值排序不同，但排在前三都是主营业务收入利润率（X5）、资产负债率（X3）以及资产总额（X1）。由此可见，主营业务收入利润率、资产负债率和资产总额对工业增加值增长速度的影响最为重要，而销售费用、管理费用和财务费用SHAP值排序均在最后，说明预测模型在三种的贡献程度最小。三、构建基于Stacking算法的预测模型本节选用模型结果分析最终得到的预测精度较高，且排名前四的GBDT算法、XGBoost算法、RFR算法以及SVR算法的工业经济预测模型，作为Stacking集成框架的候选基回归器，使用线岭（Ridge）回归和线性回归模型作为候选元回归器。同时，使用Mlxtend框架中Stacking C VRegressor程序包，来构建基于Stacking的工业增加值预测模型。利 用 上 述 构 建 好 的 基 于 Stacking 算 法 的 预 测 模 型Model1、Model2、Model3 以及 Model4，对训练集数据进行训练，结果如表2所示。观察表2可以发现，这四个基于Stacking算法的预测模型在训练集上的误差都较小，且模型拟合效果都很好，尤其是Model4（即基回归器：GBDT算法、XGBoost算法、RFR算法、SVR算法，元回归器：Ridge回归模型）表现最佳。其均方误差MSE为0.2112、平均绝对误差MAE为0.2461，且拟合效果达到了0.9623。这说明基于Stacking算法的预测模型很适用于工业增加值增长速度预测。基于上述Stacking算法的预测模型，对测试集进行了预测，并与GBDT算法进行了比较，该算法在基础回归器上表现较好。结果如表3和图6所示。由表3和图6可以看出，基于Stacking算法的四个预测模型，在测试集数据预测的均方误差 MSE 分别为 0.2363、0.2495、0.2287、0.2153，平均绝对误差 MAE 分别为 0.2858、0.2971、0.2769、0.2517，误差在0.3以内，说明这四个模型的预测结果是可靠的；其预测精度分别为0.9441、0.9354、0.9661、0.9743。相比GBDT算法的预测模型，Stacking集成算法的预测模型在测试集中的误差和拟合（预测）效果都要优于GBDT算法，均方误差 MSE 与平均绝对误差 MAE，分别降低了14.39%、20.64%。这表明，使用Stacking算法可以显著提高模图3GBDT算法特征变量SHAP值排序图4XGBoost算法特征变量SHAP值排序图5RFR算法特征变量SHAP值排序表2四个基于Stacking算法的模型训练性能结果图2七种回归算法的预测精度对比模型Model1Model2Model3Model4均方误差 MSE0.20360.20240.21030.2112平均绝对误差MAE0.25250.25300.25490.2461可决系数R20.94120.95270.95680.9623096现代营销下旬刊2023.07XDYX区 域型的预测性能。基于Stacking算法的预测模型在测试集中的优势可以反映出，基于该Stacking算法的集成预测模型具有更好的预测泛化能力，可以综合考虑不同的基回归器，使用Stacking算法将不同基回归器的预测结果结合起来，可以提高最终预测模型的整体性能。在上述四个预测模型中，预测性能表现最优的是Model4（即基回归器：GBDT算法、XGBoost、RFR算法以及SVR算法；元回归器：Ridge回归模型），与使用相同基回归器、元回归器使用线性回归模型的Model3相比，预测性能更优越；与使用四个基回归器（GBDT 算法、XGBoost 算法、RFR 算法）的Model1、Model2 相比，不论元回归器是线性回归模型还是Ridge回归模型，Model4的预测性能都更优越。这表明在工业经济预测研究中，基回归器个数以及元回归器的选择，都会影响Stacking集成预测模型的预测性能。四、研究结论与展望（一）研究结论本研究首先分析了影响工业经济的因素，在总结相关文献的基础上选取了构建预测模型的指标，并对2001年2月至2023年2月的相关数据进行了收集和预处理。然后用Spear-man等级相关系数和互信息，来反映影响因素与工业增加值增长速度之间的相关性，最后将互信息小于0.1的特征变量进行剔除。在基于Stacking算法的工业经济预测分析中，经过研究梳理得到了以下结论。1.在利用五折交叉验证法、BO算法、PSO算法以及SSA算法，进行机器学习回归算法的选择，实验结果显示，本研究在月度预测指标数据的基础上建立的基于SVR算法、GBDT、RFR算法、AdaBoost算法、XGBoost算法、LightGBM以及Cat-Boost算法的预测模型，对工业增加值增长速度预测效果都很好，且都具有很好的预测泛化能力，模型预测精度都超过了0.90。特别是基于GBDT算法的预测模型，对工业增加值增长速度的预测效果最佳，鲁棒性最强，在测试集中预测精度达到 0.9447；次之是 XGBoost算法，预测精度是 0.9376；第三是RFR算法，预测精度为0.9361；第四是SVR算法，预测精度是0.9119。2.在通过 SHAP 模型进行分析，基于 GBDT 算法、XG-Boost、RFR算法的预测模型进行特征变量量化分析时，结果显示，基于GBDT算法和RFR算法的工业经济预测模型，在进行特征变量重要性排序时都将主营业务收入利润率（X5）排在了第一位。这反映出主营业务收入利润率（X5）对工业增加值增长速度的正面影响最大，但GBDT算法的值较大，且平均SHAP值为0.35，说明GBDT算法中主营业务收入利润率对工业增加值增长速度预测的平均贡献率达到了35%。在XGBoost 算法进行特征变量重要性排序时，将资产负债率（X3）排在了第一位，资产负债率的SHAP值是0.41，说明XG-Boost算法中资产负债率对工业增加值增长速度预测的平均贡献率达到了41%。尽管三种算法的特征变量的平均SHAP值排序不同，但排在前三的都是主营业务收入利润率（X5）、资产负债率（X3）以及资产总额（X1），可见主营业务收入利润率、资产负债率和资产总额对工业增加值增长速度的影响最为重要，而销售费用、管理费用和财务费用SHAP值排序均在最后，说明在预测模型中三种算法的贡献程度最小。3.在构建基于Stacking算法的预测模型时，选择了预测精度最高的 GBDT 算法、XGBoost 算法、RFR 算法和 SVR 算法，作为Stacking算法预测模型的基回归器，并采用线性回归模型和岭回归模型作为元回归器，构建了四个基于Stacking算法的预测模型，并采用五折交叉验证法进行预测分析。实验结果表明，在四个基于Stacking算法的预测模型中，预测性能表现最优的是Model4（即基回归器：GBDT算法、XGBoost算法、RFR算法以及SVR算法，元回归器使用Ridge回归模型）。与使用同样基回归器、元回归器使用线性回归模型的Model3相比，预测性能更优越；与使用四个基回归器（GBDT算法、RFR算法、XGBoost算法）的Model1、Model2相比，不论元回归器是线性回归模型还是Ridge回归模型，Model4的预测性能都更优越。这表明在本文的快递业务量预测研究中，基回归器个数以及元回归器的选择，对Stacking集成预测模型的预测性能都有一定的影响。（二）研究展望1.在本研究中，选择了十个宏观因素来构建快递业务预测指标体系，但还有很多其他的宏观因素，如人口、GDP的影响等未纳入体系。此外，微观因素也没有考虑，比如没有研究影响因素本身的时间特征，需要对影响因素进行更深入的研究，并进一步研究其他因素，加入预测模型分析中。2.在调整机器学习回归算法的超参数时，使用了具有更好调优性能的贝叶斯优化算法、粒子群优化算法和2020年提出的麻雀搜索算法。虽然带Circle映射的麻雀搜索算法中的初始化过程得到了一定程度的改善和优化，但其他位置的初始化过程没有得到改善，还需要进一步研究。同时，可以考虑用其他的群智能优化算法来调整超参数，并将其结果与其他优化算法的结果进行比较和分析。3.关于模型的选择方面，鉴于样本量和特征数量较少，本研究只使用了机器学习模型。如果样本量和特征数量增加，可以尝试深度学习模型，如卷积神经网络CNN和递归神经网络RNN，在预测准确性方面表现更好。参考文献：1王灵杰,郭俊恒,李文鹏,等.机器学习预测叶片-网孔管线式高剪切混合器性能J.化学工业与工程,2022,39(02):1-8.2刘志强,王东君,祝世强,等.Ti2AlNb合金构件全流程模拟及组织-性能预测J.材料科学与工艺,2022,30(02):1-8.3张纯.安徽工业经济增长与能源碳排放脱钩研究J.河南科技大学学报(社会科学版),2022,40(01):52-59.4侯瑞环,徐翔燕.基于改进多维灰色模型及支持向量机的人口预测J.统计与决策,2021,37(18):41-44.5赵领娣,呼玉莹,王海霞.环境规制与工业就业关系研究J.干旱区资源与环境,2021,35(09):9-13.6田杰.中国工业系统生态效率评价J.统计与决策,2021,37(15):96-99.7骆晨,郑伯红,刘琳琳.制度对城市都市区制造业空间演变的影响J.地理科学进展,2021,40(07):1167-1180.作者简介：闵春磊（1999），男，回族，硕士研究生，研究方向：社会经济统计。表3Stacking集成预测模型与GBDT算法预测结果对比模型GBDTModel1Modef2Model3Model4均方误差 MSE0.29180.23630.24950.22870.2153平均绝对误差MAE0.37440.28580.29710.27690.2517图6四个Stacking模型预测真实值与预测值比较097