气候统计回归分析之逐步回归.ppt

气候气候统计回回归分析之逐步回分析之逐步回归预报因子筛选预报因子筛选n虽然潜在可用的预报因子很多，但并不是虽然潜在可用的预报因子很多，但并不是预报因子越多越好，事实上，回归方程包预报因子越多越好，事实上，回归方程包含太多的预报因子常是非常危险的；含太多的预报因子常是非常危险的；n因此，在建立回归方程时，存在一个重要因此，在建立回归方程时，存在一个重要的问题，即如何对众多的自变量进行筛选；的问题，即如何对众多的自变量进行筛选；n即建立最优的回归模型。即建立最优的回归模型。最优回归模型最优回归模型n最优回归模型的含义是：最优回归模型的含义是：预报准确，我们希望在回归方程中尽可能多的预报准确，我们希望在回归方程中尽可能多的包含预报因子，尤其是不能遗漏对预报量有显包含预报因子，尤其是不能遗漏对预报量有显著作用的预报因子，而回归方程包含的预报因著作用的预报因子，而回归方程包含的预报因子越多，回归平方和就越大，则残差平方和就子越多，回归平方和就越大，则残差平方和就越小，即回归方程越显著；越小，即回归方程越显著；最优回归模型最优回归模型n最优回归模型的含义是：最优回归模型的含义是：优化回归方程，回归方程应包含有显著作用的优化回归方程，回归方程应包含有显著作用的预报因子，而不包括不显著的预报因子，这样预报因子，而不包括不显著的预报因子，这样处理的原因，一是简化回归方程，便以应用，处理的原因，一是简化回归方程，便以应用，二是减少可能由预报因子选取不当带来的过度二是减少可能由预报因子选取不当带来的过度拟合问题。拟合问题。过度拟合回归（表）过度拟合回归（表）过度拟合回归过度拟合回归n选取选取1980-1985年的数据进行拟合：年的数据进行拟合：n=6，k=5n预报因子分别是：预报因子分别是：年份年份U.S.Federal DeficitU.S.Air Force PersonnelU.S.SheepAverage SAT Scoresn拟合方程：拟合方程：过度拟合回归（图）过度拟合回归（图）过度拟合回归过度拟合回归n分析表明上图所示的拟合线与真实预报值分析表明上图所示的拟合线与真实预报值完全吻合，完全吻合，MSE=0.，R2=100.%，F=，完美的拟合完美的拟合!n然而，对然而，对1986年的预报表明：完全无效的年的预报表明：完全无效的预报。预报。n事实上，当事实上，当k=n-1时，即预报因子仅比样本时，即预报因子仅比样本量少一个时，均会得到完美的拟合结果。量少一个时，均会得到完美的拟合结果。如，如，n=2，k=1，拟合线为直线，则该拟合线一，拟合线为直线，则该拟合线一定会通过平面中的两点。定会通过平面中的两点。过度拟合过度拟合n虽然回归方程包含的预报因子越多，回归虽然回归方程包含的预报因子越多，回归平方和就越大，残差平方和就越小。但引平方和就越大，残差平方和就越小。但引入对预报量影响较小的因子，会使残差平入对预报量影响较小的因子，会使残差平方和的自由度减少，即残差方差增加，增方和的自由度减少，即残差方差增加，增大了预报量置信区间。大了预报量置信区间。n实际应用中，无效拟合并不仅仅是由于拟实际应用中，无效拟合并不仅仅是由于拟合过程中使用与预报量没有联系的预报因合过程中使用与预报量没有联系的预报因子而造成。子而造成。n过量的使用有意义的预报因子也可能会造过量的使用有意义的预报因子也可能会造成过度拟合。成过度拟合。预报因子选择的几点注意事项预报因子选择的几点注意事项n选择的预报因子应与预报量之间存在一定选择的预报因子应与预报量之间存在一定的物理联系，因此对所分析问题掌握一定的物理联系，因此对所分析问题掌握一定物理基础的研究者会比仅以建立预报方程物理基础的研究者会比仅以建立预报方程为目的者更有可能建立合适的回归方程。为目的者更有可能建立合适的回归方程。n验证试验，将样本数据中的一部分（如验证试验，将样本数据中的一部分（如1/4，1/3，1/2）作为独立预报量，用样本中剩）作为独立预报量，用样本中剩下的数据进行回归拟合。若由拟合方程对下的数据进行回归拟合。若由拟合方程对独立预报量进行预测后的结果与真实观测独立预报量进行预测后的结果与真实观测给出的独立预报量差异非常大，则表明可给出的独立预报量差异非常大，则表明可能存在过度拟合问题。能存在过度拟合问题。预报因子选择的几点注意事项预报因子选择的几点注意事项n要求预报方程稳定：即拟合参数实用于预要求预报方程稳定：即拟合参数实用于预测预报量的未来取值，且不会因为改变预测预报量的未来取值，且不会因为改变预报量的样本，拟合参数发生变化；报量的样本，拟合参数发生变化；n大样本会提高拟合精度，前人研究表明预大样本会提高拟合精度，前人研究表明预报因子多于报因子多于12个时，对提高回归方程拟合个时，对提高回归方程拟合效果的作用将会非常小。预报因子与样本效果的作用将会非常小。预报因子与样本容量之间具体的关系仍没有具体的定论，容量之间具体的关系仍没有具体的定论，因此验证试验是较好的提高回归预报稳定因此验证试验是较好的提高回归预报稳定性的方法之一。性的方法之一。预报因子筛选预报因子筛选n假定在建立回归方程时，我们能将所有物假定在建立回归方程时，我们能将所有物理上相关的因子包括进方程中，但这样处理上相关的因子包括进方程中，但这样处理的结果并不可能达到我们希望的目的，理的结果并不可能达到我们希望的目的，即提高拟合效果。即提高拟合效果。n由于预报因子之间通常彼此相关，因此回由于预报因子之间通常彼此相关，因此回归方程包含了多余的信息。归方程包含了多余的信息。n从而有必要对预报因子进行筛选，这个过从而有必要对预报因子进行筛选，这个过程就是逐步回归。程就是逐步回归。逐步引进方案逐步引进方案步骤步骤nStep1：假定有：假定有M个备选预报因子，首先建个备选预报因子，首先建立方程立方程 ，此时，此时 一定是预报量的样本一定是预报量的样本平均值。平均值。nStep2：将所有备选预报因子分别与预报量：将所有备选预报因子分别与预报量建立一元线性回归方程，选出在这些一元建立一元线性回归方程，选出在这些一元线性回归方程中贡献最大的预报因子，线性回归方程中贡献最大的预报因子，建立一元回归方程建立一元回归方程 ，此时，此时 不再不再是预报量的样本平均值。是预报量的样本平均值。逐步引进方案逐步引进方案步骤步骤nStep3：在已建立的一元回归方程的基础上，分：在已建立的一元回归方程的基础上，分别对别对M-1个预报因子建立二元回归方程，选出对个预报因子建立二元回归方程，选出对回归方程贡献最大的预报因子，即回归方程贡献最大的预报因子，即R2最大，最大，MSE最小，最小，F检验统计量最大。回归方程为：检验统计量最大。回归方程为：nStep next：对剩下的备选因子重复上述过程。：对剩下的备选因子重复上述过程。逐步引进方案逐步引进方案存在问题存在问题n每当对回归方程引进一个因子后，方程的每当对回归方程引进一个因子后，方程的截距和在此之前引进的因子的回归系数都截距和在此之前引进的因子的回归系数都会发生变化，这是由于因子之间本身存在会发生变化，这是由于因子之间本身存在一定程度的联系（或强、或弱）。一定程度的联系（或强、或弱）。n因而，也无法保证引入的因子都是显著的。因而，也无法保证引入的因子都是显著的。举例举例n预报量：预报量：Canandaigua最小温度；最小温度；n预报因子：预报因子：时间，每月的天数；时间，每月的天数；Ithaca：最高温度：最高温度Ithaca：最低温度：最低温度Ithaca：ln（降水量（降水量+0.01in.）Canandaigua：ln（降水量（降水量+0.01in.）举例（图）举例（图）逐步引进方案逐步引进方案n上述逐步引入方案并没有给出确定性的停上述逐步引入方案并没有给出确定性的停止标准，因此止标准，因此M个备选因子最终都会被选入个备选因子最终都会被选入回归方程中。回归方程中。n实际操作中，每选入一个因子，应首先对实际操作中，每选入一个因子，应首先对该因子的回归系数进行显著性检验。该因子的回归系数进行显著性检验。若显著，则引入。若显著，则引入。逐步引进方案逐步引进方案n当备选因子的回归系数已不能通过显著性当备选因子的回归系数已不能通过显著性检验时，则停止引入；检验时，则停止引入；n但上述过程建立的回归方程并不能保证其但上述过程建立的回归方程并不能保证其中所有的因子都是显著的，原因依然是因中所有的因子都是显著的，原因依然是因子间存在着相关关系，从而在引入新变量子间存在着相关关系，从而在引入新变量后，原有的变量就不一定仍然显著。后，原有的变量就不一定仍然显著。逐步剔除方案逐步剔除方案步骤步骤n逐步剔除方案与逐步引进方案原理类似，逐步剔除方案与逐步引进方案原理类似，但过程相反。但过程相反。nStep1：建立包含所有：建立包含所有M（MK时，仍然用时，仍然用2.35作为回归方程显作为回归方程显著性检验的标准，则降低了显著性检验的著性检验的标准，则降低了显著性检验的水平，即可能使更多的预报因子进入回归水平，即可能使更多的预报因子进入回归方程。方程。n因此，将因此，将F临界值取较高值，如临界值取较高值，如 ，则，则可较大程度提高显著性检验水平。可较大程度提高显著性检验水平。逐步回归停止规则逐步回归停止规则n上述停止规则对于不同的数据集，由于预上述停止规则对于不同的数据集，由于预报因子之间的统计关系的不同而导致报因子之间的统计关系的不同而导致F检验检验的临界值不同，则需要重新计算；的临界值不同，则需要重新计算；n可以根据可以根据MSE建立检验标准，即当新增加建立检验标准，即当新增加的预报因子并不会明显减小的预报因子并不会明显减小MSE，则停止，则停止引入；引入；n当然采用预报量的预报值得到的当然采用预报量的预报值得到的MSE将大将大于用于建立回归方程的预报量得到的于用于建立回归方程的预报量得到的MSE；逐步回归停止规则逐步回归停止规则逐步回归停止规则逐步回归停止规则n当建立回归方程的目的是进行预报，则无当建立回归方程的目的是进行预报，则无论回归方程中选择的因子是什么，减小论回归方程中选择的因子是什么，减小MSE是根本目标；是根本目标；n但当目的是理解变量之间的关系时，则减但当目的是理解变量之间的关系时，则减少少MSE并不是分析的根本目的，则因子的并不是分析的根本目的，则因子的选择是非常重要的；选择是非常重要的；