基于注意力机制的VMD-CNN-LSTM短期风电功率预测.pdf

Operations Research and Fuzziology 运筹与模糊学运筹与模糊学,2024,14(1),710-722 Published Online February 2024 in Hans.https:/www.hanspub.org/journal/orf https:/doi.org/10.12677/orf.2024.141067 文章引用文章引用:曹洪宇,邵星,王翠香,皋军.基于注意力机制的 VMD-CNN-LSTM 短期风电功率预测J.运筹与模糊学,2024,14(1):710-722.DOI:10.12677/orf.2024.141067 基于注意力机制的基于注意力机制的VMD-CNN-LSTM短期风电短期风电功率预测功率预测 曹洪宇曹洪宇1,2*，邵邵 星星2，王翠香王翠香1，皋，皋 军军1 1盐城工学院信息工程学院，江苏 盐城 2盐城工学院机械工程学院，江苏 盐城 收稿日期：2023年12月15日；录用日期：2024年1月5日；发布日期：2024年2月29日 摘摘 要要 针对传统物理机理驱动预测风电功率的方法存在预测结果精确度欠佳、泛化能力弱的问题，提出一种基针对传统物理机理驱动预测风电功率的方法存在预测结果精确度欠佳、泛化能力弱的问题，提出一种基于注意力机制的于注意力机制的VMD-CNN-LSTM短期风电功率预测方案。首先采用变分模态分解算法将风电功率序列分短期风电功率预测方案。首先采用变分模态分解算法将风电功率序列分解并进行重构。然后利用注意力机制对每个特征分配不同权重。最后通过解并进行重构。然后利用注意力机制对每个特征分配不同权重。最后通过CNN-LSTM组合网络对每个分组合网络对每个分量进行训练和预测并重构后输出预测结果。实验结果表明，基于注意力机制的量进行训练和预测并重构后输出预测结果。实验结果表明，基于注意力机制的VMD-CNN-LSTM模型在风模型在风电功率预测方面具有更高的预测精确度和泛化性。电功率预测方面具有更高的预测精确度和泛化性。关键词关键词 风电功率预测风电功率预测，注意力机制注意力机制，变分模态分解变分模态分解，长短期记忆长短期记忆，卷积神经网络卷积神经网络 VMD-CNN-LSTM Short-Term Wind Power Prediction Based on Attention Mechanism Hongyu Cao1,2*,Xing Shao1,Cuixiang Wang1,Jun Gao1 1School of Information Engineering,Yancheng Institute of Technology,Yancheng Jiangsu 2School of Mechanical Engineering,Yancheng Institute of Technology,Yancheng Jiangsu Received:Dec.15th,2023;accepted:Jan.5th,2024;published:Feb.29th,2024 Abstract Aiming at the problems of poor prediction accuracy and weak generalization ability of the tradi-tional physical mechanism-driven wind power prediction method,a VMD-CNN-LSTM short-term wind power prediction scheme based on attention mechanism is proposed.First,the variational *通讯作者。曹洪宇 等 DOI:10.12677/orf.2024.141067 711 运筹与模糊学 mode decomposition algorithm is used to decompose and reconstruct the wind power sequence.Then use the attention mechanism to assign different weights to each feature.Finally,the CNN-LSTM combination network is used to train and predict each component and output the pre-diction result after reconstruction.The experimental results show that the VMD-CNN-LSTM model based on the attention mechanism has higher prediction accuracy and generalization in wind power prediction.Keywords Wind Power Prediction,Attention Mechanism,Variational Mode Decomposition,Long-Short-Term Memory,Convolutional Neural Network Copyright 2024 by author(s)and Hans Publishers Inc.This work is licensed under the Creative Commons Attribution International License(CC BY 4.0).http:/creativecommons.org/licenses/by/4.0/1.引言引言 随着全球能源安全问题日益突出，以及气候转变等环境问题的加剧，风力发电技术逐渐受到了全球各国的关注1。中国能源局的资料表明，2022 年上半年全国风能新增 1294 万千瓦。其中陆上风能新增装机 1206 万千瓦，海上风能新增装机 27 万千瓦。截止 2022 年 6 月底，风电装机 3.42 亿千瓦2。自然风力会随天气变化呈现不规律波动，导致发电功率不稳定。同时，风电在全国电网中的占比也具有非平稳性，这些不稳定因素都对电网的安全可靠运行带来挑战。因此，能否精确地预测风力发电的功率对电网的规划和安全运行具有重要意义。目前，风电功率预测的典型方法有时间序列模型3、机器学习模型4、深度学习5和组合预测模型6等。文献7通过构建 ARIMA 模型计算历史风电序列特征以预测短期风电功率。但由于风电功率序列的非平稳性，其 MAPE 值仅为 4.9%，效果并不理想；文献8采用改进的 ARIMA 模型，通过人工神经网络模型修正风电功率序列特征，减少了风电功率中的不平稳性特征的影响，提高了预测精确度；文献9采用极限学习机-LSTM 组合模型训练，并通过加权灰色关联算法提取特征近似的历史数据，缩小了风电功率预测误差分布范围；文献10采用 CNN-LSTM 神经网络组合模型进行训练，利用主成分分析法(PCA)对原始气象特征降维，以实现风电功率的精确预测；文献11采用变分模态分解(VMD)、卷积长短记忆网络(ConvLSTM)和误差分析构建的组合模型用于短期风电功率预测。结果表明，该模型相比单一模型，能更有效挖掘出风电功率序列特征，具备更好的预测性能。文献12通过引入基于注意力的门控循环单元(AGRU)，提高了模型的预测精确度。该模型通过嵌入了 GRU 块的隐藏激活函数来关联不同预测步骤的任务，并设计一种注意力机制作为特征选择方法以识别关键输入变量。通过组合不同模型，合理运用各个模型的特点和优势，组合模型相比单一模型具备更好的稳定性，但其适用范围也存在一定限制13。综上所述，目前常见的风电功率预测模型结构简单且易于应用，能够基本满足预测需求。但缺乏对数据波动性的考虑，相对于组合模型存在泛化性弱、抗干扰能力差、特征提取能力不足、预测精确度不佳等问题14。为此本文提出一种基于注意力机制的 VMD-CNN-LSTM 短期风电功率预测模型。首先利用变分模态分解(VMD)算法将风电功率序列分解成若干个分量，再采用注意力机制对历史气象特征和轴承变量分配不同权重，实现特征融合。之后，通过卷积神经网络(CNN)对带有权重特征的新数据进行其特征的深度挖掘。最后，将挖掘出的局部特征数据以时间序列格式输入长短期记忆网络(LSTM)训练。其Open AccessOpen Access曹洪宇 等 DOI:10.12677/orf.2024.141067 712 运筹与模糊学 中，LSTM 对每个分量结合气象特征和轴承变量的关联性进行训练，对输出结果重构并获得最终风电功率预测值。另外，为了提升模型的整体性能，使用 hyperopt 贝叶斯算法对整体模型的超参数迭代寻优15并输出最终模型。本文相对于传统风电功率组合模型有两点创新：一是在数据预处理过程采用 VMD 算法，对风电功率序列数据分解成若干个子分量，对每个分量结合风电功率特征变量训练，再对各个分量的预测结果重构，解决了风电功率序列波动性大，噪声强的问题。二是在 CNN-LSTM 组合模型中引入注意力机制，对关键的特征分配强权重，将复杂的特征简单化，增强了 LSTM 的记忆能力。在 Elia 比利时电网 公司 提供 的开 源风 电功 率数 据集 上的 实验 结果 表明，本 文提 出的 基于 注意 力机 制的VMD-CNN-LSTM 预测模型，相比于其他模型，具备更好的风电功率预测精确度和泛化性。2.模型构建原理模型构建原理 2.1.VMD 简介简介 风电功率序列信号具有非平稳性，将其分解成多个子序列以降低功率序列的复杂程度。在一般情况下对于长序列的信号分解，EMD 算法的使用较为广泛。但该算法的本征模态函数分量数目不能人为控制，且分解模态分量较大时，易出现模态混叠情况导致预测精确度不高16。VMD 算法17作为一种新型信号分解技术，弥补了 EMD 技术缺陷。因此本文使用 VMD 对风电功率数据进行分解。假设原始信号 f 可分解为 k 个分量，分解序列为具有不同中心频率的本征模态函数(Intrinsic Mode Function,IMF)，则约束的变分表达式如式(1)所示：()()212minekkjw ttkkjtutt=+(1)式中：ku为模态信号，()t为狄拉克函数，f 为时间序列，k 为模态数，kW为第 k 个模态的中心频率。利用 Lagrange 乘子 将变分问题转换为非约束性问题，得到变分约束模型的最优解。其中，增广Lagrange 表达式如式(2)所示：()()()()()()()()()222112e,kKKjw tKKtkkkkkjL UWtutf tuttf tf tutt=+(2)式中：为二次惩罚因数，为拉格朗日乘子。使用交替乘子法，计算得到ku和kw。通过迭代更新后得到迭代分量1nku+、迭代中心频率1nkw+、迭代 Lagrange 乘子1nk+的表达式如下：()()()()()12212inikku wf wuwuwww+=+(3)()()()20120knkkf w uwdwwwfuwdw+=(4)()()()()11nnnkkwwf wuw+=+(5)2122,nnkkknkuunNu+，则表明二者呈正相关关系，否则呈现负相关。s的绝对值越接近 1，则说明二者相互关联的程度就越高，反之越低。比利时电力公司风电场的实测数据的特征包括环境温度、轴承轴温度、叶片 3 桨距角、齿轮箱轴承温度、齿轮箱油温、发电机转速、发电机绕组2 温度、轮毂温度、主箱温度、无功功率、涡轮机状态、风向和风速。这些特征与风电功率之间的 SCC如表 1 所示。从表 1 可知，发电机转速、风速、无功功率与风电功率的 SCC 分别为 0.984、0.983 和 0.981，存在较强关联性；齿轮箱轴承温度、发电机绕组 2 温度、齿轮箱油温和轴承轴温度与风电功率呈现弱相关关系，而环境温度、叶片 3 浆距角、轮毂温度、逐项温度、涡轮机状态和风向的 SCC 值很低，表明上述特征几乎与风电功率没有关联，所以将发电机转速、风速、无功功率、齿轮箱轴承温度、发电机绕组 2 温度、齿轮箱油温和轴承轴温度等 7 个相关性强的特征因素作为输入特征。Table 1.Correlation coefficient between wind power and characteristic factors 表表 1.风电功率与特征因素之间的相关系数 因素 相关系数 环境温度 0.027 轴承轴温度 0.735 叶片 3 桨距角 0.437 齿轮箱轴承温度 0.924 齿轮箱油温 0.858 发电机转速 0.984 发电机绕组 2 温度 0.920 轮毂温度 0.348 主箱温度 0.133 无功功率 0.981 风向 0.283 风速 0.983 4.2.2.变分模态分解分析变分模态分解分析 为获取更加可信的数据集，并充分发掘风电功率序列和特征因素之间的潜在规律。采用 VMD 算法把风电功率序列划分成了若干个分量。该算法通过中心频率法来确定模态数量 k。一般情况下，k 取值范围为 37。据表 2 可得，k 从 5 到 6 的值相似，可得，k 选 5。并结合模态混叠情况，模块参数：alpha 为7000，tol 精确度为 1e7，init 初始化 W 值为 1，使之均匀分布产生随机数。k 值为 5，将风电功率序列分解为 5 个模态分量。曹洪宇 等 DOI:10.12677/orf.2024.141067 716 运筹与模糊学 Table 2.Center frequency for different number of modes k 表表 2.k 个模态分量的中心频率 k U1 U2 U3 U4 U5 U6 U7 3 0.000081 0.008366 0.027493 4 0.000076 0.008006 0.022158 0.045790 5 0.000076 0.007969 0.021707 0.043946 0.0939320 6 0.000074 0.007836 0.020068 0.039356 0.0720915 0.410210 7 0.000073 0.007727 0.018643 0.036453 0.0630600 0.097939 0.410332 从图 2 中各个分量的频谱图和图 3 的中心模态分布图可知，IMF1 原始频谱呈现很强的不稳定性，当进行一级分解时，不稳定性开始趋于稳定，当进行 IMF4 到 IMF5 分解时，频谱呈现稳定状态，说明此时风电功率序列分解比较理想。Figure 2.IMF component spectrogram 图图 2.IMF 分量频谱图 曹洪宇 等 DOI:10.12677/orf.2024.141067 717 运筹与模糊学 Figure 3.IMF Central Mode Distribution Diagram 图图 3.IMF 中心模态分布图 4.3.预测结果分析预测结果分析 各个模型主要超参数见表 3。Table 3.The main hyperparameters of the model 表表 3.模型主要超参数 模型 主要参数 说明 ARIMA p=8 d=1 q=2 自相关阶数 差分次数 移动平均阶数 SVR Kernel Function C=1 Radial Basis Function RBF 惩罚因子 LSTM units1=100 units2=200 第一层神经元数量 第二层神经元数量 CNN kernel_size=5，3 activation=relu pool_size=2 卷积窗口长度 激活函数 最大池化窗口尺寸 VMD alpha=7000 k=5 tol=1e7 带宽限制 分解模态个数 误差常量 AM activation=“softmax”激活函数 曹洪宇 等 DOI:10.12677/orf.2024.141067 718 运筹与模糊学 为检验本文所给出预测模型的有效性和可行性，对本文模型与 ARIMA 模型、SVR 模型、LSTM 模型、CNN 模型、VMD-LSTM 模型、VMD-CNN 模型、VMD-AM-LSTM 模型、CNN-LSTM 模型、CNN-AM-LSTM 模型、VMD-CNN-LSTM 模型的预测效果进行比较。由表 4 可以看出，本文所提组合模型相较于 ARIMA、SVR、LSTM、CNN 单一预测模型，RMSE 分别降低了 80.1%、72.07%、56%、59.78%；MAE 分别降低了 84.82%、38.71%、59.85%、66.56%；MAPE 分别降低了 30.99%、32.11%、31.49%、18.3%。相较于 VMD-CNN、VMD-LSTM、VMD-AM-LSTM、CNN-LSTM、CNN-AM-LSTM、VMD-CNN-LSTM组合模型，RMSE 分别降低了 35.31%、27.17%、0.76%、63.06%、71.47%、41.02%；MAE 分别降低了44.82%、38.90%、2.23%、68.92%、76.01%、49.62%；MAPE 分别降低了 2.94%、2.82%、44.22%、22.1%、15.1%、6.32%。其中，与文献21中 CNN-LSTM-lightGBM 组合算法模型横向量化比较，RMSE、MAE和 MAPE 指标分别将降低了 15.8%、35.2%、13.4%。与文献22中 TPE-LSTM 智能优化算法横向量化比较，RMSE 指标降低了 43.2%，MAPE 指标略有差距，但本文所提出的组合模型在其他关键性能指标具有显著优势。Table 4.Comparison of wind power prediction results of various models 表表 4.不同模型风电功率预测结果对比 模型 评价指标 ERMSE/kW EMAE/kW EMAPE/kW ARIMA 5.4373 4.8087 6.926 SVR 3.6805 1.1910 5.721 LSTM 2.3361 1.8182 5.586 CNN 2.5554 2.1832 4.684 VMD-CNN 1.5887 1.3229 3.943 VMD-LSTM 1.4112 1.1947 3.938 VMD-AM-LSTM 1.0357 0.7467 6.861 CNN-LSTM 2.7824 2.3491 4.913 CNN-AM-LSTM 3.6028 3.0453 4.510 VMD-CNN-LSTM 1.7425 1.4490 4.085 CNN-LSTM-lightGBM 1.222 1.126 4.420 TPE-LSTM 1.809-2.678 VMD-AM-CNN-LSTM 1.0278 0.7300 3.827 从图 4 可以明显看出，在风电功率变化较大的极点处，基于注意力机制的 VMD-CNN-LSTM 网络模型预测值更接近实际值，说明本文提出的网络模型具有在极端情况下更好地预测风电功率的能力。多组实验结果分析发现，同一模型对同源不同规模的采样点具有更优的预测效果，通过使用本文提出的基于注意力机制的 VMD-CNN-LSTM 模型对 1000 个采样点间隔 100 个单位进行预测，对得到的 10个不同的平均绝对百分比误差值进行分析。从图 5 误差的结果可以很明显的看出，在本文提出的模型中，同一模型对同源的不同规模的采样点的 MAPE 值在 0.22%0.31%之间，比同时预测 9685 个采样点 MAPE值降低了 42%18.4%。曹洪宇 等 DOI:10.12677/orf.2024.141067 719 运筹与模糊学 Figure 4.Predictions from different model 图图 4.不同组合模型的预测结果 Figure 5.MAPE values of the same model homology at different scales 图图 5.同一模型同源不同规模的 MAPE 值 为检验文中所给出模型的泛化性，分别选取夏季和冬季作为实验对象，如图 6 和图 7 所示。从图中可以看出，在夏季，风电功率变化较小，其 MAPE 值是 0.2942。在冬季，风电功率变化较大，其 MAPE值是 0.2909。由预测结果可得，在夏季和冬季两种极端条件下，本文给出的模型的误差均小于传统神经网络预测方法。说明本文组合模型具备更强的泛化性能。曹洪宇 等 DOI:10.12677/orf.2024.141067 720 运筹与模糊学 Figure 6.Summer sampling point 图图 6.夏季采样点 Figure 7.Winter sampling point 图图 7.冬季采样点 5.结论结论 本文旨在解决当前传统物理机理驱动预测风电功率的方法中精确度不高和泛化能力弱的问题，提出了一种基于注意力机制的 VMD-CNN-LSTM 短期风电功率预测方法。首先通过 VMD 变分模态分解实现对风电功率时间序列的固有模态分量的有效分解，克服了复杂且非线性强的时间序列问题。其次，引入 CNN-LSTM 组合网络模型提高了特征提取能力，解决了长依赖问曹洪宇 等 DOI:10.12677/orf.2024.141067 721 运筹与模糊学 题，并在组合模型中加入注意力机制模块进一步提高了预测精确度。通过斯皮尔曼相关系数特征分析法对气象和轴承数据的深入分析，对原始轴承数据进行了等级划分，降低了网络模型复杂度，提高了预测精确度。技术创新点在于综合运用 VMD、CNN、LSTM 和注意力机制，从而构建了一种在风电功率预测中具有显著优势的综合模型。研究结果表明，本文方法在提高预测精确度和泛化性能方面较传统方法更为优越，与组合算法 CNN-LSTM-lightGBM 以及 TPE-LSTM 模型横向相比，关键性能较为突出，说明了本文组合模型的先进性。然而，本文仍存在不足之处，包括缺少多个数据集进行多工况分析，未来研究方向可集中在优化模型参数的基础上，增加数据集多工况的对比，进一步提高并验证模型预测精确度和泛化能力。实验数据实验数据 该文所有实验代码与结果可在 https:/ 获取。基金项目基金项目 国家自然科学基金(62076215)；教育部新一代信息技术创新项目(2020ITA02057)；盐城工学院研究生科研与实践创新计划项目(SJCX22_XZ035、SJCX22_XY061)。参考文献参考文献 1 Chen,Y.and Lin,H.(2022)Overview of the Development of Offshore Wind Power Generation in China.Sustainable Energy Technologies and Assessments,53,Article ID:102766.https:/doi.org/10.1016/j.seta.2022.102766 2 姚金楠.国家能源局:上半年新增发电装机八成为可再生能源N.中国能源报,2022-08-08(001).3 唐新姿,顾能伟,黄轩晴,等.风电功率短期预测技术研究进展J.机械工程学报,2022,58(12):213-236.4 Demolli,H.,Dokuz,A.S.,Ecemis,A.and Gokcek,M.(2019)Wind Power Forecasting Based on Daily Wind Speed Data Using Machine Learning Algorithms.Energy Conversion and Management,198,Article ID:111823.https:/doi.org/10.1016/j.enconman.2019.111823 5 Hong,Y.Y.and Rioflorido,C.L.P.P.(2019)A Hybrid Deep Learning-Based Neural Network for 24-H Ahead Wind Power Forecasting.Applied Energy,250,530-539.https:/doi.org/10.1016/j.apenergy.2019.05.044 6 Qian,Z.,Pei,Y.,Zareipour,H.and Chen,N.Y.(2019)A Review and Discussion of Decomposition-Based Hybrid Models for Wind Energy Forecasting Applications.Applied Energy,235,939-953.https:/doi.org/10.1016/j.apenergy.2018.10.080 7 Yatiyana,E.,Rajakaruna,S.and Ghosh,A.(2017)Wind Speed and Direction Forecasting for Wind Power Generation Using ARIMA Model.2017 Australasian Universities Power Engineering Conference(AUPEC),Melbourne,19-22 November 2017,1-6.https:/doi.org/10.1109/AUPEC.2017.8282494 8 Singh,P.K.,Singh,N.and Negi,R.(2019)Wind Power Forecasting Using Hybrid ARIMA-ANN Technique.In:Hu,Y.C.,Tiwari,S.,Mishra,K.and Trivedi,M.,Eds.,Ambient Communications and Computer Systems,Springer,Singa-pore,209-220.https:/doi.org/10.1007/978-981-13-5934-7_19 9 仲悟之,李崇钢,崔杨,等.考虑历史相似性加权的超短期风电功率组合预测J.太阳能学报,2022,43(6):160-168.10 栗然,马涛,张潇,等.基于卷积长短期记忆神经网络的短期风功率预测J.太阳能学报,2021,42(6):304-311.11 Sun,Z.and Zhao,M.(2020)Short-Term Wind Power Forecasting Based on VMD Decomposition,ConvLSTM Net-works and Error Analysis.IEEE Access,8,134422-134434.https:/doi.org/10.1109/ACCESS.2020.3011060 12 Niu,Z.,Yu,Z.,Tang,W.,et al.(2020)Wind Power Forecasting Using Attention-Based Gated Recurrent Unit Network.Energy,196,Article ID:117081.https:/doi.org/10.1016/j.energy.2020.117081 13 姜贵敏,陈志军,李笑竹,等.基于 EEMD-ACS-LSSVM 的短期风电功率预测J.太阳能学报,2020,41(5):77-84.14 叶家豪,魏霞,黄德启,等.基于灰色关联分析的 BSO-ELM-AdaBoost 风电功率短期预测J.太阳能学报,2022,43(3):426-432.曹洪宇 等 DOI:10.12677/orf.2024.141067 722 运筹与模糊学 15 Daz-Vicod,D.,Torres-Barrn,A.,Omari,A.and Dorronsoro,J.R.(2017)Deep Neural Networks for Wind and Solar Energy Prediction.Neural Processing Letters,46,829-844.https:/doi.org/10.1007/s11063-017-9613-7 16 王福忠,王帅峰,张丽.基于 VMD-LSTM 与误差补偿的光伏发电超短期功率预测J.太阳能学报,2022,43(8):96-103.17 盛四清,金航,刘长荣.基于 VMD-WSGRU 的风电场发电功率中短期及短期预测J.电网技术,2022,46(3):897-904.18 Wang,K.,Qi,X.,Liu,H.and Song,J.K.(2018)Deep Belief Network Based K-Means Cluster Approach for Short-Term Wind Power Forecasting.Energy,165,840-852.https:/doi.org/10.1016/j.energy.2018.09.118 19 Santhosh,M.,Venkaiah,C.and Vinod Kumar,D.M.(2020)Current Advances and Approaches in Wind Speed and Wind Power Forecasting for Improved Renewable Energy Integration:A Review.Engineering Reports,2,e12178.https:/doi.org/10.1002/eng2.12178 20 Rubanenko,O.,Miroshnyk,O.,Shevchenko,S.,et al.(2020)Distribution of Wind Power Generation Dependently of Meteorological Factors.2020 IEEE KhPI Week on Advanced Technology(KhPIWeek),Kharkiv,5-10 October 2020,472-477.https:/doi.org/10.1109/KhPIWeek51551.2020.9250114 21 王愈轩,刘尔佳,黄永章.基于 CNN-LSTM-LightGBM 组合的超短期风电功率预测方法J.科学技术与工程,2022,22(36):16067-16074.22 查雯婷,闫利成,陈波,等.基于 TPE-LSTM 的区域超短期风电功率预测J.计算机应用与软件,2022,39(11):25-30,111.