地铁车站PM2.5浓度自注意力混合预测方法研究.pdf
《地铁车站PM2.5浓度自注意力混合预测方法研究.pdf》由会员分享,可在线阅读,更多相关《地铁车站PM2.5浓度自注意力混合预测方法研究.pdf(8页珍藏版)》请在咨信网上搜索。
1、2024.1,4(1)|智能交通与数字化地铁车站 PM2.5浓度自注意力混合预测方法研究陈定宇1,高国飞1,袁泉2(1.北京城建设计发展集团股份有限公司,北京,100037;2.广州地铁设计研究院有限公司,广东 广州 510010)摘要:建立可靠的空气质量预测模型对经济发展和污染治理至关重要,解决 PM2.5浓度的预测问题成为当务之急。本文提出了一种基于自注意力机制的混合预测方法,旨在提高 PM2.5浓度的预测精度。使用自注意力机制来捕捉序列中的关键信息;用 GRU 对序列进行预测;使用 DBN 对误差序列进行校正,以提高预测的准确性和稳定性,形成了最终的预测序列。为了验证模型的性能,以我国四
2、个地铁车站的室外 PM2.5数据为例进行数据处理和预测。结果表明,预测模型在准确性和稳定性方面优于其他参照模型,为决策者提供了科学依据,以更好地治理大气污染问题。关键词:PM2.5;预测;自注意力机制;门控循环单元(GRU);深度信念网络(DBN)Research on selfattention hybrid prediction method for PM2.5 concentration in subway stationsCHEN Dingyu1,GAO Guofei1,YUAN Quan2(1.Beijing Urban Construction Design&Development
3、 Group Co.,Limited,Beijing 100037,China;2.Guangzhou Metro Design&Research Institute Co.,Ltd.,Guangzhou 510010,China)Abstract:It is of great significance to establish a reliable air quality prediction model for economic development and pollution control.Since PM2.5 is the main pollutant in most parts
4、 of China,it has become a top priority to solve the problem of predicting PM2.5 concentration.In this paper,we propose an error correction model based on the self-attention mechanism to improve the prediction accuracy of PM2.5 concentration.This paper uses a self-attention mechanism to capture key i
5、nformation in the sequence.The GRU is used to predict the sequence.The DBN is used to correct the error series to improve the accuracy and stability of the prediction,and the final prediction sequence is formed.In order to verify the performance of the model,this paper takes the outdoor PM2.5 data f
6、rom Beijing,Tianjin,Shanghai,and Guangzhou in China for metro stations as examples for data processing and prediction.The results show that the prediction model in this paper is superior to other reference models in terms of accuracy and stability,and provides a scientific basis for decision-makers
7、to better control the problem of air pollution.Key words:PM2.5;prediction;self-attention;GRU;DBN中图分类号:X513 文献标志码:A 文章编号:2097-017X(2024)01-0049-08DOI:10.3969/j.issn.2097-017X.2024.01.006收稿日期:2023-12-07基金项目:国家自然科学基金面上项目(52072412)。第一作者简介:陈定宇(2000),男,硕士研究生。研究方向:时间序列预测。通讯作者简介:高国飞(1983),男,博士,教授级高级工程师。研究方向
8、:轨道交通规划与设计。49引 言空气和人类的生活息息相关。随着工业化和城市化的不断发展,其过程中排放的空气污染物包括颗粒物、二氧化硫、氮氧化物等,这些物质可引发呼吸系统疾病。长期暴露于污染空气中,人们容易患上呼吸道疾病,如慢性支气管炎、哮喘等1。作为发展中国家,我国当前空气污染较严重。我国正在经历由传统产业向新型产业结构转化。在这个过程中,对空气污染的控制和治理十分重要。对 PM2.5 浓度进行预测,考虑其对我国地铁车站 的 影 响 是 一 项 重 要 的 环 境 管 理 工 作。首 先,PM2.5是细小颗粒物,可以进入呼吸道并深入肺部,对人体健康造成潜在威胁。通过预测 PM2.5浓度,车站管
9、理者可以提前警示旅客,尤其是老年人、儿童和患有呼吸系统疾病的人,采取措施来降低暴露风险。其次,高浓度的 PM2.5 可能影响交通运营的正常进行。对 PM2.5 浓度的预测可以帮助交通管理者调整列车时刻和提前发布警报信息,以减缓交通系统的运营受到的影响。然而,由于 PM2.5 的不规则特性和复杂的影响因素,难以实现 PM2.5 浓度的精确预测。近年来,研究人员已经提出了一系列 PM2.5浓度预测模型。长期以来对空气污染物浓度的预测,相关研究主要在于提高模型预测的精确性和稳定性,随着人工智能的发展,出现了许多预测空气污染物浓度的模型2。这些模型可以分为三类:化学模型、统计模型、人工智能模型。化学模
10、型包括 CAMx3、CMAQ模型4和 LOTOS-EUROS5等。这些方法能够考虑许多化学动力学条件、反应指数和化学产物,实现污染物预测。空气污染预测的传统统计模型包括自回归综合移动平均(ARIMA)6、灰色模型(GM)7、逐步回归8、主成分回归(PCR)9、多元线性回归(MLR)10和 其 他 回 归 模 型,例 如 孟 凡 强 等11用ARIMA 对我国五个城市的空气污染物指数进行预测,李 颖 若 等12用 MLR 实 现 对 北 京 空 气 质 量 的评估。基于人工智能的预测模型中包括单一的预测模型和混合预测模型,单一预测模型包括深度信念网络(DBN)13、卷积神经网络(CNN)14和长
11、短期记忆网络(LSTM)15等模型,例如王洪彬等16将 CNN 用于空气中苯浓度的预测。考虑到单一模型预测的局限性,混合模型在空气质量预测中变得越来越重要。混合模型主要包括以下两种类型:一是简单混合模型,即将两个或者多个模型堆叠在一起进行预测,省略了数据前处理和优化,例如杨雨佳等17采用 CNN-GRU 模型对臭氧浓度进行预测,刘媛媛等18采用了 CNN-LSTM 对空气质量指数进行预测。二类是智能混合模型,此类模型结合了数据处理和优化算法,例如王菲等19使用 ELM 和灰狼优化算法结合,实现了对空气质量的预测,刘炳春等20采用 Wavelet-LSTM 模型对北京空气污染进行预测。目前 PM
12、2.5 浓度的预测的相关文献存在以下不足:第一,PM2.5浓度时间序列通常包含长期依赖关系,其中当前时刻的浓度受前几个时刻的浓度和外部因素的影响,相关文献的模型可能会受到滞后特征的限制21;第二,PM2.5时间序列数据存在固有的随机性,难以预测,在模型预测完后仍会出现较大误差。为了克服以上不足,本文提出了一种基于智能混合预测方法的集成和预测误差校正模型,旨在提高模型预测的精确性和稳定性,本文的主要工作如下:(1)自注意力机制可以有效地捕捉时间序列的长期依赖关系,可以有效改善时间序列的滞后性。因此首先采用自注意力机制对时间序列中的关键信息进行捕捉,再用 GRU 进行预测。(2)采用误差修正可以帮
13、助提高预测的准确性,通过对预测结果进行修正,可以减少误差,使模型更加可靠。因此本文设计了 DBN 模型用来校正带自注意力机制的 GRU 的误差,并且将误差预测结果和原预测结果相加得到最终预测结果,实验结果表明,基于自注意力机制的 GRU-DBN 误差修正模型提高了模型预测的稳定性和精度。1模型及方法介绍1.1本文模型结构模型结构框图如图 1所示。1.2自注意力机制注意力机制(Self-attention)可以通过计算注意力权重然后给输出向量动态生成权重,具体描述为将询问向量 Q(query)、键值向量 K(Key)和值向量V(value)映射到输出向量过程,输出向量是由 Q 和K 计算过程产生
14、的权重分配到值上产生的加权和。自注意力机制的点积模型公式如下:50地铁车站 PM2.5浓度自注意力混合预测方法研究 陈定宇 等Attention(Q,K,V)=softmax(QKTdk)V (1)由于模型在对当前信息进行编码时,会过度地将注意力集中于自身的位置,因此需要多头注意力机制解决这一问题,具体公式如下:MultiHead(Q,K,V)=Concat(head1,headh)WOwhere headi=Attention(QWQi,KWKi,VWVi)(2)式中 QWQiRdmodeldk,KWKiRdmodeldk,VWViRdmodeldv,WO Rdmodel hdv。1.3GR
15、U门控循环单元(Gate Recurrent Unit,GRU)21是 RNN 的变种,解决了 LSTM 不能长期记忆和反向传播中的梯度问题。GRU 比 LSTM 的结构简单,GRU 包含两个门分别是更新门和重置门。GRU 结构图如 2所示。1.4DBN深度置信网络(Deep Belief Network,DBN)深度信念网络是一个概率生成模型,与传统的判别模型的神经网络相比,DBN 能够建立一个观察数据和标签之间的联合分布,拥有强大的无监督特征提取能 力,DBN 由 多 个 受 限 玻 尔 兹 曼 机(Restricted Boltzmann Machine,RBM)构成,最后一层为传统BP
16、 神经网络。与传统 BP 神经网络相比,DBN 学习速度更快,对数据的输入要求更低,精确性和稳定性更高。DBN 网络结构和传统神经网络不同前面几层由 RBM 构成,层内神经元无连接关系,结构图如 3所示。DBN理论推导:(1)输入层中,输入污染物数据至观察层 v1,计算观察层神经元激活概率P(hj=1|v),从计算概率分 布 中 利 用 Gibbs 抽 样 法 抽 取 样 本 hjP(hj=1|v)。(2)用隐藏层 h1 重新构建观察层并反推。计算隐藏层神经元激活概率P(vi=1|h),从计算概率分布中利用 Gibbs 抽样法抽取样本 viP(vi=1|h)由v2再次计算隐藏层神经元激活概率并
17、更新权重,并重复多次训练。(3)利用 BP 算法用来进行有监督反向微调,目标函数为最小化重构输入与最初输入的均方误差:图 2GRU 网络结构Fig.2Network structure of GRU图 3DBN网络结构Fig.3Network structure of DBN图 1模型框图Fig.1Block diagram of the model 51MSE=1ni=1n(Yi-Yi)2(3)式 中 n 为 样 本 个 数,Yi为 真 实 标 准 结 果,Yi 为 DBN 网络实际输出结果。1.5评价指标论文使用统计学中常用的三个误差评估指标来定 量 评 估 模 型 的 预 测 精 度,即
18、 平 均 绝 对 误 差(MAE)、RMSE 和平均绝对百分比误差(MAPE)。这三个评估指标如表 1所示。2实验步骤因为 PM2.5 时间序列受到多个因素的综合影响,包括但不限于温度、气压和风速等,仅仅依赖于复杂参数的单一预测模型很难有效拟合其变化趋势,导致预测精度不容易达到要求。因此,本文采用混合预测模型的方法,以更全面、综合的方式对序列进行预测。通过考虑多个影响因素的综合作用,本文混合模型有望提高预测的精确性,更好地捕捉PM2.5 浓度变化的复杂模式,满足更高的预测精度要求。该模型主要包括数据预处理,预测模型和模型评价:步骤一:数据预处理,通过随机森林算法填补缺失值,用四组数据集分别来验
19、证本文模型的性能,将数据集以 8:2的比例划分训练集 y1,y2,yt和测试集 yt+1,yt+2,yt+n。步骤二:首先采用自注意力机制来捕捉合时间序列的关键信息。步骤三:获得关键信息后,用 GRU 对污染物时间序列进行预测。步骤四:综合上述预测结果和原始序列得到残差e=y-y,最后将残差用 DBN 得到预测后的残差e,进 行 误 差 修 正 后 形 成 最 终 的 预 测 序 列y*=y+e,预测精度更高。步骤五:用评价函数对模型进行评价,并且和现有的模型进行比较。3实验及模型评价3.1数据描述本文以我国的四个交通枢纽(北京、天津、上海、广州)的污染物数据集作为研究对象。近年来我国交通枢纽
20、的发展越来越快,研究其空气污染物预测模型对污染防治有着重大的意义。此次实验的数据来 源 于 2022 年 1 月 1 日 12 月 31 日 24 小 时 PM2.5 数据,该 PM2.5 数据均来自国家城市空气质量实时发布平台 https:/emccn:18007/中国环境监测中心。本文将数据分为四组来评价本文模型的性能,数据集均为 8700 h(日期为 2022.01.012022.12.31)的 PM2.5 污染物数据,其中北京的污染物数据集为数据集 1,天津的污染物数据集为数据集 2,上海的污染物数据集为数据集 3,广州的污染物数据集为数据集 4。每一组按照 8 2 比例划分训练集与测
21、试集,所有实验在 Windows10 上的 Python(3.9)四组数据集如图 4所示。从图 4可以明显观察到 PM2.5浓度在特定时间段内变化较为显著,尤其是出现了较大的波动。这种复杂的时序变化使得单一模型的预测难以准确捕捉其真实趋势,导致预测的不精确性。因此,为了更有效地应对这种时序数据的多变性,需要采用混合模型来进行预测。3.2带自注意力机制的 GRU预测在本节中研究了带自注意力机制的 GRU 对PM2.5 浓度预测的影响,比较了带或不带自注意力机制的预测效果,四组数据集预测的平均 MAE,RMSE、和 MAPE如图 5所示。由图 5 可知,由于自注意力机制能够允许模型在处理序列数据时
22、更灵活地关注不同位置的信息,而不受固定窗口大小的限制,这使得 GRU 能够更好地捕捉序列中的长距离依赖关系,提高了 GRU 时间序列预测的能力。3.3DBN误差修正在本节中,研究了 DBN 误差修正对 PM2.5小时浓度预测的影响,误差预测结果如图 6 所示。然后比较了四组数据,带或不带 DBN 误差修正的模型之间取四组数据的 MAE 比较如图 6所示,四组数据使用 DBN 误差修正的改善百分比如表 2所示。从图 6表 1评价指标表Tab.1Table of evaluation indicators评价指标MAERMSEMAPE计算公式1Ni=1N|yi-fi1Ni=1N(yi-fi)210
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 地铁 车站 PM2 浓度 注意力 混合 预测 方法 研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,个别因单元格分列造成显示页码不一将协商解决,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。