基于Q-learning的碳-电联合套利策略_余运俊.pdf

第 卷 第 期 年 月：基于 的碳电联合套利策略余运俊，龚 海，龚汉城，陈 敏，王忠阳，杨林锋（南昌大学 信息工程学院；人工智能工业研究院，南昌；江西倬云数字产业集团，南昌；北京化工大学 信息科学与技术学院，北京）摘 要：针对发电企业在电力低碳转型过程中，部署可再生能源发电设备的成本问题，研究了一种基于 的碳电联合套利策略。利用电力市场和碳市场价格实时波动的特点，在电力市场中在低价时存储电能，高价时卖出电能。在碳市场中，在低价时购入碳排放权。采取 算法学习碳电联合套利策略，以欧洲的 个城市为研究对象，仿真结果表明，应用碳电联合套利策略可提升可再生能源发电售电收入的，减少 购买碳排放权开支，实现最大化套利目标。由于部署可再生能源发电带来的减排效益，使得碳排放开支再次减少。通过将碳市场与电力市场相结合套利，使得套利利润得到了显著提升，验证了所提方法的有效性。关键词：联合套利；低碳转型；学习；电力市场；碳市场中图分类号：文献标志码：文章编号：（）收稿日期：基金项目：江西省重点研发计划项目（）；南昌大学教改项目（）作者简介：余运俊（），男，江西上饶人，博士，教授，研究方向为智能微网控制、光伏预测。：；：，（；，；，；，）：，：；第 卷 引 言为缓解全球变暖和温室气体排放，电力低碳转型受到人们广泛关注。年欧盟气候与能源方案将计划在 年可再生能源占比提升至。有研究认为可再生能源对经济增长以及降低温室气体排放有促进作用。发电企业要实现电力低碳转型，经济性是电力低碳转型过程的一大问题，储能套利方法可提高经济性。储能设备以高价格放电，以低价格充电，利用实时市场的价格差来获利。等提出一种算法竞价策略，通过在电力市场每个交易日的出价中分配交易者的预算，在有限的交易时段内最大化套利累积收益。等提出一种无功功率调度结合能源套利的方法，该方法综合考虑电价、无功成本、无功充电、线损和能量套利，使得微电网的运行成本最小化。等提出一种微电网可再生能源点对点能源交易的套利策略，通过应用该策略微电网的利润增加了 。等提出一种电网储能双层套利策略，上层考虑储能套利收益最大化，下层考虑风电和储能市场清算过程。等建立储能套利利润最大化问题的随机表达式，帮助储能所有者进行市场投标和运营决策，并评估了储能的经济可行性。等提出一种基于联合套利和运营储备函数的存储调度算法，通过引入自适应惩罚机制和软约束来分配储能和运营储备的荷电状态。等提出一种新的投资和运营决策建模方法，评估同时为需求峰值调控和价格套利业务部署储能的经济效益。等提出一种独立系统运营商模型在电力市场中进行套利。上述方法考虑储能套利，但没有考虑如何降低电力低碳转型过程中的碳排放开销。近年来，欧洲电力行业碳排放快速下降，离不开欧洲碳市场，在欧洲碳市场中，发电企业产生的二氧化碳排放需要购买欧盟配额（，）来进行抵消，每个 授予持有者排放 二氧化碳的权利。发电企业每年需要投入大量的资金购买碳排放权。在碳市场中，碳排放权的价格实时波动也给碳市场套利带来了可能性。对比单一电力市场的储能套利，将电力市场储能套利与碳市场套利相结合，可获得更高的利润。电力市场和碳市场的价格具有不确定性，传统的优化方法需要对不确定因素进行预测，这类方法计算量大，且优化结果与预测精确度相关，当预测结果偏差较大时，即使性能优良的求解算法也无法得到最优解。对此，算法对于数学模型的依赖性低，能基于已知数据构造环境进行决策，具有决策性好、灵活性高、泛化性强等优点，所得策略的性能也不受制于预测结果的精度，可解决电力市场和碳市场套利利润最大化的问题。等使用深度强化学习进行储能套利，考虑储能套利过程中锂离子电池的退化的影响，但没有与碳市场结合。等提出一种考虑碳电交易的虚拟发电厂竞价策略，通过在电价套利中加入可再生能源发电的碳信用机制，在套利的同时使用碳信用抵消设备的碳排放开销，提升总体的套利利润，但没有考虑主动购入低价的碳排放权降低碳排放开销。等采用 算法解决碳电联合套利问题，但其在一个决策周期内只能选择电力市场或者碳市场实时价格套利，没考虑实际的电能传输损耗。本文在发电企业的视角，研究了一种基于 的碳电联合套利策略，通过多动作奖励叠加的形式，实现碳电联合套利。对比文献中本文所提策略可将储能套利与碳市场套利结合，主动参与碳市场交易，在碳价低时购买碳排放权，抵消设备的多余碳排放。对比文献本文所提策略可在一个决策中同时执行电力市场和碳市场套利策略，实现碳电联合套利。通过本文所提方法制定的套利策略，能改善发电企业低碳转型过程中的经济性问题。仿真结果表示，该方法可使得可再生能源发电的年度收益提升，发电企业年度碳排放花费降低。基于 的碳电联合套利模型 套利目标电价套利根据实时电价的高低决定储能的充、放动作，利用高价放电低价充电来赚取差价。碳价套利根据实时碳排放权拍卖市场中拍卖价格的高低，在低价时买入碳排放权直至购入的碳排放权等于全年碳排放量，降低全年碳排放花费。碳电联合套利的利润（）（）（）（）式中：为电价套利利润；为全年向储能中充电的电能价值；（）为 时刻电价；为储能放电容量；为碳价套利利润；为全年平均碳价；为全年碳排放目标；（）为 时刻碳价；为购入 的数量。状态空间电价存在波峰和波谷，将电价根据电价的高低划分为极端低价（电价小于 ）、极端高价（当前电价大于全年平均电价的 倍，因地而异）和普通电价。普通电价再等长划分为 个区间。这样可解决由于极端电价所在，导致对电价直接划分区间后，对实时电价状态评估不准确的问题。碳价出现极端价格的情况 第 期余运俊，等：基于 的碳电联合套利策略较少且对比正常的碳价跨度不大，将碳价等区间划分为 个区间。状态空间分为实时电价（）（）、实时碳价（）（）、储能的状态空间 和碳价高低的状态空间。根据储能自身充、放电的特性，将储能电量范围设置为 ，充电速度为（充电时长为 ，由于时间尺度考虑为，所以储能状态能够直接从 变为）。储能的状态空间，小于等于 电量，大于等于 电量（）通过与全年平均碳价比较，将碳价高于全年平均碳价时为高碳价，低于全年平均碳价时为低碳价，碳价高低的状态空间，低碳价，高碳价（）动作空间与奖励本研究中，动作空间分为储能动作空间和碳价动作空间储能动作空间，蓄电池充电，不动作，蓄电池放电（）碳价动作空间，不变，买入（）储能动作奖励（），（），|（）碳价动作奖励，（），（），|（）在储能动作奖励中，使用全年电价平均值，和实时电价（）作为衡量奖励值高低的依据。在碳价动作奖励中，由于需要买入足够多的碳排放权来抵消碳排放，碳价套利不能和储能套利一样等待低价时购入。因此采取全年碳价平均值，、实时碳价（）、碳价状态 和最近 日平均电价 作为衡量奖励值高低的依据，和 决定在高碳价状态和低碳价状态下的奖励倍数，使得低碳价时买入的奖励更高，可鼓励智能体在低碳价时做出买入动作。算法中，将储能动作 和碳价动作 的奖励叠加，结合为碳电联合动作，选取的动作 为以及 的结合，为正整数，时刻执行碳电联合动作的奖励 （）（）（）（）（，）（，）（）式中：为 时刻储能的状态；为 时刻碳价的状态；（）为 时刻智能体获得的奖励值；和 为执行储能动作和碳价动作的回报奖励函数；为电价奖励的系数，改变 的大小可改变电价奖励与碳价奖励所占的比例。将储能状态 和碳价高低状态 以二进制的形式结合（在低位，在高位），通过一个二进制数来代表实时的储能状态和碳价状态，在执行碳电联合动作之后，将动作拆分为 和 分别执行。在学习过程中，值根据贝尔曼方程进行更新，即：（，）（，）（）（，）（，）（）（）式中：为 时刻储能的状态 与 时刻碳价的状态组 成 的 二 进 制 数，为 正 整 数，；（，）为下一状态 下的 表最大值；为折扣因子，它权衡了立即回报和未来回报的重要性；为学习率，。碳电联合套利本文研究中假设的实验主体是巴黎、赫尔辛基和哥本哈根的发电企业，年度火力发电产生的碳排放量为 ，发电企业所有火力发电产生的二氧化碳排放必须全部由自己购买碳排放权来抵消。为降低购买碳排放权的开支，发电企业需采取清洁能源发电逐步替代火力发电，降低自身碳排放，进行电力低碳转型，图 为碳电联合套利结构。图 碳电联合套利结构 如图 所示，碳电联合套利结构由储能系统和发电机组成。储能系统包括光电储能（）和风电储能（），发电机包括光伏面板（）、风力涡轮机（）和火力发电机（）。与其他储能套利方法不同，在碳电联合套利策略中，储能不会从电网中购电来进行充电。具体套利流程如下：（）使用 算法结合历史的电价数据、第 卷碳价数据和风光发电数据进行训练，产生碳电联合套利策略。（）碳电联合套利策略接收当前电价状态、碳价状态、储能状态以及碳价高、低状态。（）碳电联合套利策略控制储能系统的充、放电以及是否购入碳排放权。储能充电时，在风力发电机与光伏电板将储能中的电量充满后，多余的电能直接在电力市场售卖。在碳排放权的数量足以抵消碳排放量后，将不再买入碳排放权。（）进入下一个状态，跳转到流程（），如没有下一个状态，则套利结束。采取的 算法的训练参数选取：训练轮次设置为 ，学习率 采用固定值，设置为 。由于碳电联合套利中电价与碳价的状态是随机的，与上一个状态无关，因此智能体只需要关注即时利益即可，即折扣因子 设置为。实验结果与讨论实验地点选取经纬度相差较大，具有不同的风光资源的 个城市，通过实验仿真测试本文方法在不同条件的地区的效果。风光发电模型和系统参数见附录，个城市的全年光伏发电量见附录 图，全年风力发电量见附录 图 （风速、辐照度数据来自：）。实验采用的碳价是从 包括 年 月 日交易日之前的 个交易日的碳价，图 为欧盟碳价。图 欧盟碳排放权价格 电价是 上的 年 月 日到 年 月 日在 个地区的实时电价，其电价数据在附录 图 中表示（：）。将 所得套利策略分别运用在前文选择的 个城市中，得到 城市在碳电联合套利下的全年利润。按照式（）的计算方法，电价套利结果如图 所示；按照式（）的计算方法，碳价套利结果如图 所示。在储能套利部分，城市的光电储能套利利润都要少于风电储能，光电储能的套利只能在白天进行，储（）光电储能套利利润（）风电储能套利利润图 电价套利利润图 碳价套利利润能的套利次数有限。城市的风电储能套利效益有较大的差别，对于风力资源较多的城市，充足的风力发电量可很快为风电储能充能，储能的套利次数显著增加，总体套利效益也因此增加。通过部署可再生能源发电替代火力发电能减少碳排放，以二氧化碳排放量 折算，表 为在 城市部署可再生能源发电的减排收益。表 可再生能源发电减排收益城市总发电量（）减少碳排放量（）减排效益，哥本哈根 巴黎 赫尔辛基 在碳价套利部分，城市使用碳价套利策略最后 第 期余运俊，等：基于 的碳电联合套利策略的利润都在 欧元左右。欧盟碳交易第 期开启，碳价开始上涨，套利策略在前期碳价较低时买入碳排放权的频率较高，碳排放权的数量很快就达到全年目标，不再购买碳排放权，利润在满足碳排放权数量之后停止上涨。在做了 次仿真来验证 算法的效果。次仿真结果中的电价套利结果见表，碳价套利结果见表。表 电价套利利润平均值发电类型城市发电量（）售电收入储能套利收入，提升率光伏发电哥本哈根 巴黎 赫尔辛基 风力发电哥本哈根 巴黎 赫尔辛基 注：次仿真的最终结果取平均值表 碳价套利利润平均值城市碳排放量（）平均价格，（）碳价套利利润，碳排放开销减少率 哥本哈根 巴黎 赫尔辛基 注：次仿真的最终结果取平均值 仿真结果表明，算法碳电联合套利策略可很好地完成碳电联合套利最大化目标。采取碳电联合套利策略能稳定进行碳电联合套利，有效增加售电收入、减少碳排放开销。结 语本文研究了一种基于 的碳电联合套利策略，运用 算法采用多动作奖励叠加的形式，能很好地处理碳电联合套利利润最大化，无须建立复杂模型即可获得不错的效果。通过应用碳电联合套利策略，可使再生能源的全年发电收益提升 左右，使发电企业全年平均碳排放开支降低 左右。将电价套利与碳价套利结合后，其碳电联合套利的效果显著。同时还能进一步减少火力发电产生的碳排放，降低碳排放开支。仿真结果表明，本文所研究的 的碳电联合套利策略能完成碳电联合套利的目标，有效增加售电收入减少发电企业自身购买碳排放权的花费，在碳达峰和碳中和的目标下，助力发电企业低碳转型。参考文献（）：任曦骏，朱刘柱，谢道清，等 可再生能源参与电力现货市场关键问题的研究 现代电力，（）：覃禹铭，卢 颖 电力系统多模态低碳电力调度策略分析实验室研究与探索，（）：，（）：，（）：，（）：，（）：，（）：，（）：，（）：，（）：，（）：，：，（）：秦 炎 欧洲碳市场推动电力减排的作用机制分析 全球能源互联网，（）：，：魏泽涛，刘友波，沈晓东，等 基于样本数据迁移学习的贫资料地区小水电超短期出力建模及发电预测 中国电机工程学报，（）：赵德京，马洪聪，廖登宇，等 一种基于动作采样的 学习控制工程，（）：庞文砚，范家璐，姜艺，等 基于强化学习的部分线性离散时间系统 的 最 优 输 出 调 节 自 动 化 学 报，（）：刘俊峰，王晓生，卢俊菠，等 基于多主体博弈和强化学习的多微网系统协同优化研究 电网技术，（）：曾令康，姚 伟，艾小猛，等 基于双 学习的考虑暂态稳定约束的电网薄弱线路辨识 中国电机工程学报，（）：熊珞琳，毛 帅，唐漾，等 基于强化学习的综合能源系统管第 卷理综述 自动化学报，（）：袁兆麟，何润姿，姚超，等 基于强化学习的浓密机底流浓度在线控制算法 自动化学报，（）：，（）：，（）：，：，：附录（）哥本哈根（）巴黎（）赫尔辛基图 全年光伏发电量（）哥本哈根（）巴黎（）赫尔辛基图 全年风力发电量（）哥本哈根（）巴黎（）赫尔辛基图 全年电价 风力发电模型：（），|（）式中：为涡轮机发电额定功率，；为实时风速；为切进风速，；为额定风速，；为截断风速，。光伏发电模型：（）（）（）（）式中：为标准条件下输出功率；为功率温度系数，（下转第 页）第 卷（）对比图（）对比图改进 图 不同目标检测算法检测结果对比图 结 语由于目前小目标在图像中像素度较低以及背景环境等因素而出现的较高漏检率，检测精度较低的问题，本实验在 的基础上，在权重参数加入 网络模块以及 注意力机制，在 数据集的测试，测试结果表明，改进 目标检测算法在对于小目标的检测方面识别效果更好，并经各项客观数据分析后可知，改进 算法的精度和其他几种目标检测算法相比均有所提高。改进后的 算法具有较好的识别能力，更加关注小目标特征信息，在小目标检测能力上有了一定的提升。改进 算法在某些特殊情况上仍有提升空间，后面会继续进行在某些极端情况下的检测优化工作。参考文献（）：郭 倩 嵌入多尺度模块和注意力机制的图像语义分割 烟台：山东工商学院，：，：，：，：，：赵鹏飞，谢林柏，彭力 融合注意力机制的深层次小目标检测算法 计算机科学与探索，（）：张靖奇 基于深度学习的卫星遥感图像舰船检测 哈尔滨：哈尔滨工业大学，郝思宇 基于深度学习的道路车辆检测方法研究 成都：成都理工大学，向 丹 基于深度学习的安防图像目标识别技术研究 北京：中国石油大学，张 上，王恒涛，冉秀康 基于 的轻量化交通标志检测方法 电子测量技术，（）：张德雄 基于语义分割的森林场景区域识别技术研究 南京：东南大学，陈佛计，朱 枫，吴清潇，等 生成对抗网络及其在图像生成中的应用研究综述 计算机学报，（）：杨隆珊 高光谱遥感图像的解混和分类处理研究 武汉：中国地质大学，李 鸣，郭晨皓，陈 星 视觉类深度神经网络的自动标注计算机应用，（）：李东明，汤 鹏，张丽娟，等 采用改进稠密连接网络的防风药材的道地性识别 农业工程学报，（）：赵 欣，王 欣，王洪凯 融合注意力和 模块的脑白质病变端到端分割 光学学报，（）：褚文杰 基于 的坦克装甲车辆目标检测关键技术的研究 北京：北京交通大学，陈一夫 基于注意力机制的小目标检测算法研究 哈尔滨：哈尔滨工业大学，黄文斌，陈仁文，袁婷婷 改进 的无人机目标检测模型压缩方案 计算机工程与应用，（）：（上接第 页）；为标准条件下辐照度，；为标准条件下温度，；（）为 时刻的辐照度，；（）为 时刻的温度，。系统参数选取：光伏发电的装机容量为 配带 的光电储能，风力发电的装机容量为 配带 的风电储能，储能的充放电速度为。为更加贴合实际情况，在仿真中电能传输到电网会有 的损失，储能的电能充、放损耗为，储能放出的电能传输到电网也会损失。