基于深度强化学习的轴流式通风机流型优化应用研究.pdf

Chinese Journal of Turbomachinery第65卷，2023年第3期Http:/turbo- Vol.65，2023,No.3Application Research of Flow Type Optimization Design ofAxial Flow Fan Based on Deep Reinforcement Learning*Yu-kai Hong1Guo-jun Hu2Can-xing Wang1,*(1.School of Aeronautics and Aerospace,Zhejiang University;2.Hangzhou Dunli Electric Appliance Co.,Ltd.)Abstract：With the intensive study of machine learning methods,its applications are becoming more and more extensive,and itsapplication in fans has also attracted more and more attention.In this paper,deep deterministic policy gradient algorithm is used toestablish a flow type optimization design method for axial flow fan.This method is used to optimize the design of a certain type ofaxial fan,and the aerodynamic performance of the fan before and after the optimization is compared through numerical simulation.The results show that in most working conditions,the fan efficiency has significantly improved after optimization which indicatesthis method is feasible for the optimal design of axial fan,and it provides a new way for the optimal design of axial flow fan.Keywords：Deep Reinforcement Learning;Deep Deterministic Policy Gradient Algorithm;Axial Fan;Optimal Design；FlowType Design摘要：随着机器学习方法的深入研究，其应用范围越来越广，在风机方面的应用也越来越得到关注。本文采用深度确定性策略梯度算法建立了一种轴流式通风机流型优化设计方法，运用该方法对某轴流式通风机进行优化设计，并通过数值模拟对比优化前后的风机的气动性能。结果表明，在大部分工况下，优化后的风机效率均有明显提升，说明机器学习方法用于轴流式通风机的优化设计是可行的，这为风机的优化设计提供了一种新的途径。关键词：深度强化学习；深度确定性策略梯度算法；轴流式通风机；优化设计；流型设计中图分类号：TH432.1文章编号：1006-8155-（2023）03-0089-05文献标志码：ADOI：10.16492/j.fjjs.2023.03.0015洪煜凯1胡国军2王灿星1,*（1.浙江大学航空航天学院流体工程研究所；2.杭州顿力电器有限公司）基于深度强化学习的轴流式通风机流型优化应用研究*基金项目：国家自然科学基金重点项目（12132015；11872333）*通讯作者：王灿星，0引言作为机器学习的一个新分支，深度强化学习，即将深度学习的感知能力与强化学习的决策能力相结合，能够大大提高算法的求解和泛化能力，使强化学习网络能够更好地感知复杂环境状态，并建立动作策略，同时避免因多维动作空间而导致的维数灾难1。在诸如无人驾驶决策2、投资组合策略3、区域能源系统运行优化4等多个研究领域，深度强化学习的这一特点都得到了良好体现。在气动优化设计中，深度强化学习也得到了应用。李润泽、张宇飞5等人以设计者在翼型气动设计中的增量修型过程为例，给出深度强化学习在气动优化设计中的要素定义和具体算法。温暖、刘正华6等人基于深度强化学习策略研究了一类变体飞行器外形自主优化问题，通过设计深度确定性策略 梯 度 算 法（Deep Deterministic Policy Gradient，简 称DDPG）使飞行器在整个飞行任务过程中达到最优气动外 89Chinese Journal of Turbomachinery形。但在通风机的气动优化研究中还未发现其应用，因此，本文拟研究深度强化学习在轴流式通风优化设计中的应用。叶轮是轴流式通风机最重要的部件，而流型设计则是影响叶轮气动性能的关键一环。邬振耀、程鹏7在文章中指出，变环量流型设计能充分利用叶顶部分的圆周速度，提高叶轮效率，同时减小叶片扭曲，便于叶片的加工制造。金元日、王军、于文文8等人分别对等环量流型和变环量改进型流型进行了内流模拟，分析了流型造成的叶片根部安装角的变化对轴流式通风机性能的影响，结果表明，改进型流型设计能改善根流动，利于气动噪声控制。赵丹丹、赛庆毅9等人采用数值模拟方法对比研究了不同环量指数的轴流式通风机在设计工况下的气动性能，通过分析风机内部流动结构，揭示了沿叶高变环量设计对气动性能影响的控制机理。刘玉成10以变环量指数为优化变量，进行轴流式通风机流型优化设计，发现采用优化流型的风机效率得到提高。除上述采用指数型变环量流型的研究外，不少学者也尝试探索了不同形式变环量流型，如载荷按五次方规律分布11和环量沿径向线性增加12等，均取得了积极进展。因此，本文以轴流式通风机流型为对象，建立了一种基于深度强化学习方法的轴流式通风机优化设计方法，并通过设计实例验证本文优化方法的可行性。1DDPG算法基本理论深度强化学习在强化学习原有决策优势的基础上，又增加了深度学习的感知优势。在深度强化学习中，强化学习作为优化框架，用以定义问题和优化目标，深度学习则利用感知优势来求解策略函数或价值函数，使用反向传播算法来优化目标函数。深度强化学习的一般架构如图1所示。与遗传算法等进化类优化算法不同，深度强化学习结合了深度学习的特征抽象、提取能力和强化学习优秀的决策控制能力，能够很好地适应连续动作空间中非线性优化问题，且具有较好的全局寻优能力，避免陷入局部最优的情况3。DDPG算法是Google在2015年提出的一种融合Actor-Critic算法13的深度强化学习方法14。其特点主要有：1）使用深度卷积神经网络来模拟策略函数和价值函数，更适合于连续的动作空间及非线性模拟函数；2）使用经验回放池Experience Replay Buffer用于状态更新，取消样本之间的相关性，避免神经网络的过拟合；3）在Actor-Critic算法的基础上，引入目标网络和当前网络，使学习过程更加稳定，易于收敛。DDPG算法使用当前网络参数对目标网络参数进行小幅度更新，称为软更新（Soft Update），使算法更稳定，可采用如下方式表示：+()1-QQ+()1-Q(1)式中，为Actor当前网络参数；为Actor目标网络参数；Q为Critic当前网络参数；Q为Critic目标网络参数；为软更新参数，一般取为0.001。图2为DDPG算法的整体框架图，图中的动作网络即Actor-Critic算法中的Actor，而评价网络即Actor-Critic算法中的Critic。Actor当前网络经过噪声处理后生成动作at，环境模型执行at后，生成一组样本()st,at,rt,st+1，其中，st代表t时刻的状态，rt代表t时刻执行动作at获得的奖励，将样本存入经验回放池中，作为训练当前网络的数据集。从经验回放池中随机采样N组数据作为一组小批量样本（mini-batch）训练数据，用以进行当前策略网络和当前Q网络的新一轮参数训练。这是DDPG算法中的外部运行过程，再看当前网络和目标网络的内部运行过程，通过Actor当前网络生成动作at输入Critic当前Q网络中进行评估，得到Q值函数，参与更新Actor当前网络的参数。另一方面，在目标网络中，Actor和Critic目标网络定期通过软更新的方式，用当前网络参数更新自己的网络参数，随后Critic当前网络输出的值函数Q参与Critic中当前网络的目标函数计算，辅助更新Critic当前网络的参数Q，这样就完成了一次DDPG算法的训练过程。2基于DDPG的轴流式通风机流型优化方法2.1轴流式通风机设计基本步骤根据轴流式通风机基本理论对轴流式通风机进行优化前的基本设计，这样能够保证结构参数在合理范围内，从而提高优化设计的效率。文献15详细论述了基于孤立翼型法和平面叶栅法对风机结构参数、气动参数的设计流程。其中，在气动参数设计中，本文采用沿径向呈二次多项式分布的变环量流型，即=ar2+br+c(2)式中，为环量；r为半径；a，b，c为流型控制参数。图1深度强化学习一般架构Fig.1Deep reinforcement learning general architecture图2DDPG算法框架图Fig.2DDPG algorithm framework diagram基于深度强化学习的轴流式通风机流型优化应用研究 90Chinese Journal of Turbomachinery第65卷，2023年第3期Http:/turbo- Vol.65，2023,No.3采用这种变环量流型，能够充分利用叶片中高区域的做功能力，同时避免叶根处出现较大分离，相比于指数型变环量流型也能够更好地避免叶顶处出现较大的叶顶间隙损失。各截面气流周向速度c2u、轴向速度c2a计算公式为c2u=a2r+b2+c2r(3)c2a=c2am2+A1()ri2-rm2+A2()ri-rm+A3()lnri-lnrm+A4()ri-1-rm-10.5(4)式中，A1=2a-a242；A2=2b-2a2-ab42；A3=b2-2ac42；A4=bc42；为叶轮旋转角速度。2.2基于DDPG的轴流式通风机流型优化架构及步骤本文将流型参数进一步简化，定义相对叶高r=rl，r为当前计算半径，l为叶片长度，根据变环量设计方法的特点可以认为环量在相对叶高r=0.75处取得最大值。同时结合全压约束，可以得到流型控制参数b，c关于a的表达式b=-2a()0.75rt+0.25rh(5)式中，rt为叶轮半径，rh为轮毂半径。c=2pts-a4()rt4-rh4-b3()rt3-rh3rt2-rh2(6)式中，pt为设计全压；s为流通面积；为设计全压效率；为介质密度。通过上述简化，可以通过控制流型参数a来改变环量沿径向的分布规律，即改变轴流式通风机的流型。2.2.1算法环境构建在训练深度强化网络之前，需要构建训练中的环境以模拟不同流型参数a下的风机气动表现，从而使网络能够进行交互学习。1）状态空间由于本文优化的目标参数为风机的气动性能参数即风机效率，故使用一维向量来代表流型优化环境的状态空间为 t，t0,12）动作空间动作空间描述了网络与环境交互时所采取的动作。本文主要针对轴流式通风机的流型参数a进行优化设计，故动作空间为 at，at范围可根据式(4)非零约束确定。3）奖励函数奖励函数的定义见式(7)。r()s,a,s=-(7)式中，和分别代表在状态s和s时风机的效率。为快速得到网络在不同动作下可获得的奖励，提高优化效率，本文采用前馈神经网络（BackPropagation，简称BP）作为代理模型，拟合流型参数与性能目标参数之间的映射关系。2.2.2超参数选取本文优化设计对DDPG算法的超参数设置如下：1）经验回放池的空间大小：1000000；2）小批量样本选取N的大小：64；3）Critic当前网络目标函数的参数：0.99；4）软更新超参数：0.001；5）Critic网络学习率：0.01；6）Actor网络学习率：0.05；7）最大迭代次数：15000。2.2.3总体优化流程图3为本文提出的基于DDPG算法的轴流式通风机流型优化设计方法的总体优化流程图。首先确定优化变量即流型参数，在流型参数优化空间内抽取样本点，进行轴流式通风机基本设计，根据基本设计参数，采用文献15给出的效率计算方法，对各样本点对应的目标性能参数即效率进行计算，建立样本数据库。这一效率计算方法已被研究者们16-17证明是相对准确可靠的。利用样本数据库进行BP神经网络训练，拟合流型参数与风机效率之间的映射关系，用以构建DDPG中交互所需的环境。通过DDPG算法进行流型参数寻优，并利用数值模拟检验优化结果，完成优化设计。3优化设计实例及其结果分析3.1优化实例为检验本优化设计方法的可行性，本文选用某轴流式通风机作为设计原型。其设计条件见表1。根据现有文献研究8,10,18，发现当采用指数型变环量表达式时，通常变环量指数取0.6能取得较好的风机气动性能，故本文选用的原型风机取变环量指数为0.6。图3总体优化流程Fig.3Overall optimization flow chart设计条件流量q/(m3/s)全压pt/Pa空气密度/(kg/m3)叶轮转速n/(r/min)数值9.7225001.2251450表1给定设计条件Tab.1Given design conditions 91Chinese Journal of Turbomachinery（a）原型风机（b）优化风机图6优化前后叶轮三维造型图Fig.6The 3D impeller image before and after optimization图5DDPG寻优过程Fig.5DDPG optimization process diagram根据式(4)非零约束确定at范围为-190,0。为保证BP神经网络对映射关系拟合的准确性，在流型参数a的设计空间中进行均匀采样，采样步长为 2，共采集样本 96组。采用文献15给出的效率计算方法，对96组流型参数对应的目标性能参数即效率进行计算，建立样本数据库。通过BP神经网络训练样本，建立代理模型，拟合效果如图4所示。从测试集拟合效果看，本文设计的BP神经网络的预测值与真实值的拟合度高达0.99999，说明了此代理模型能够较为准确地拟合流型参数与风机效率之间的关系。经过15000步迭代计算，得到DDPG算法下轴流式通风机每个迭代回合中的状态参数即风机效率与迭代次数的曲线，如图5所示。由图中可得，在9500次迭代之后，状态曲线基本平稳收敛，其波动主要是在DDPG算法中引入噪 声 引 起 的。通 过 优 化 得 到 风 机 优 化 流 型 参 数a=-157.64，对应的风机效率为75.2%。图6为优化前后风机的叶轮三维造型图。为验证优化设计方法的有效性，本文通过数值模拟，计算对比分析优化前后风机的气动性能。3.2数值计算模型为确保入流条件和出流条件的稳定，分别在叶轮进出口设置长度为叶轮直径3倍的延长段。数值模拟计算域分为进口段、动叶轮段以及出口段三部分。网格划分采用Poly-Hexcore混合网格，并对叶根、叶顶及叶片前缘、尾缘进行局部加密。采用全压和效率作为参考指标进行网格无关性验证，如图7所示。从图中可以看到，全压和效率均随网格数量的增大存在明显变化，网格数为815万后，计算结果随网格数的变化较小，综合考虑计算精度和计算效率，确定数值模拟的网格数为 815 万，其中，进口段1962156，动 叶 轮 段 4202898，出 口 段 1981117，总 计8146171。另外，为使近壁面第一层网格质心位于湍流核心区域，将y+的平均值控制在30到300之间19。本文数值模拟采用Realizablek-湍流模型，进口边界条件为velocity-inlet，出口边界条件为outflow，动静边界耦合采用MRF模型，所有壁面采用无滑移边界条件，近壁区条件给定标准壁面函数，控制方程采用有限体积法进行离散，离散格式采用二阶迎风格式，求解算法采用SIMPLE算法。收敛判据如下：当各项残差下降3个量级，进出口质量流量误差小于0.5%时，认为计算收敛20。3.3数值计算结果分析本文选取了5个具有代表性的工况，分别对优化前后的风机进行数值模拟计算，得到优化前后风机的气动性能对比结果如图8所示。选用的5个工况分别为：0.6q、0.8q、q、1.2q、1.4q，其中q为设计流量。从图中可以看出，风机优化后全工况全压与原型基本接近，设计工况点全压满足设计要求。除0.6倍设计流量工况外，优化后风机效率均得到提升，在0.8倍设计流量、设计流量、1.2倍设计流量和1.4图4BP神经网络拟合效果图Fig.4Fitting effect diagram of BP netural network图7网格无关性验证Fig.7Grid independence verification图8性能曲线对比图Fig.8Comparison of performance curve基于深度强化学习的轴流式通风机流型优化应用研究 92Chinese Journal of Turbomachinery第65卷，2023年第3期Http:/turbo- Vol.65，2023,No.3（a）原型风机（b）优化风机图11优化前后中心截面湍动能分布云图Fig.11The distribution of turbulent kinetic energy in radialsection before and after optimization倍设计流量下，风机效率分别提升了 0.36%、1.24%和0.88%、2.65%。3.4流场分析图9为风机优化前后叶片压力面的速度分布对比图。由图中可得，优化前后风机在压力面的速度分布趋势类似，在叶片前缘处有一高速区，在叶顶处有一高速区，从叶顶至叶根，速度逐渐下降。但是优化后风机在叶顶处翼型中段的速度相比原型风机要小，能够有效地减小叶顶泄漏涡的产生，从而减小流动损失。轴流式通风机在运行过程中会产生涡流损失，这些涡流损失会导致轴流式通风机效率的降低。图10为使用Q-Criterion准则所获得的优化前后风机叶轮区域的涡核心图。由图可得，相比于原型风机，优化风机在叶顶部位的泄漏涡相对较少，叶根处叶片前缘的涡区也明显减少，这说明了由涡流所引起的能量耗散的优化风机要小于原型风机，即优化风机效率更高。湍动能是一个描述流体湍流强度的量度，其大小分布在一定程度上能反映流体流动的稳定性。图 11 为优化前后风机叶轮径向中心截面的湍动能分布云图。从图中可知，无论是优化后的风机还是原型风机，由于叶顶部间隙流动的影响，其湍动能都较大，通过优化设计使风机湍动能强度降低，高湍动能区域减少，效率得到提升。4结论本文采用深度强化学习方法，研究了深度强化学习方法在轴流式通风机优化设计上的应用。具体采用DDPG算法，以流型优化为例，建立了流型优化系统框架，并以某轴流式通风机为例进行优化设计，通过数值模拟方法对优化前后的性能和流场进行了分析，结果表明：优化后，轴流式通风机的气动性能明显提高，验证了优化设计的有效性，说明本文探讨的基于深度强化学习的轴流式通风机流型优化设计方法是可行的。参考文献1刘朝阳,穆朝絮,孙长银.深度强化学习算法与应用研究现状综述J.智能科学与技术学报,2020,2(4):314-326.2姜鱇祝.基于DDPG算法的无人驾驶决策算法研究D.哈尔滨工业大学,2021.3范晓玉.基于深度强化学习的投资组合策略研究D.大连理工大学,2021.4张芳弛.基于状态改进-DDPG的区域综合能源系统运行优化D.大连理工大学,2021.5李润泽,张宇飞,陈海昕.针对超临界翼型气动修型策略的强化学习J.航空学报,2021,42(4):275-288.6温暖,刘正华,祝令谱,等.深度强化学习在变体飞行器自主外形优化中的应用J.宇航学报,2017,38(11):1153-1159.7邬振耀,程鹏.轴流风机变环量设计的研究J.上海交通大学学报,1993(2):56-60.8金元日,王军,于文文.不同流型对轴流通风机性能影响的数值J.风机技术,2011(1):32-35.9赵丹丹,赛庆毅,戴韧.环量分布控制轴流风扇气动性能的机理分析J.风机技术,2012(4):23-28.10刘玉成.中低压轴流通风机的最优流型气动设计方法D.东北大学,2006.11高永卫,李继宏.轴流通风机五次方流型设计J.风机技术,1999(4):13-15.12庄利.变环量轴流风机设计及特性研究D.中国矿业大学,2015.13A.G.Barto,S.R.Sutton,and C.W.Anderson.Neuronlike adaptiveelements that can solve difficult learning control problems.IEEETransactions on Systems,Man,and Cybernetics,SMC-13(5):834-846,1983.DOI:10.1109/TSMC.1983.6313077.14T.P.Lillicrap,J.J.Hunt,A.Pritzel,et al.Continuous control withdeep reinforcement learning.CORR,abs/1509.02971,2015.15昌泽舟.轴流式通风机实用技术M.机械工业出版社,2005.16刘玉成,昌泽舟.中低压轴流通风机最优流型气动设计方法J.风机机术,2008(3):40-43.17昌泽舟,安庆丰,管玉恩,等.应用电子表格进行轴流通风机优化气动设计J.风机技术,2003(6):35-37.18芮胜军,董彬,段雪涛.矿用轴流通风机不同变环量指数性能数值模拟J.河南科技大学学报：自然科学版,2008(2):31-33.19胡坤.ANSYS CFD入门指南M.机械工业出版社,2019.20姜卫生,张沛,杨仲磊,等.基于响应面法的离心风机蜗壳气动优化设计J.风机技术,2019,61(6):23-28.（a）原型风机（b）优化风机图10优化前后风机叶轮涡核心图Fig.10The vortex core of the impeller before and afteroptimization（a）原型风机（b）优化风机图9优化前后压力面速度分布对比图Fig.9Comparison of pressure surface velocity distributionbefore and after optimization 93