基于强化学习的液动节流阀阀位控制策略.pdf

第 50 卷第 4 期化 工 自 动 化 及 仪 表基金项目院国家重点研发计划项目渊2019YFA0708304冤曰中国石油天然气集团有限公司-中国石油大学渊北京冤战略合作科技专项渊ZLZX2020鄄03冤遥作者简介院徐宝昌渊1974-冤袁副教授袁从事复杂系统的建模与智能控制尧智能钻井理论及方法的应用和研究袁遥引用本文院徐宝昌袁尤鹏翔袁陈贻祺袁等.基于强化学习的液动节流阀阀位控制策略咱J暂.化工自动化及仪表袁2023袁50渊4冤院419-427曰476.石油资源的开发和利用正逐步走向深部复杂地层咱1暂袁为了解决井下压力窗口过窄的安全问题 袁 国 内 外 学 者 对 控 压 钻 井 技 术 渊ManagedPressure Drilling袁MPD冤中的井筒压力控制方法进行了广泛的研究遥 随着控压钻井技术的发展袁不仅可以准确地控制井筒环空压力分布袁还可以清晰地分析井下压力环境的时空变化袁实时科学地管理环空压力分布袁保障控压钻井的作业安全咱2耀4暂遥 控压钻井是一种过平衡钻井技术袁通过改变自动节流管汇上的节流阀阀门开度控制钻井液回流到井口的压力袁 以保持井口套管压力的可控性咱5袁6暂袁进而将井底压力的变化控制在小范围内袁大幅提高钻井速度袁缩短钻井周期袁使钻井作业更加安全袁同时有效解决井涌尧漏气尧有害气体泄漏等问题遥 由于节流阀长时间工作在高压环境中袁 其工作特性和可靠性将直接影响MPD实施的成功率咱7暂遥 目前袁控压钻井技术对井口压力的控制要求正逐渐由高压差控制转向高精度控制袁 因此对节流压力和节流阀阀位的控制成为核心问题遥现有的用于控压钻井的节流阀产品比较成熟袁Weatherford尧At Balance和Halliburton所生产的钻井节流阀已成功服务于数百口井袁并且取得了良好的应用效果咱8暂遥 T3公司所设计的各种新型阀芯结构的执行机构渊既包括了传统节流阀的液动执行机构和手动执行机构袁又包括了节流阀的电磁阀执行机构尧活塞执行机构尧涡轮执行机构尧提升执行机构尧电动执行机构和径向手动执行机构咱9暂冤也得到了钻井行业的认可遥控压节流阀采用电液比例控制技术袁是指实现液压控制元件被控量和控制量之间线性转换关系的技术咱10耀12暂遥 在钻井作业过程中袁精准的节流阀阀位控制是保证精确的井口回压的前提袁可以有效消除井口安全隐患袁避免引发井涌尧漏液等复杂事故遥随着伺服技术的兴起袁常见的液动节流阀阀位控制技术是利用比例伺服阀来控制液动节流阀阀位的咱10耀12暂遥 由于比例伺服阀阀门开度对节流阀的阀位控制具有典型的非线性特征袁因此在现DOI:10.20030/ki.1000鄄3932.202304004基于强化学习的液动节流阀阀位控制策略徐宝昌1尤鹏翔1陈贻祺1孟卓然1刘伟2渊1.中国石油大学渊北京冤信息科学与工程学院自动化系曰2.中国石油集团工程技术研究院有限公司冤摘要控压钻井是一种复杂的钻井工艺袁 自动节流管汇上节流阀的控制是实现井底压力精确控制的关键技术遥 首先袁建立控压钻井装置中液动节流阀的动态模型袁该节流阀采用比例伺服阀作为液压调节元件袁采用控制器控制比例伺服阀的阀芯移动改变液动节流阀液压缸中液压油的流入量袁进而实现对液动节流阀阀位的控制遥 其次袁提出一种基于深度强化学习的液动节流阀阀位控制策略袁该策略利用DQN渊Deep Q鄄Network冤算法袁通过液动节流阀和智能体相互交换过程中学习比例伺服阀对液动节流阀阀位的控制遥 最后袁通过仿真和现场试验验证了阀位控制策略的有效性袁为成功实施控压钻井提供了保障遥关键词液动节流阀阀位控制控压钻井强化学习DQN算法比例伺服阀中图分类号TP273文献标识码A文章编号1000鄄3932渊2023冤04鄄0419鄄104192023 年化 工 自 动 化 及 仪 表场应用中袁 常规PID算法难以满足阀位无超调且跟踪速度快的要求遥 为此袁笔者采用提出智能控制算法来解决该问题遥 强化学习作为人工智能的热点之一袁已经在自控领域得到了广泛的研究和应用遥 强化学习可以像人一样进行自我调整尧自我学习袁在未知环境中通过不断试错袁积极主动地完成目标遥 随着智能控制理论的深入发展袁越来越多的领域向着智能化方向发展遥 文献咱13暂介绍了深度强化学习控制方法袁将设计的DQN算法应用于热过程控制袁 提出奖励函数设计原则袁经验回放更新Q网络的方法以及控制器的实现方法遥 文献咱14暂设计了一种利用DQN开发的用于自动驾驶系统的智能动力控制器袁仿真结果表明该控制器具有从驾驶经验中学习制定合理控制策略的能力袁 能够适应不同的驾驶条件和环境变化遥笔者基于深度学习和强化学习相结合的深度Q网络袁给定控压节流阀阀位控制策略遥 DQN算法的特点是以值为基础袁可单步更新袁只需输入状态信息袁输出为所有对应动作的Q值袁适用于动作空间不大的情况遥 笔者设计的动作空间为比例伺服阀的控制指令袁动作空间小袁可直观反映液动节流阀阀位的变化情况袁奖励函数是根据精准控制节流阀阀位的变化过程所设计的遥 最后通过对节流阀阀位控制的仿真和现场试验袁验证了阀位控制策略的有效性遥1液动节流阀工作原理为了保证稳定尧连续的控压钻井工作袁笔者研发了一套液动节流阀自控系统袁系统采用比例伺服阀作为电动调节机构渊T3公司的API 6A液动节流阀作为执行机构冤袁 从而实现对液动节流阀的阀位控制袁提高液动节流阀阀位控制的安全性和高效性遥液动节流阀的工作原理如图1所示遥 当电磁铁A尧B接收到来自控制器的电流信号时袁比例伺服阀的阀芯将以不同的速度移动袁 利用阀口开度变化改变液动节流阀液压缸中液压油的流入量袁从而控制液动节流阀的阀位遥 其中袁液压油增压动力来源于电动液压泵或手动液压泵咱15暂遥图1液动节流阀工作原理采用三位四通电液比例伺服阀控制液动节流阀袁其控制结构的简化模型如图2所示遥 其中袁v1为液压缸左侧容积曰v2为液压缸右侧容积曰Bc为粘性阻尼系数曰ps为液压油流入比例伺服阀的压力曰p0为液压油流出比例伺服阀的压力曰Q1和Q3分别为液压油流入比例伺服阀左右两侧的流量曰Q2和Q4分别为液压油流出比例伺服阀左右两侧的流量遥液动节流阀的控制原理为院当比例伺服阀阀门开度达到50%时袁 比例伺服阀的阀芯位移Xpv=0袁 液压油以流量Q1流入液动节流阀的左侧液压缸袁并形成节流阀液压缸左侧压力p1袁与右侧液压缸压力p2相等袁 此时节流阀液压缸内处于平衡状态袁液动节流阀阀位保持稳定不变袁并且液压油以流量Q2流出液压缸遥 当比例伺服阀阀门开度大于50%时袁比例伺服阀的阀芯位移Xpv跃0袁液压油在液动节流阀液压缸左侧形成压力p1大于右侧压力p2袁驱动节流阀的阀芯右移袁节流阀阀芯位移Xtv持续增大袁液压缸左右两侧压差越大袁节流阀阀芯位移运动速度越快遥 同理可知袁比例伺服阀阀门开度小于50%时袁节流阀的阀芯持续左移遥2控压节流阀的动态模型在对液动节流阀进行机理分析前袁做出如下补充假设院a.比例伺服阀具有良好的线性流量特性曰b.液压油的体积弹性模量为常数曰c.节流阀的液压缸泄漏流动为层流流动遥比例伺服阀阀芯位移Xpv与比例伺服阀阀门开度pchock的关系为院420第 50 卷第 4 期化 工 自 动 化 及 仪 表图2液动节流阀控制结构简化模型Xpv=渊pchock-0.5冤Xpvmax渊1冤其中袁Xpvmax为比例伺服阀阀芯正向最大位移遥液动节流阀阀门开度zchock与液动节流阀阀芯位移Xtv的关系为院zchock=XtvXtvmax袁zchock沂咱0袁1暂渊2冤其中袁Xtvmax为液动节流阀阀芯正向最大位移遥利用流量压力方程尧流量连续性方程尧力平衡方程袁得到的液动节流阀动态模型如下咱16袁17暂院QL=KqXpv-KcpL渊3冤QL=Xpv|Xpv|AdXtvdt+CttpL+v4茁edpLdt蓸蔀渊4冤F=md2Xtvdt2+BcdXtvdt渊5冤Kq=Cd棕忆1籽渊ps-pL冤 姨渊6冤Kc=Cd棕忆Xpv1籽渊ps-pL冤 姨2渊ps-pL冤渊7冤其中袁QL为负载流量曰Kq为比例伺服阀的流量增益系数曰Kc为比例伺服阀的压力流量系数曰A为活塞有效面积曰Ctt为液压缸总泄漏系数曰v为液压缸总容积曰茁e为液压油体积弹性模量曰pL为液压缸左右压差曰F为液压推动力曰m为活塞和节流阀负载的总质量曰籽为液压油密度曰Cd为比例伺服阀流量系数曰棕忆为比例伺服阀节流窗口面积梯度遥由式渊3冤耀渊7冤可以推导出院KqAXpv=vm4茁eA2d3Xtvdt3+m渊Kc+Ctt冤A2+Bcv4茁eA2蓘蓡d2Xtvdt2+1+Bc渊Kc+Ctt冤A2蓘蓡dXtvdt渊8冤在本课题中袁粘性阻尼系数Bc较小袁可忽略不计遥 并且式渊8冤中渊Kc+Ctt冤/A2是由比例伺服阀的压力流量系数Kc和液压缸总泄漏系数Ctt决定的阻尼系数袁该数值一般比粘性阻尼系数Bc小得多袁因此忽略不计遥 因此袁式渊8冤可化简为院KqAXpv=1棕h2d3Xtvdt3+2h棕hd2Xtvdt2+dXtvdt渊9冤棕h=4茁eA2vm 姨渊10冤h=KceA茁emv 姨渊11冤Kce=Kc+Ctt渊12冤其中袁棕h为液压系统的固有频率曰h为液压系统的阻尼比曰Kce为总流量压力系数遥4212023 年化 工 自 动 化 及 仪 表根据式渊9冤耀渊12冤袁令y1=Xtv袁y2=dXtvdt袁y3=d2Xtvdt2袁代入式渊9冤得到液动节流阀的动力学模型院y窑1=X窑tv=y2y窑2=X咬tv=y3y窑3=X噎tv=-2h棕hy3-棕h2y2+棕h2KqAXpv扇墒设设设设设设设设设缮设设设设设设设设设渊13冤3DQN控制算法3.1DQN算法本课题采用DQN算法袁通过智能体来感知环境状态的变化袁并且在与环境交互的过程中得到最大的累积奖励的期望咱18暂遥 智能体首先依据当前的状态st从动作策略仔中选择一个合适的动作at袁在环境和动作共同作用下袁 从状态st转移到新的状态st+1袁同时环境依据奖励函数给出对应的奖励值rt渊即时间t收到的标量奖励冤遥 智能体和环境在不断的循环交互过程中袁利用预期累积奖励期望值进行评估袁最大化奖励的过程也可以看作寻找最佳行为策略的过程遥 其中袁预期累积奖励值在当前状态s下执行动作a的最大期望Q*渊s袁a冤的计算式为院Q*渊s袁a冤=max仔E咱rt+酌rt+1+酌rt+2+噎|st=s袁at=a袁仔暂渊14冤其中袁酌是折扣因子遥根据Bellman方程袁式渊14冤展现了当前回报和未来回报之间的递归关系遥 利用最优性原则袁式渊14冤可写作院Q*渊s袁a冤=Es忆咱r+酌maxa忆Q*渊s忆袁a忆冤|s袁a暂渊15冤其中袁s忆为下一时刻的状态曰a忆为下一时刻的执行动作遥在DQN中利用误差反向传播袁不断迭代更新神经网络中的Q值网络院Q渊s袁a曰棕冤饮Q渊s袁a曰棕冤+琢r+酌maxa忆Qtarg渊s忆袁a忆曰棕targ冤-Q渊s袁a曰棕冤蓘蓡渊16冤其中袁琢是学习率咱13暂曰Qtarg为目标动作价值函数网络曰棕targ为目标动作价值函数网络的权重曰棕为动作价值函数Q网络的权重遥3.2阀位控制算法的深度强化学习在本课题中袁液动节流阀的模型仅用于模拟钻井现场液动节流阀的动态变化袁即作为强化学习的环境使用遥 对于节流阀的控制问题袁强化学习的基本内容主要体现在液动节流阀从一个状态转移到另一个状态袁以及状态转移时环境给出的奖励遥 因此袁基于强化学习的节流阀阀位控制策略主要包括状态空间尧动作空间尧奖励函数和训练过程遥3.2.1状态空间状态s沂S是描述液动节流阀的特征向量遥 为了在不断变化的环境中采取最佳行动袁需要对其进行精确的描述袁状态向量选取如下院s=咱zset-zchock暂渊17冤在本研究中袁状态由节流阀设定值zset和环境给出的节流阀阀位反馈值zchock组成遥 通过观察设定值和环境反馈值的差值可以判断控制精度遥3.2.2动作空间动作空间是离散集合袁动作向量是控制器将采取的控制动作袁即对比例伺服阀的控制量遥 设计节流阀在控制过程中的动作空间主要分为3种情况院当动作空间等于50时袁即比例伺服阀开度为50%时袁液动节流阀阀位保持不变曰当动作空间大于50时袁液动节流阀的阀位增加袁并设计5种不同的增速指令袁 即50.5为低速尧51为中低速尧52为中速尧55为中高速尧60为高速曰当动作空间小于50时袁液动节流阀阀位减小袁并设计5种不同的减速指令袁即49.5为低速尧49为中低速尧48为中速尧45为中高速尧40为高速遥 液动节流阀具体的离散空间定义动作a沂A1院A1=咱40袁45袁48袁49袁49.5袁50袁50.5袁51袁52袁55袁60暂渊18冤3.2.3奖励函数奖励函数是强化学习的直接目标袁它的设计在强化学习中至关重要遥 由于智能体的目标是将液动节流阀阀位控制在目标范围内袁即智能体的目标是将状态sset控制为0袁 该函数观察环境的状态并依据状态输出奖励信号遥 该信号是数字奖励袁并且通过该奖励来评估导致环境变化至当前状态的动作的优劣遥 奖励函数设置为院强化学习策略训练过程中每一步的奖励都是通过该奖励函数获得袁 由于代理的目标是累积奖励的最大化袁因此奖励函数可以看作为目标函数袁奖励函数形式如下院422第 50 卷第 4 期化 工 自 动 化 及 仪 表序号12310参数活塞有效面积比例伺服阀的流量增益系数液压油体积弹性模量节流阀阀芯正向最大位移符号AKq茁eXtvmax4活塞和节流阀负载总质量m5液压缸总容积v6总流量压力系数Kce7液压系统阻尼比h8液压系统固有频率棕h9比例伺服阀阀芯正向最大位移Xpvmax取值0.0532.516.9伊1080.01019.20.002 659.2伊10-120.112 3440.004单位m2m2/sPakgm3渊m5/N冤 窑 s无量纲rad/smmr=1-渊sset-s冤2袁如果在约束范围内-10袁如果超过约束嗓渊19冤其中袁sset是节流阀差值的设定值袁 设为0曰s是状态袁即节流阀设定值zset与环境给出的节流阀阀位反馈值zchock的差值遥DQN代理与环境交互的过程中袁状态不断变化袁需要设定节流阀阀位阈值作为约束袁当实时节流阀阀位超过该阈值时袁奖励函数给以一个足够低的负值袁并且当前episode结束时袁重置环境的状态尧 累积奖励期望值等参数并进入下一个episode中进行交互曰反之袁当实时节流阀阀位未违反阈值约束条件时袁 奖励值的大小与状态有关遥3.2.4训练过程本课题采用DQN算法袁将深度学习的函数近似能力和表征能力融入到强化学习中袁该算法与Q学习十分类似袁在Q学习的基础上袁增加了目标Q值网络袁并且采用经验回放机制咱19暂袁其实现流程如下院a.初始化经验样本区D袁探索率着袁衰减因子灼袁奖励折扣因子酌曰b.初始化动作价值函数网络Q尧权重棕曰c.初始化目标动作价值函数网络Qtarg尧权重棕targ曰d.循环遍历episode=1袁2袁噎袁M曰e.初始化状态s1曰f.循环遍历e=1袁2袁噎袁N曰g.以探索率着随机选择动作at袁 否则用着鄄greedy策略选择动作at=maxaQ渊st袁a曰棕冤曰h.执行动作策略at袁得到奖励函数rt和新的状态st+1曰i.将生成的数据渊st袁at袁rt袁st+1冤放在经验样本区D中曰j.在经验样本区D中随机抽取n组数据渊st袁at袁rt袁st+1冤曰k.利用yi=ri+酌maxa忆Qtarg渊si+1袁a忆曰棕targ冤渊i=1袁2袁噎袁n冤更新对应状态的Q值曰l.计算损失函数咱yi-Q渊si袁ai曰棕冤暂2对权重棕采用梯度下降法更新棕targ袁探索率衰减着饮着 窑 灼袁更新状态st饮st+1曰m.循环终止曰n.循环终止遥在训练中使用DQN算法遥 为了平衡探索渊ex鄄ploration冤和利用渊exploitation冤袁防止代理生成的策略陷入局部最优袁采用一种非贪婪策略袁探索率着的初始值着0较高袁 之后探索率呈指数衰减遥DQN算法有两大特点院一是经验回放机制解决了Q学习算法更新网络参数的训练不稳定性问题曰二是目标Q值网络打破了样本之间的相关性袁使神经网络更新效率更高遥4试验与分析仿真训练过程中设置的液动节流阀动态模型参数见表1遥表1液动节流阀动态模型参数4232023 年化 工 自 动 化 及 仪 表4.1训练结果在DQN训练过程中袁算法对超参数的变化十分敏感袁 因此通常情况下需要对超参数进行优化袁选择一组最优超参数袁以提高深度强化学习的性能遥 本研究仿真实验设定的超参数见表2遥表2深度强化学习超参数序号12311参数初始探索率探索率衰减因子衰减后最小探索率采用的激活函数符号着0灼着minactivation_ func4学习率琢5奖励折扣因子酌6回放缓冲区大小D7回放缓冲区采样数n取值10.9950.05ReLU0.0010.910 00058神经网络输入维数input_size19神经网络输出维数output_size1110隐含层数及节点数hidden_layer咱5袁5暂本研究的训练过程存在20 000个episode袁每个episode包含200个step遥为了更明显地观察到累积奖励期望值的收敛趋势袁采用每20个episode的累积奖励取均值的形式绘图遥训练阶段的累积奖励变化曲线如图3所示遥可以看出袁开始时智能体由于探索率高袁选择随机动作的概率大袁因此表现不佳曰而随着探索率的不断衰减袁DQN智能体对控制动作策略不断改善袁奖励值不断变大袁最终学到了较优的阀位控图3强化学习训练奖励曲线制策略遥 由于本研究设置的最小探索率不为0袁因此代理仍会以低概率进行随机动作的探索袁因此当曲线逐渐收敛至较高的值后袁仍有少数episode的奖励值变低遥4.2仿真试验控制结果为了验算DQN算法的泛化能力袁选取初始时刻节流阀阀门开度为60%袁 前70 s设置液动节流阀阀门开度设定值为55%袁 后70 s设置液动节流阀阀门开度设定值为70%遥 智能体经过强化学习得到最优控制策略袁得到的比例伺服阀控制策略如图4a所示袁液动节流阀控制效果如图4b所示遥图4仿真控制效果由图4b可知袁 前70 s节流阀阀门开度设定值小于节流阀阀门开度测量值袁此时由图4a可知智能体采取的控制策略是比例伺服阀阀门开度小于50%袁且随着节流阀阀门开度差值的变小袁比例伺服阀阀门开度逐渐趋向于50%袁 待节流阀阀门开度测量值在节流阀阀门开度设定值的允许误差范围内时袁比例伺服阀阀门保持50%的开度遥后424第 50 卷第 4 期化 工 自 动 化 及 仪 表70 s节流阀阀门开度设定值大于节流阀阀门开度测量值袁此时智能体采取的控制策略是比例伺服阀阀门开度大于50%袁 且随着节流阀阀门开度差值的变小袁比例伺服阀阀门开度逐渐趋向于50%袁待节流阀阀门开度测量值在节流阀阀门开度设定值的允许误差范围内时袁比例伺服阀阀门保持50%的开度遥4.3现场工况测试在某控压钻井现场袁 为保证井口回压的稳定性袁 通过节流管汇系统上的自控系统对节流阀阀位进行精准控制从而保证井口压力的稳定遥控压钻井现场控制架构如图5所示遥图5控压钻井现场架构在上位机监控界面上设置井口压力设定值袁采用强化学习控制策略实现对液动节流阀的阀位控制袁并在上位机监控界面上观察井口压力的控制效果袁从而判断策略的有效性和可靠性遥 现场出口流量稳定在13 L/s袁泥浆密度1.2 g/cm3遥 为了验证控制算法的有效性袁对井底压力分别进行追压和降压试验袁进而全面测试节流阀阀位的控制效果遥首先进行井口回压的追压试验遥 井口压力变化幅度1 MPa袁初始时刻井口压力值1 MPa袁分别设置井口压力设定值为2尧3尧4尧5 MPa遥 追压效果如图6所示遥之后进行井口回压的降压试验遥 此时初始井口压力值5 MPa袁 分别设置井口压力设定值为3尧2尧1 MPa袁降压效果如图7所示遥图6追压控制效果4252023 年化 工 自 动 化 及 仪 表最后袁 为了充分试验节流阀阀位的控制效果袁调整井口压力变化幅度为2 MPa袁当初始时刻井口压力值为2 MPa时袁设置井口压力设定值为4 MPa袁控制效果如图8a所示曰当初始时刻井口压力值为4 MPa时袁 设置井口压力设定值为2 MPa袁控制效果如图8b所示遥图8变化幅度为2 MPa的控制效果综合以上现场测试结果可知袁 在规定时间内袁通过智能体调节节流阀阀位袁将井口压力控制在目标压力值的依0.15 MPa范围内袁满足不同工况下给定井口压力范围时节流阀阀位的控制袁 验证了智能体控制器能够学习到最优的节流阀阀位控图7降压控制效果426第 50 卷第 4 期化 工 自 动 化 及 仪 表制策略袁完成不同工况下的井口压力控制任务遥5结束语针对节流阀阀位精准控制的问题袁提出基于深度强化学习的智能控制策略遥 首先建立液动节流阀的动态模型袁通过改变比例伺服阀的阀芯位移进而对自动节流管汇中液动节流阀的开大或关小的速度及位置进行控制遥 其次将液动节流阀阀位控制代入到强化学习框架中袁采用DQN算法求解该问题遥 构建智能体进行大量的强化学习训练袁通过Q值网络的更新调整控制策略袁提高算法的稳定性遥 最后在多种工况下对智能体控制器进行现场试验袁结果表明阀位控制策略所具有的控制精度和响应速度能够满足控压钻井过程的需求遥参考文献咱1暂李根生袁吴文袁陈勉袁等.深井复杂地层安全高效钻井基础研究咱J暂.中国科技成果袁2014渊13冤院21-22.咱2暂XIAO C袁NI H袁SHI X.Unsteady model for wellborepressure transmission of carbon dioxide fracturingconsidering limited鄄flow outlet咱J暂.Energy袁2022袁239院122289.咱3暂SULE I袁KHAN F袁BUTT S袁et al.Kick control reliabi鄄lity analysis of managed pressure drilling operation咱J暂.Journal of Loss Prevention in the Process Industries袁2018袁52院7-20.咱4暂ZHANG Z袁XIONG Y袁GAO Y袁et al.Wellbore tempe鄄rature distribution during circulation stage when well鄄kick occurs in a continuous formation from the bottom鄄hole咱J暂.Energy袁2018袁164院964-977.咱5暂BREYHOLTZ O袁NYGAARD G袁GODHAVN J M袁et al.Evaluating control designs for co鄄ordinating pumpr atesand choke valve during managed pressure drilling ope鄄rations咱C暂/2009 IEEE Control Applications袁渊CCA冤&Intelligent Control袁渊ISIC冤.IEEE袁2009院731-738.咱6暂FU Y K袁LIU Q Y袁WANG G R袁et al.Mathematicalmodeling and validation on a new valve core of thethrottle valve in MPD 咱J暂.Advances in MechanicalEngineering袁2013渊5冤院125936.咱7暂HANNEGAN袁 DON M.Managed pressure drilling inmarine environments鄄case studies 咱C暂/Proceedings ofSPE/IADC Drilling Conference.Amsterdam袁Netherla鄄nds袁2005院1-5.咱8暂叔贵欣袁范振忠袁刘庆旺.污油泥调剖剂的研制与应用咱J暂.科学技术与工程袁2009渊9冤院2437-2439.咱9暂谷经纬.钻井节流阀的生产和使用概况研究咱J暂.内江科技袁2015袁36渊3冤院112曰75.咱10暂薛桂娥.基于电液比例阀的阻力加载系统研究咱D暂.西安院长安大学袁2007.咱11暂路甬祥袁胡大.电液比例控制技术咱M暂.北京院机械工业出版社袁1988.咱12暂韩波袁王庆丰.电液比例位置同步控制系统的控制结构研究咱J暂.机床与液压袁1997渊1冤院7-10.咱13暂AO T袁SHEN J袁LIU X.The Application of DQN inThermal Process Control 咱C暂/2019 Chinese ControlConference渊CCC冤.IEEE袁2019院2840-2845.咱14暂CHEN I M袁ZHAO C袁CHAN C Y.A Deep Reinforce鄄ment Learning鄄Based Approach to Intelligent Powert鄄rain Control for Automated Vehicles咱C暂/2019 IEEEIntelligent Transportation Systems Conference渊ITSC冤.IEEE袁2019院2620-2625.咱15暂杨旭袁杨晓华.基于FluidSim可调节流阀性能的研究咱J暂.宁波职业技术学院学报袁2018袁22渊2冤院85-87.咱16暂梁利华.液压传动与电液伺服系统咱M暂.哈尔滨院哈尔滨工程大学出版社袁2005.咱17暂吴振顺.液压控制系统咱M暂.北京院高等教育出版社袁2008.咱18暂SUTTON R S袁BARTO A G.Reinforcement Learning院AnIntroduction咱M暂.Cambridge袁MA院MITPress袁1998.咱19暂SU J J袁MA C H袁LI S袁et al.An AGC dynamic controlmethod based on DQN algorithm 咱J暂.IOP ConferenceSeries院Materials Science and Engineering袁2020袁729渊1冤院012009.渊收稿日期院2023-01-20袁修回日期院2023-03-10冤Hydraulic Choke Valve Position Control Strategy Based onReinforcement LearningXU Bao鄄chang1袁 YOU Peng鄄xiang1袁 CHEN Yi鄄qi1袁 MENG Zhuo鄄ran1袁 LIU Wei2渊1.College of Information Science and Engineering袁 China University of Petroleum渊Beijing冤曰2.PetroChina Engineering Technology Institute Co.袁Ltd.冤渊Continued on Page 476冤4272023 年化 工 自 动 化 及 仪 表AbstractManaged pressure drilling 渊MPD冤 is a complicated drilling technology.The control of chokevalve on automatic choke manifold is key to realizing accurate control of bottom hole pressure.Firstly袁 hav鄄ing the hydraulic choke valve爷s dynamic model in the MPD device established and the proportional servovalve selected as valve position control system爷s actuator.Through controlling the spool movement of pro鄄portional servo valve袁 the hydraulic oil爷s inflow in hydraulic choke valve爷s hydraulic cylinder was changedand the position of hydraulic choke valve was controlled曰 secondly袁 having a hydraulic choke valve爷s posi鄄tion control strategy based on deep reinforcement learning proposed袁 through the exchange between the hy鄄draulic choke valve and the intelligent agent袁 this strategy has the deep Q鄄network渊DQN冤 algorithm adopt鄄ed to make proportional servo valve control hydraulic choke valve position曰 finally袁 both simulation andfield test verified the effectiveness of the valve position control strategy to provide a guarantee for the suc鄄cessful implementation of MPD.Key wordshydraulic choke valve袁 valve position control袁 MPD袁 reinforcement learning袁 DQN algo鄄rithm袁 proportional servo valvepipeline fault detection methods 咱J暂.Journal of LossPrevention in the Process Industries袁2016袁41院97-106.咱18暂张娇阳.基于多核学习的支持向量机方法研究咱D暂.北京院北京建筑大学袁2019.渊收稿日期院2022-11-15袁修回日期院2023-06-14冤Method for Identifying Pipeline Blockage Based on Fractional FourierDomain Feature Fusion under Multiple Operating ConditionsCAO Zhea袁 ZHANG Guang鄄huia袁 FENG Zaoa袁b渊a.Faculty of Information Engineering and Automation曰 b.Yunnan Key Laboratory of Artificial Intelligence袁Kunming University of Science and Technology冤AbstractIn practical applications of acoustic detection for drainage pipelines袁 lack of guidance in featureselection makes the extraction of high鄄dimensional features with high information overlap and it may causelow recognition rates in identifying different blockages in pipelines under different operating conditions.Through basing on Fractional Fourier Transform 渊FRFT冤 and Multiple Kernel Learning 渊MKL冤 feature fu鄄sion袁 a pipeline multi鄄blockage identification method was proposed.In which袁 having the indistinguishableraw data mapped to the time鄄frequency plane of multiple orders of fractional Fourier transform袁 and thenhaving the sample entropy of each order calculated as a discriminative feature measure.ThroughusingMKL to automatically learn the coefficients of the FRFT sample entropy features袁 the order selection inthe fractional domain was transformed into an alternating optimization problem in the multiple kernel net鄄work袁 including having the deep meaning of features explored and the multi鄄feature fusion ultimatelyachieved to identify multi鄄condition pipeline blockage.Experimental results show that袁 compared with thefusion features from different order sets袁 the final fusion feature can improve the discrimination betweendifferent categories of samples袁 and can effectively identify blockages袁 T鄄joints袁 and pipe ends in complexoperating conditions within multi鄄condition pipelines曰 and the recognition accuracy can reache 95%袁 whichis a significant improvement compared to traditional feature fusion models in multi鄄condition pipelineblockage identification.Key wordsacoustic detection袁 fractional Fourier transform袁 feature fusion袁 multiple kernel learning渊Continued from Page 427冤476