基于分层强化学习的机械臂复杂操作技能学习方法.pdf

现代电子技术Modern Electronics Technique2023年10月1日第46卷第19期Oct.2023Vol.46 No.190 引 言随着社会老龄化的加剧与机器人技术的发展，机器人逐渐应用于家庭服务场景，通过抓取与放置等操作辅助老年人完成一些日常任务1。伴随人工智能技术的发展，近年来机器人操作技能学习成为了家庭服务机器人领域的研究热点之一2。根据训练数据来源的不同，机器人操作技能学习可分为模仿学习和强化学习两种方法。模仿学习是一种直接通过观测人类行为并对其进行表征与学习，进而获取人类复杂技能的仿生学习方式。与传统编程方法相比，它避免了为特定场景和特定任务设计繁琐的代码，无需显式编程。模仿学习主要分为基于概率建模（以高斯混合模型、隐马尔可夫模型为代表）和动态系统（以动态运动基元为代表）两类不同方法。文献3通过高斯混合模型对专家演示轨迹进行编码，使机器人学会了移动象棋、水桶等操作技能；文献4提出了基于隐马尔科夫模型的舞步估计方法，训练得到舞伴机器人与人类共舞的技能策略；文献5提出了一种基于动态运动基元的操作技能学习框架，采用混合/运基于分层强化学习的机械臂复杂操作技能学习方法孟子晗，高 翔，刘元归，马陈昊（南京邮电大学 自动化学院 人工智能学院，江苏 南京 210023）摘 要：在面对复杂任务时，传统强化学习方法存在状态空间庞大、奖励函数稀疏等问题，导致机械臂不能学习到复杂的操作技能。针对上述问题，提出一种基于分层强化学习的机械臂复杂操作技能学习方法。首先，底层运用基于Beta过程的自回归隐马尔可夫模型，将复杂操作任务分解为多个简单的子任务；其次，对每个子任务运用SAC算法进行技能学习，得到每个子任务的最优策略；最后，根据底层得到的子任务最优策略，上层通过基于最大熵目标的改进强化学习算法学习复杂操作技能。实验结果表明，所提方法能有效实现机械臂复杂操作技能的学习、再现与泛化，并在性能上优于其他传统强化学习算法。关键词：机械臂；复杂操作任务；分层强化学习；子目标；自回归隐马尔可夫模型；SAC算法中图分类号：TN9934；TP181 文献标识码：A 文章编号：1004373X（2023）19011609Complex manipulation skill learning approach based on hierarchical reinforcement learning for robot manipulatorMENG Zihan,GAO Xiang,LIU Yuangui,MA Chenhao(College of Automation&College of Artificial Intelligence,Nanjing University of Posts and Telecomunications,Nanjing 210023,China)Abstract：The traditional reinforcement learning methods face challenges such as large state space and sparse reward functions when dealing with complex tasks,which hinders the learning of complex manipulation skills for robot manipulator.Therefore,a complex manipulation skill learning approach based on hierarchical reinforcement learning for robot manipulator is proposed.Firstly,the autoregressive hidden Markov model(HMM)based on Beta process is used for the lowlevel to decompose complex manipulation tasks into several simple subtasks.Secondly,the SAC(soft actor critic)algorithm is used to learn skills and obtain the optimal strategy for each subtask.Finally,on the basis of the optimal strategy obtained at the low level,an improved reinforcement learning algorithm based on maximum entropy objective is utilized at the highlevel to learn complex manipulation skills.Experimental results demonstrate that the proposed method can effectively achieve learning,reproduction and generalization of complex manipulation skills for robot manipulator,and outperform other traditional reinforcement learning algorithms in terms of the performance.Keywords：robot manipulator;complex manipulation task;hierarchical reinforcement learning;subobjective;autoregressive HMM;SAC algorithmDOI：10.16652/j.issn.1004373x.2023.19.022引用格式：孟子晗，高翔，刘元归，等.基于分层强化学习的机械臂复杂操作技能学习方法J.现代电子技术，2023，46（19）：116124.收稿日期：20230522 修回日期：20230613基金项目：江苏省自然科学基金项目（BK20210599）；江苏省博士后科研资助项目（2019K030）116116第19期动控制方法，通过准确跟踪与再现位置/力，成功学习到了桌面清理技能；文献6通过K最邻近分类算法识别抓取点，并结合动态运动基元学习抓取轨迹，在多自由度机械臂上完成了对特定物体的拟人抓取。强化学习是一种智能体与环境交互并产生反馈的学习方式，其与深度学习的结合，使得强化学习能够快速适应高维、状态与动作空间连续的机器人操作技能学习问题。文献7提出了深度确定性策略梯度（Deep Deterministic Policy Gradient,DDPG）算法，使机器人在MuJoCo仿真环境中学会了抓取操作技能，DDPG采用确定性策略，样本效率高，但超参数不稳定。文献8运用近端策略优化（Proximal Policy Optimization,PPO）算法学习了双臂机器人的操作技能轨迹，PPO采用随机策略，超参数稳定但样本效率低。结合上述两种方法的优点，文献9通过改进SAC（Soft Actor Critic）算法实现了多种任务的机器人操作技能学习，具有稳定的超参数和样本效率。面对家庭环境中复杂的操作任务，传统强化学习方法由于其庞大的状态空间、稀疏的奖励函数，导致机械臂无法直接学习复杂的操作技能。为解决此问题，文献10提出了一种统一的分层强化学习框架（Universal Option Framework,UOF），该框架可并行训练上、下层策略，提高了学习效率，但复杂任务分解需手动且需要一种目标生成机制；文献11提出了一种分层的机器人复杂操作技能学习方法，在运用专家演示和增强好奇心机制学习子任务策略的基础上，上层根据任务目标选择底层子策略，实现了多物体推动、抓取、放置等操作任务。文献12采用非参贝叶斯方法对演示轨迹进行分割，并利用Option分层强化学习框架对机器人操作子任务进行了建模。上述分层强化学习方法虽取得了一定的效果，但在实际应用中，大部分任务需协同执行，现有分层强化学习方法因大多按顺序执行子任务，会导致上层在训练时学习效率差，数据利用率低。针对上述分层强化学习方法在机械臂复杂操作技能学习过程中存在的问题，本文提出了一种改进的机械臂复杂操作技能学习框架。首先，将复杂操作任务通过基 于 Beta 过 程 的 自 回 归 隐 马 尔 可 夫 模 型（BPARHMM）13分解成多个子任务；其次，底层使用 SAC 算法对所分解的每个子任务进行技能学习，得到子任务的操作技能集合；最后，上层通过基于最大熵目标的强化学习算法，实现复杂操作技能的学习、再现与泛化。1 方 法1.1 基于分层强化学习的机械臂复杂操作技能学习系统为了解决强化学习算法在面对复杂操作任务时难以学到有用策略的问题，本文引入分层强化学习框架。基于分层强化学习的机械臂复杂操作技能学习系统框架如图 1所示。该系统框架分为底层子任务学习和上层复杂任务学习。其中，底层子任务学习主要包括基于 BPARHMM 的复杂任务分解模块与基于 SAC 算法的子任务训练模块。上层复杂任务学习通过最大熵目标的强化学习算法训练得到子任务选择策略，最后通过子任务重构的方式得到新任务复杂技能策略，实现新任务的再现与泛化。图1 基于分层强化学习的机械臂复杂操作技能学习系统框架1.2 基于BPARHMM的复杂任务分解方法传统 HMM 模型的解码需要提前指定分割段数，而现实中复杂操作任务的子技能个数往往是未知的，采用人工指定子技能个数的解决方法往往会导致分割结果出现过拟合或欠拟合的情况，最终导致无法分解出具有实际物理意义的子任务。而 BPARHMM 采用 Beta 过程先验14，以完全贝叶斯方式构建一个潜在的无限隐状态库，并且直接从时间序列数据中推断出适当数量的隐状态，而不需要手动选择。BPARHMM模型如下：|B B0BP(c,B0)（1）XiBeP(B),i=1,2,N （2）|(i)kfiDir(,+(k,j),a f),i=1,2,N;k=1,2,K （3）|z(i)tz(i)t-1(i)z(i)t-1,i=1,2,N;t=1,2,T （4）y(i)t=1rA,z(i)ty(i)t-+e(i)t(z(i)t)Az(i)ty(i)t+e(i)t(z(i)t),i=1,2,N;t=1,2,T（5）公式（1）和公式（2）描述了随机测度B BP()c,B0，定义了一组关于全局共享隐状态集合的权重，其实现由孟子晗，等：基于分层强化学习的机械臂复杂操作技能学习方法117现代电子技术2023年第46卷B=kkk隐式定义，然后每个时间序列i都与伯努利过程采样Xi BeP()B,i=1,2,N有关，伯努利过程实现X=kfikk隐式定义时间序列i的特征向量fi选择哪一组全局共享的隐状态。公式（3）表示(i)k从时间序列i的状态转移分布，限制时间序列i在其特征向量fi中可用的隐状态之间的转换。公式（4）和公式（5）则描述了具有自回归特性的隐马尔可夫模型。1.3 基于SAC算法的底层子任务学习方法1.3.1 底层子任务学习框架传统强化学习方法大都有一定的局限性。如 PPO作为在线策略算法，采取随机策略，每次更新完策略后必须重新采集新的样本，导致样本效率低下；而 DDPG是离线策略算法，采取确定性策略，样本效率高，但是超参数不稳定，确定性策略无法探索环境。SAC 算法结合了上述两种传统强化学习方法的优点，采取随机策略，引入最大化熵的方法，能增加代理对于 环 境 的 探 索 度。传 统 强 化 学 习 算 法 目 标 策 略()|atst最大化累计期望回报是tE()st,at R()st,at，()st,at表示策略()|atst的轨迹分布状态动作边际函数。而最大熵目标的强化学习累计期望回报则为：J()=t=0E(st,at)R(st,at)+H(|st)（6）式中为正则化系数，决定了熵对奖励的相对重要性，越大，策略的随机性就越强，熵定义为：H(|st)=Ea(|s)-log(a|s)（7）SAC算法的网络结构如图2所示。SAC算法的网络包含了 Actor网络和 Critic网络。Actor网络包含一个策略网络，用来更新策略，策略网络输入当前时刻状态、输出当前时刻动作以及动作分布的熵值，网络结构为五层全连接神经网络，包含一个输入层、三个包含128 个神经元的隐含层和一个包含 2 个神经元的输出层。输出层为每个动作维度生成均值和标准差，采用tanh激活函数将动作归一化到-1,1范围内；Critic网络包含两个网络，分别为主值网络和目标值网络，主值网络用来输出当前状态的价值，目标值网络用来输出下一状态的价值，主值网络和目标值网络又包含了两个结构相同的Q网络Net1和Net2，网络结构均为五层全连接神经网络，包含一个输入层、三个包含 128个神经元的隐含层以及一个输出层。SAC 算法利用两个Q网络减少策略改进中的偏差，选取两个Q函数中的较小值作为均方误差计算的输入值，能够显著加快训练速度。图2 SAC算法网络结构1.3.2 底层子任务学习方法SAC 算法的过程是首先从经验池中采样当前时刻的状态st、动作at、奖励r、下一时刻的状态st+1后，送入策 略 网 络，输 出 下 一 时 刻 的 策 略(st+1)和 熵log(at|st)，同时对策略网络参数进行更新，更新方式如下：-J()（8）其中：J()=EstD Eat log(at|st)-Q(st,at)接着将经验池中当前时刻的状态st、动作at、奖励r118第19期输出至主值网络，通过主值网络中的两个Q网络Net1和Net2来计算估计Q值Qt(1)、Qt(2)。然后将策略网络输出的策略和熵通过目标值网络中的两个Q网络 Net1和 Net2 来计算目标Q值Qt+1(1)，Qt+1(2)，并输出两个目标Q值中的较小值，与主值网络计算的估计Q值作均方误差计算，其目标函数如下：J(Q)=E(at,st)D 12(Q(st,at)-Q(st,at)2（9）同时目标值网络参数通过主值网络参数进行软更新，更新方式如下：i i+(1-)i,i 1,2 （10）最后，主值网络的参数更新方式如下：i i-QJi(Q),i 1,2 （11）1.4 基于最大熵目标强化学习算法的上层复杂任务学习方法1.4.1 上层复杂任务学习框架传统的分层强化学习框架主要关注于顺序划分的任务，但在实际应用中，大部分任务不是顺序划分的，而是需要协同协调。因此对于复杂任务的强化学习，提出一种基于最大熵目标的强化学习算法的上层复杂任务学习框架，如图 3所示。为了介绍该框架，引入了马尔可夫决策过程的概念。图3 上层复杂任务学习框架对于子任务i，其设计的 RL 参数由五元组Mi=表 示；而 复 杂 任 务 的 五 元 组 定 义 为Mmetal=，其中l表示子任务的个数，Ametal=WmetalGml，表 示 向 量 级 联 运 算 符，w1wn=wl Wmetal，表示子任务所占权重，且n=1lwn=1；gml表示所有子目标gm1gmn=gml的级联，子目标gml是一种属性，它代替作为每个子任务五元组的状态元素，子目标包括两种，第一种是从复杂任务中产生的gml，第二种表示用户指定的子目标g0l。需要注意的是，权重和子目标表示的等效动作不再是随机产生，而是训练过程中根据状态信息确定性生成的。在复杂任务的五元组中，状态空间被定义为所有子任务状态空间的联合空间，动作空间被定义为子任务权重Wl和子目标gml的级联，转移概率被定义为在当前状态sl和等效动作wlgml条件下转移到下一时刻状态sl的概率，表示为Pmetal=P()sl|sl,wlgml。对应地，奖励函数表示在当前状态sl和等效动作wlgml条件下，复杂任务的期望奖励，Rmetal=Rmeta(sl,wlgml)，衰减因子定义相同。首先上层复杂技能策略基于当前环境状态st和人工指定的子目标g0l生成子策略权重wn和子目标gml，其中复杂技能策略仅对需要的子任务生成子目标；然后子任务基于上述子目标和状态筛分配的状态s1t,s2t,slt形成子任务新状态，复杂任务策略根据相应子任务新状态产生权重wi，得到子任务选择策略i(|a s,gm)wi(s,go)。子任务选择策略通过子任务重构得到复杂任务的最优策略：meta=1Z(s,go)i=1ki(|a s,gm)wi(s,go)（12）式中：k表示子任务策略个数；i表示子任务i的策略；wi()s,go表示为子任务i在给定状态和子目标下的权重；Z()s,go表示归一化函数。1.4.2 上层复杂任务学习方法对于上层复杂任务学习，采用最大熵目标的强化学习算法进行策略评估和策略改进，将最大熵强化学习目标函数中的标准熵项替换为子任务权重的熵项，目标函数重写为如下形式：J(meta)=t=0E(st,at)k=tk-tE(skP,ak)r(sk,ak)-|H(wk)st,at（13）式 中：H()w表 示 以 权 重w为 参 数 的 分 布 熵；wk=meta()sk；表示策略分布簇。熵项的作用是平均分配子任务的权重。根据上层复杂任务学习框架，定义状态s S，权重w=meta(s)，则复杂任务的奖励函数定义为：rmeta(s,w):=Ea(w)|rmeta(s,a)s（14）与SAC算法类似，通过交替进行迭代策略评估和改进来描述策略迭代，为了优化式（13），定义软动作值函数如下：孟子晗，等：基于分层强化学习的机械臂复杂操作技能学习方法119现代电子技术2023年第46卷Qmeta(st,wt):=E(P)k=1k(rmeta(s(t+k),w(t+k)+H(w(t+k)（15）式中，=()st+1,wt+1,st+2,wt+2,是以()st+1,wt+1为初始状态在转移概率P下的轨迹序列。该函数表示当前状态和权重的累计期望奖励，它评估在当前复杂技能策略下给定状态的权重好坏，类似于标准策略的状态动作值。对应地，可以得到软值函数如下：Vmeta(st):=Qmeta(st,wt)+H(wt)（16）随后可以得到软值函数对软动作值函数的表示：Qmeta(st,wt)=rmeta(st,wt)+Est+1P()Vmeta(st+1)（17）软动作值函数的贝尔曼等式为：Qmeta(st,wt)=rmeta(st,wt)+Es(t+1)PQmeta(st+1,wt+1)+H(wt+1)（18）对于固定策略，通过式（15）更新软动作值函数。为了稳定策略学习，需要同时使用值函数和动作值函数。本文使用由和参数化的神经网络作为函数近似器表示软动作值函数Qmeta和软值函数Vmeta，并通过减少二者对应的软贝尔曼残差对Qmeta和Vmeta进行训练，目标函数分别为：JQmeta()=E(st,wt)D 12(Qmeta(st,wt)-(rmeta(st,wt)+Est+1PVmeta(st+1)2 （19）JVmeta()=E(st,wt)D 12(Vmeta(st)-(Qmeta+H(wt)2（20）式中D表示重放缓冲区（Replay Buffer）。最后，复杂技能策略meta同样使用神经网络参数化表示，参数为，表示为meta，其目标函数为：J(meta)()=-E(st,wt)DQmeta(st,wt)+H(wt)（21）2 实验与仿真2.1 实验设计本实验通过物理仿真引擎MuJoCo对基于分层强化学习的机械臂复杂操作技能学习进行验证，所使用的机械臂为Kinova Jaco2机械臂。为了充分考虑家庭环境中任务的多样性和复杂性，同时考虑到老年人日常需求，本文将以拉开柜门放置药瓶的方式作为实验任务。首先建立拉开柜门放置药瓶的实验场景，如图 4所示。图4 拉开柜门放置药瓶的实验场景接着执行拉开柜门放置药瓶的实验任务，记录下机械臂末端的轨迹，即机械臂末端的位置和姿态。采用 BPARHMM对所采集的演示数据进行分割，分割结果如图5所示。从图中可以看出分割出了5段具有明显物理意义的分段，分别为靠近门把手、拉开柜门、靠近药瓶、抓取药瓶、放置药瓶。为了减少算法的训练重复度和复杂度，将靠近柜门和靠近药瓶合并为一个子任务到达（Reach）。最终该复杂操作任务被分为4个底层子任务：到达（Reach）、抓取药瓶（Grasp）、放置药瓶（Release）、拉开柜门（Open）。图5 机械臂复杂操作任务分割结果120第19期图6 子任务仿真训练环境表1 子任务观测状态到达任务观测机械臂末端位置机械臂末端姿态到达点位置到达点姿态维数3333抓取任务观测机械臂末端位置机械臂末端姿态夹持器开合角度物体位置维数3313释放物体任务观测机械臂末端位置机械臂末端姿态夹持器开合角度物体位置物体目标位置维数33133打开柜门任务观测机械臂末端位置机械臂末端姿态夹持器开合角度门把手位置门把手目标位置门把手目标姿态维数331333然后为分解的所有子任务建立仿真训练环境，如图6所示为4个子任务的训练环境。如图 6a）所示为到达子任务，图中两方块分别表示机械臂末端位姿与到达点位姿，任务目标为机械臂以指定姿态到达终点位姿；如图 6b）所示为抓取子任务，圆柱为待抓取物体，表示药瓶，任务目标为成功抓取物体并抬起离桌面一定高度；如图 6c）所示为放置子任务，放置点位于柜中，表示放置药瓶位置，任务目标是将物体放置到给定放置点；如图 6d）所示为开门子任务，任务目标为机械臂抓握门把手并拉开一定的角度。实验训练过程将 SAC算法接入到所建立的仿真环境中进行训练，仿真环境中机械臂执行策略的输出动作，环境则返回当前时刻的状态、观测空间、下一时刻的观测空间、动作空间、下一时刻的动作空间、回合奖励、实时奖励，这些信息将用于算法参数更新，直到算法收敛得到最优策略。2.2 实验参数设置2.2.1 状态空间设计每个子任务的具体状态空间的设计如表 1 所示。整体复杂任务观测空间为以上子任务观测空间的并集，观测空间的总维度为20维。2.2.2 动作空间设计对于除了到达任务外的所有子任务动作空间以及整体复杂任务，动作空间a R7，其中前 6 维表示机械臂末端的位置和姿态，第 7 维表示末端夹持器开合程度。2.2.3 奖励函数设计所有子任务的奖励包括基础奖励和成功奖励两个部分。基础奖励提高算法学习效率，能够更加有效地引导机械臂学习；成功奖励则是在机械臂完成子任务目标后给予的奖励。具体地，对于 Reach 子任务，基础奖励包括距离奖励和姿态奖励，设置为：rreachdis=wd*exp(-1/dth*dreach)（22）rreachangle=wa*exp(-1/ath*areach)（23）式中：dreach和areach分别表示机械臂末端位置和姿态与目标点位置和姿态差值的二范数；wd和wa表示奖励权重系数；dth和ath表示距离和姿态的正则化系数。成功奖励设置为：rreachsuccess=200-nepisode*0.1 （24）式中nepisode为当前回合的时间步。总体奖励设置为：rreaching=rreachdis+rreachangle+rreachsuccess （25）同样地，对于Grasp子任务，基础奖励设置为：rgraspdis=wdexp(-1 dthdgrasp)（26）rgraspangle=waexp(-1 athagrasp)（27）rheight=hhobj（28）式中：hobj表示物块实际高度和初始高度之差；h表示物块抬起高度奖励系数；dgrasp和agrasp分别表示机械臂末端位置和姿态与物体位置和姿态差值的二范数。孟子晗，等：基于分层强化学习的机械臂复杂操作技能学习方法121现代电子技术2023年第46卷成功奖励设置为：rgraspsuccess=200-nepisode*0.1 （29）总体奖励设置为：rgrasp=rgraspdis+rgraspangle+rheight+rgraspsuccess（30）类似地，对于Release任务，基础奖励只包括距离奖励，无姿态奖励，设置如下：rreleasedis=wdexp()-1 dthdrelease（31）式中drelease表示物体和释放点位置差值的二范数。rreleasesuccess=200-nepisode*0.1 （32）Release任务的总体奖励函数为：rrelease=rreleasedis+rreleasesuccess （33）最后，对于Open任务，基础奖励设置如下：ropendis=wdexp()-1/dthdopen（34）ropenangle=Waexp()-1/athaopen（35）式中：dopen和aopen分别表示机械臂末端位置和姿态与门把手位置和姿态距离的二范数。成功奖励设置为：ropensuccess=200-nepisode*0.1 （36）OpenDoor任务的奖励函数为：ropen=ropendis+ropenangle+ropensuccess （37）对于上层复杂操作技能，其奖励函数只考虑最终任务是否成功，因此只包括各子任务的成功奖励函数和最终任务的成功奖励。具体包括完成 Open 任务的奖励ropen=20，完成 Grasp 任务的奖励rgrasp=30，完成 Release 任务的奖励rrelease=160。2.2.4 网络参数设计在 SAC 算法的网络结构中，每个网络层之间的激活函数采用 ReLU 函数，经验池大小（buffer_size）设置为 50 000，每 次 训 练 从 经 验 池 中 采 样 样 本 数 量（batch_size）设为256，学习率（learning_rate）为7 10-5，折扣因子 gamma为 0.99，Actor网络和 Critic网络均采用Adam优化器进行优化。2.3 实验结果2.3.1 底层子策略训练结果底层采用SAC算法对子策略进行训练，训练结果如图7所示。图7 底层子任务训练结果每个子任务的训练时间步均设置为 500万时间步。图中以时间步长为横坐标，每回合奖励为纵坐标，浅色曲线为每回合训练的奖励，实线为平滑处理后的结果。从图中可以看出每个子任务都成功得到了最优策略，到达子任务（Reach）在训练接近100万时间步后，成功率明显提升；抓取子任务（Grasp）和释放子任务（Release）中，SAC算法均在250万时间步后收敛至最优策略；最后在打开柜门任务（Open）中，由于任务较为复杂，在300万时间步后成功率才逐渐提升，最后在300万时间步后收敛。用得到的最优策略继续进行 100次测试，以验证策略的可行性。实验结果表明，SAC算法在 4种底层子策略任务场景中均能表现出优异的学习性能，Reach任务122第19期由于机械臂无法到达某些姿态，因此任务成功率仅为81%；Grasp和 Release任务的成功率分别达到了 95%和93%；Open 任务由于任务复杂，任务目标较难达到，成功率为88%。2.3.2 上层复杂操作技能训练结果上层复杂操作技能的最终训练结果如图8所示，在上层策略训练中，由于任务复杂，因此设置训练时间步为 1 000万次，其中每回合持续 1 200个时间步，基于最大熵目标的强化学习算法在700万时间步时收敛。图8 上层复杂操作技能的训练结果为了显示该算法子任务的协调性，将所学习得到的整体任务策略进行单次实验，实验中底层子策略权重变化如图9所示。任务刚开始时，Reach处于主导地位，对应阶段 1；在靠近门把手后，Reach 的权重逐渐降低，Open的权重开始增加，并占据主导地位，对应阶段2；打开柜门后，机械臂开始靠近物体，Reach 又占据主导地位，此时由于 Reach和 Release策略意义相近，均表示靠近目标点，因此阶段 3出现了 Release权重增大的情况；随后阶段4开始抓取物体，Grasp的权重逐渐增加；阶段5为机械臂靠近释放目标点；阶段6表示机械臂将物体放置在目标点，Release权重为1。从图 9可以看出，在执行整个复杂任务期间，子任务通过权重的方式协同执行，而不是单纯地按顺序划分。为了验证该方法的可行性、泛化性和鲁棒性，用训练得到的复杂操作技能进行测试，并改变机械臂或物体的原始位置进行对比实验。所有任务在仿真环境中进行 100次实验，实验结果如表2所示。在不做任何改变的情况下，由于任务比较复杂，并且子策略训练效果存在不理想的情况，因此成功率为85%；在每回合开始前将一个小随机噪声添加到初始机械臂关节位置，改变机械臂的初始位姿，成功率降低至77%；对改变物体初始位置的情况，物体的位置在原来的基础上5 cm，稳定或者末端夹持器与物体碰撞，导致无法成功抓住的情况，成功率为72%。实验表明，学习得到的复杂操作技能具有一定的泛化性和鲁棒性。表2 仿真环境和真实环境的泛化性能实验结果变量改变量成功率(仿真)/%成功率(真实)/%不改变8535机械臂初始位姿Max 4%7730物体初始位置5 cm7235最后将该任务部署到真实环境中，如图 10所示，与仿真环境中设置相同。图10 真实环境中的操作技能再现由于真实环境和仿真环境存在差距，真实环境中成功率下降明显。以上实验结果表明：基于分层强化学习的复杂操作技能学习方法在真实场景中虽成功率较低，但仍能够成功进行操作技能再现和泛化实验；而在仿真环境中成功率高，泛化效果好。3 结 语本文提出一种基于分层强化学习的机械臂复杂操作技能学习方法，用于解决传统强化学习方法面对家庭环境中的复杂操作任务时由于状态空间庞大、奖励稀疏而导致无法获得有用的操作技能。该框架分为底层子任务学习和上层复杂任务学习，底层使用 BPARHMM分解复杂任务，并通过 SAC算法图9 任务执行期间子任务权重占比孟子晗，等：基于分层强化学习的机械臂复杂操作技能学习方法123现代电子技术2023年第46卷作者简介：孟子晗（1998），男，江苏南京人，硕士研究生，主要研究方向为机器人信息感知。高 翔（1967），女，教授，硕士生导师，主要研究方向为机器人信息感知。刘元归（1997），男，硕士研究生，主要研究方向为机器人信息感知。马陈昊（1999），男，硕士研究生，主要研究方向为机器人信息感知。训练子任务；上层根据底层训练得到的子任务最优策略，通过基于最大熵目标的强化学习算法学习训练复杂操作技能。实验结果表明，该方法成功学习到了复杂操作任务，并且所有子任务都不局限于观察空间和动作空间的维数，提高了可重用性，实现了模块化，大大减少了复杂任务的学习时间，在性能上优于其他算法。参考文献1 刘乃军，鲁涛，蔡莹皓，等.机器人操作技能学习方法综述J.自动化学报，2019，45（3）：458470.2 IODICE F,WU Y,KIM W,et al.Learning cooperative dynamic manipulation skills from human demonstration videos J.Mechatronics,2022,85:102807.3 CALINON S,GUENTER F,BILLARD A.On learning,representing,and generalizing a task in a humanoid robot J.IEEE transactions on systems,man,and cybernetics,part B(Cybernetics),2007,37(2):286298.4 TAKEDA T,HIRATA Y,KOSUGE K.Dance step estimation method based on HMM for dance partner robot J.IEEE transactions on industrial electronics,2007,54(2):699706.5 WANG N,CHEN C,DI NUOVO A.A framework of hybrid force/motion skills learning for robots J.IEEE transactions on cognitive and developmental systems,2021,13(1):162170.6 YI J B,KIM J,KANG T,et al.Anthropomorphic grasping of complex shaped objects using imitation learning J.Applied sciences,2022,12(24):12861.7 LILLICRAP T P,HUNT J J,PRITZEL A,et al.Continuous control with deep reinforcement learning EB/OL.20190705.https:/arxiv.org/abs/1509.02971.8 TANG W,CHENG C,AI H,et al.Dualarm robot trajectory planning based on deep reinforcement learning under complex environment J.Micromachines,2022,13(4):564.9 YANG R,XU H,WU Y,et al.Multitask reinforcement learning with soft modularization J.Advances in neural information processing systems,2020,33:47674777.10 YANG X,JI Z,WU J,et al.Hierarchical reinforcement learning with universal policies for multistep robotic manipulation J.IEEE transactions on neural networks and learning systems,2022,33(9):47274741.11 李博遥.基于模仿的机器人操作技能学习技术研究D.北京：中国科学院大学，2020.12 张会文.基于模仿学习和强化学习的机器人技能自动获取方法研究D.北京：中国科学院大学，2019.13 FOX E B,HUGHES M C,SUDDERTH E B,et al.Joint modeling of multiple time series via the beta process with application to motion capture segmentation J.The annals of applied statistics,2014,8(3):12811313.14 HJORT N L.Nonparametric Bayes estimators based on beta processes in models for life history data J.Annals of statistics,1990,18(3):12591294.124