基于深度强化学习和历史轨迹的船舶路径规划.pdf

China,2024,4744.(inChinese)OU C K,XIE L,CHA T Q,et al.Ship path planning based on deep reinforcement learning and historical trajectories.Navigationof引用格式：欧昌奎，谢磊，查天奇，基于深度强化学习和历史轨迹的船舶路径规划J1.中国航海，2 0 2 4，47（1）：3 6 44.Mar.2024NAVIGATIONOFCHINA2024年3月Vol.47 No.1第47 卷第1期中海国航文章编号：10 0 0-46 53（2 0 2 4)0 1-0 0 36-0 9基于深度强化学习和历史轨迹的船舶路径规划欧昌奎1,2,33，谢磊2，查天奇1.2 3，杨洋1,2.3,胡昕源原1,2,3（1.武汉理工大学智能交通系统研究中心，湖北武汉430 0 6 3；2武汉理工大学国家水运安全工程技术研究中心，湖北武汉430 0 6 3；3武汉理工大学交通与物流工程学院，湖北武汉430 0 6 3）摘要：为减少船舶在航行过程中人为操作不当或者没有及时对障碍风险做出反应而造成的船舶碰撞事故，增加船舶航行的安全性，提出一种船舶路径规划方法。将船舶历史的船舶自动识别系统（AIS）数据进行相应的预处理后,运用K-means聚类算法对相应数据进行聚类，得到的一条特征轨迹，并将其作为船舶在该区域的全局静态路径规划轨迹。设计一种基于深度确定性策略梯度（DDPG)算法的局部路径避碰方法和基于深度强化学习(DQN)的局部路径回归方法，使船舶可对局部动态风险做出有效的反应。分析全局静态路径的效果，并对局部动态路径规划方法做了仿真验证，结果表明：该方法可得到一条较为安全的全局路径，并且可规避航行时的局部动态风险，为船舶安全航行提供一定的参考。关键词：水上交通；路径规划；K-means聚类；深度强化学习中图分类号：U6-9文献标志码：AD0I:10.3969/j.issn.1000-4653.2024.01.005Ship path planning based on deep reinforcement learningand historical trajectoriesOU Changkuil.2.3,XIE Leil-2,CHA TianqilYANG Yang;1,2,31,2,3HU Xinyuan,1,2,3(1.Intelligent Transportation System Research Center,Wuhan University of Technology,Wuhan 430063,China;2.National Engineering Research Center for Water Transport Safety,Wuhan University of Technology,Wuhan 430063,China;3.School of Transportation and Logistics Engineering,Wuhan University of Technology,Wuhan 430063,China)Abstract:A ship path planning method is proposed to reduce ship collisions caused by improper human operations orfailure to react to obstacle risks in time during navigation,and to increase the safety of ship navigation.After pre-processingthe ships historical AIS data accordingly,the K-means clustering algorithm is applied to cluster the corresponding data anda characteristic trajectory is obtained as the global static path planning trajectory of the ship in the area.In addition,a localpath collision avoidance method based on DDPG(Deep Deterministic Policy Gradient)and a local path regression methodbased on DON(Deep Q Network)are designed to enable the ship to respond effectively to dynamic local risks.The effectof the global static path is analysed and the local dynamic path planning method is also simulated and validated.The resultsshow that the method can obtain a safer global path and can avoid the local dynamic risks during navigation,providing acertain reference for ships safe navigation of ships.Key words:waterborne transport;path planning;K-means clustering;deep reinforcement learning收稿日期：2 0 2 2-10-0 4基金项目：国家重点研发计划（2 0 19YFB1600600；2 0 19YFB16 0 0 6 0 4）作者简介：欧昌奎（1999一），男，硕士生，研究方向为智能交通与安全。E-mail：o u c k w h u t.e d u.c n通信作者：谢磊（197 5一），男，副研究员，博士，研究方向为水路交通信息采集和处理、船舶异常航迹智能识别、船舶路径规划及避碰。E-mail:37欧昌奎，等：基于深度强化学习和历史轨迹的船舶路径规划水路运输因运量大、成本低和通用性强等特点，在交通运输过程中起着不可或缺的作用，我国90%以上的国际贸易和50%以上的国内贸易都是通过水路运输完成。内河运输和海上运输是水上运输的主要方式,其中，内河运输是连接海洋与内陆的纽带,是经贸往来中至关重要的一环2。路径规划技术可有效规避航行风险，快速获得合理路径，指导船舶的安全航行，从而为航运通畅提供技术保障，受到国内外学者的广泛关注。路径规划方法发展至今，已获得众多可行的研究成果，但大多数路径规划方法并不具备与环境交互的能力。强化学习方法以环境观测信息为依据进行动作决策，并以反馈得到的奖励信息对动作行为进行评价，重点关注智能体与环境相互反馈的作用过程,有着良好的环境交互特性3。近年来，强化学习算法在路径规划方法的相关研究中不断发展，并逐步应用至船舶路径规划领域中，着重对该领域中船舶避碰问题展开研究。深度强化学习（DeepQNetwork，D Q N）方法在离散型的动作学习方面受到广泛的专注。ZHANG等4采用DQN方法进行避碰方法设计时，通过考虑国际海上避碰规则（简称规则）对神经网络的权重进行限制，有效加快了避碰模型的训练速度。CHENG等5设计一种基于循环神经的DQN方法，该方法可针对航行目标需求进行船舶避碰路径的选择，并通过仿真试验证明该方法的有效性。深度确定性策略梯度（DeepDeterministic PolicyGradient，D D PG)算法是基于策略梯度的强化学习方法，其被广泛用于处理连续动作任务。KIM等6 应用DDPG算法,并通过相对位置关系简化状态空间的表示方式，降低任务难度，得到有效的船舶避碰行为决策方法。XU等7 采用DDPG算法进行船舶路径规划方法的研究，也得到了有效的船舶避碰行为决策方法。现有文献中，少有学者利用安全的船舶历史航行数据进行路径规划，因而提出的路径规划方法缺少一定的参考性。为解决船舶静态路径规划时路径搜索慢、安全性低的问题,本文提出一种基于K-means聚类算法的船舶特征轨迹生成方法，该方法利用历史数据生成一条船舶静态路径。同时，为保证实时风险环境下船舶的安全航行，设计一种基于DDPG算法的船舶局部路径避碰方法和一种基于DQN算法的局部路径回归方法。1船舶AIS数据预处理原始船舶自动识别系统（AutomaticIdentifica-tionSystem，A IS）数据存在众多无效数据，无法直接进行船舶航行特征的提取,因此，需对任务水域船舶AIS原始数据集进行预处理操作。本文采用的AIS数据预处理技术框架示意见图1。一AIS动态数据处理1AIS点位信息预处理AIS静态数据处理不同类型船舶重复数据错误数据缺失数据切比雪夫船舶具体不等式位置判断船舶运动异常数据状态判断差值修复一文AIS航迹信息预处理AIS航迹数据处理切比雪夫不等式立航迹完整性判断经预处理的AIS航迹信息数据集图1AIS数据预处理技术框架示意Fig.1Schematic diagram of AIS data preprocessingtechnology framework1.1AIS楼数据点位信息预处理船舶AIS数据包含该船船名、船长、船宽和水上移动通信业务识别码（MaritimeMobileServiceIdentify，M M SI)等静态信息，同时也包含了该船实时经度、纬度、航向和航速等动态信息，搜集包含上述内容的船舶数据，可为任务水域航行特征的提取提供分析基础8 AIS数据发送较为频繁且数据量较大，相关数据缺失是较为常见的问题9。因此,将船舶识别信息缺失的数据视为无效数据并进行删除。但船舶在锚泊状态下和运动状态下的数据信息全部包含在该数据集中，考虑到静止的锚泊船舶对航行特征的分析并无帮助，在进一步的数据筛选过程中，将船速低于1kn的船舶看作锚泊船进行过滤，从而使数据集中仅保留航行状态下的动态AIS数据。对搜集到的数据集以船舶的具体类型进行分类，然后分别确定不同类型船舶正常航速的可信区间。文献10 将长江水域中的船舶分为集装箱货船、非集装箱货船、客船、油船和其他类型船舶等类型。其中，非集装箱货船包含液货船中的化学品船等船舶类型，故而将集装箱货船与去除液货船的非中第47 卷第1期海国航38集装箱货船统归为干货船类，同时，将化学品船与油船归为液货船类。因为，内河船舶航行受到实际情况的限制,航速分布并不遵循某一特定分布1。利用切比雪夫不等式分析船舶航速的置信区间。XP(IX-Xe/e)(1),(0)式(1)中：X为船速样本;X为船速样本期望;X，为船速样本标准差。将式(1)中任意的0替换为k个标准差,则不等式表示为在随机变量均值的基础上，得到k个标准差范围内数据的概率上界。以均值为标准的置信区间可定量地给出船舶船速可信范围的估计界，在均值附近5个标准差的范围内，到该随机变量的概率达到0.96，以该大概率取值区间作为船舶船速的统计标准，对船舶AIS数据进行筛选，保留置信区间内的数据。1.2AIS航迹信息预处理AIS数据集中存在航行信息缺失的问题，因此需确定每条船舶航迹是否完整。统计数据集中船舶AIS数据报文发送时间间隔，利用计算得到的界限值进行航迹数据的筛选。运用切比雪夫不等式统计时间间隔的置信区间，得到最大的可信报文间隔，分析航迹所需包含的最少信息点。统计输人数据集中各船舶AIS数据发送间隔平均值tmean、标准差tstd等，根据切比雪夫不等式得到时间间隔概率置信度达到0.96 的区间值。将航迹起止位置的时间差除以时间间隔最大值，得到该航迹所包含的最少AIS数据点的数量。轨迹点数量低于这个数的航迹，以确保每条船舶轨迹完整。船舶AIS航迹信息筛选流程见图2。1.3船舶AIS数据预处理效果受水域水位、天气等因素的影响，船舶在不同季节会有不同的航行特征，本文选取秋季时间段作为研究对象。本文数据来源于经度区间118 36 .824E,11845.371E】、纬度区间3157 .40 6 N,326.033N范围内，南京段部分通航水域2 0 19年10月14日2 0 19 年11月2 8 日的47 8 8 518 条AIS数据。1）将AIS数据集中的重复数据和缺失数据进行删除。将船速低于1kn的船舶看作锚泊船，并在数据集中剔除。把筛选数据中具体的船舶种类、数量和比例等情况进行汇总，各种类船舶数量及比例统计表见表1。2）将处理得到的数据集中的航速作为随机变量，利用切比雪夫不等式得到不同类型船舶航速置信区间见表2。船舶AIS数据集取某船舶AIS数据按时间排序计算确保航迹完整性的最少值数据NY实际数据量NNN?依次连接AIS数据舍弃该船AIS数据得到航迹信息AIS数据集N为空？Y结束图2船舶AIS航迹信息筛选流程Fig.2Flow chart of AIS track information screening for ship表1各种类船舶数量及比例统计表Tab.1Statistical table of the number and proportionof various types of ships船舶种类干货船客船液货船其他数量/艘3214101350109船型百分比/%85.162.679.272.89表2不同类型船舶航速置信区间Tab.2Confidence interval for speed of differenttypes of ships单位：kn船型散货船液货船客船其他航速置0,13.250,16.800,2 3.410,19.6 4信区间3）舍弃船舶航速置信区间外的AIS数据，删除漂移数据并进行插值处理。统计报文发送时间间隔的置信区间，确定一条航迹信息所需AIS数据点的下限：经统计，点位信息预处理后的数据集中，各船舶AIS数据发送间隔平均值为97.55s，标准差为176.66s，根据切比雪夫不等式得到时间间隔这一随机变量概率是0.96 的区间为0 s,985.12s；再按照图2 完成航迹信息筛选；最后区分其上下行，AIS数据预处理效果图见图3。2船舶路径规划方法2.1船舶静态路径规划本文提出特征轨迹的概念，用于指导船舶静态欧昌奎，等：基于深度强化学习和历史轨迹的船舶路径规划39图3AIS数据预处理效果图Fig.3Rendering of AIS data preprocessing的路径规划。特征轨迹可看作船舶航行的习惯性航线，能有效反映船舶在任务水域的航行特征情况。根据AIS数据中连续3个轨迹点的经纬度L,-1、L,、Lt+1、B,-1、B,、B,+1,计算每个轨迹点的转向角为9;=TT-(L,+1-L,),(B+1-B,)arccosV(L1-L,)2+(B+1-B,)2(L,-L,-1),(B,-B,-1)(2)V(L,-L,-1)?+(B,-B,-1)2将轨迹点的L,、B,与计算得到的,归一化处理，然后将其作为三维K-means聚类模型中的3个因素进行聚类处理。为使轨迹尽可能平滑，需得到更多的轨迹点。因此，可让聚类的簇数尽可能大一些,文中将聚类簇数设置为50。聚类完成后，将聚类中心依次连接成一条轨迹，这条轨迹可作为船舶在此航段航行的特征轨迹，其效果显示见图4。将其他季节的AIS数据代人到此模型中也可得到该时间段内的船舶特征轨迹。恭天大迎特征轨迹历史轨迹图4特征轨迹效果显示Fig.4Characteristic track effect display2.2局部动态路径规划方法2.2.1局部路径避碰算法本文采用基于连续动作的DDPG算法完成船舶局部避碰方法的设计，以完成实时规避障碍风险的任务。DDPG是基于Actor-Critic结构进行工作的，其基本思路是由Actor部分进行直接的动作选择，同时，由Critic部分进行决策的评价，并不断在决策、评价过程中进行训练，以获取完成任务目标的能力。而Actor-Critic结构采用神经网络近似的方式，利用网络拟合能力在连续的动作空间中可高效地进行学习。将其应用于船舶避碰技术可产生更加细致的动作决策,以获得更为有效的船舶避碰效果。基于DDPG的船舶局部避碰方法的目的是保证船舶航行安全，需更为全面、细致地进行船舶周围环境状态信息的感知。船舶可感知一定的相对环境状态，这个感知范围称其为裕量范围。裕量范围需确保船舶在遭遇实时障碍等危害船舶安全航行的情况时,有足够的时间和空间进行规避。裕量范围中的绝对安全范围参照了船舶领域理论。本文借鉴藤井船舶领域模型，其规定非远洋任务水域环境下，若在航船舶船长为L,则船舶领域为长轴为4.0 L、短轴为1.6 0 L的椭圆12。仅考虑船舶承担避碰责任时的障碍规避情况，故而忽略船舶后方的相对环境感知，可进一步简化裕量范围的表达形式。同时，为方便状态信息的确定，将椭圆形的绝对安全范围简化为三角形。为保证船舶航行的绝对安全性，将占据栅格的部分区域进行膨胀处理，以该最小原始栅格的全部覆盖范围作为需进行探测感知的绝对安全范围。在微观栅格环境下，船舶领域范围简化过程见图5。图5舟船舶领域范围简化过程Fig.5Simplified process of ship domain scope使用7 个不同探测方向上船舶与障碍物的距离作为绝对安全范围的输入信息。假设原始栅格边长及船长为1,将船舶看作质点，以其作为起点并以航行方向为基准，分别在0、2 2.5、45、90 方向到达膨胀范围边界的距离作为绝对安全范围距离中第47 卷第1期海国航40d,，并在上述方向进行距离探测，感知各个方向原始栅格的状态信息，由左向右分别记为So、S1、S2、裕量安全范围是在绝对安全范围的探测感知区域的基础上进一步向外扩张得到，可使船舶及早发现危险情况并规避，进一步保证船舶实际航行安全。而经多次试验后，取效果较为合适的1.5倍最大绝对安全范围距离作为裕量安全范围距离，相应的感知区域作为裕量安全范围。裕量安全范围较绝对安全范围覆盖区域更广，由于安全紧迫性较低，与绝对安全范围相比较，可降低其感知的完备性，不必增加新的感知探测方向，状态感知输人信息仍可表示为So,S1,S2,S3,S4,S5,S6以规则为基础，将船舶避碰问题划分为追越、对遇和交叉相遇等局面进行分析处理。主要根据不同的船舶相对位置关系进行区分，船舶会遇态势示意见图6。图6 中：为相对位置关系以航角；C为航向关系以交叉角。对遇他船中0交叉交叉本船追越图6会遇态势示意Fig.6Schematic diagram of encounter situation不同会遇局面划分见表3，为简化算法设计过程，本文路径规划方法将不考虑产生追越行为。表3会遇局面划分Tab.3Division of meeting situations相对本船位置会遇情况船舶动作0,5U355,360对遇右转112.5,247.5追越主动避碰112.5,247.5 被追越不负责避碰5,112.5U112.5,365交叉相遇不负责避碰5,112.5 U112.5,365交叉相遇右转2.2.2局部路径回归算法船舶完成动态规避后，还需使船舶回归原来的静态路径规划航迹上。在此基础上，设计目标趋向的局部路径规划方法，该过程主要是完成紧迫安全状态规避后的一般静态局部环境状态，该状态相比于障碍规避状态安全紧迫性降低,因此,采用基于离散动作的DQN方法便可满足任务处理需求。DQN算法结构见图7。损失函数参数更新maxQ当前奖励值函数参数覆盖目标环境信息当前状态神经网络神经网络船舶当前状态：下一状态决策动作a当前动作a当前样本信息回放记忆库图7DQN算法结构Fig.7DQN algorithm structure diagram基于DQN的局部路径规划方法的首要任务是回归静态规划航迹，故而需添加船舶与特征轨迹相对状态关系的感知输入信息，当船舶驶过特征点P,（%，yk）且向特征点Pk+1（+1,Yk+1）航行时，该航段与轴夹角为，当前时刻t时船舶所处位置P（x,，y t），以逆时针方式计算正东方向和船舶航向夹角,船舶航向与统计航段的相对角度关系，为Pt=(3)Pk、Pk+1、P,这3点组成了闭合的三角形区域，因此，上述距离偏差可表示为以P,Pk+1为底的三角形的高d,有a()*-(c0)-b0+a(0)d=(4)2c(t)式(4)中:a(t)=V(x,-x)+(y,-ya);b(t)=/(x,-xk+)+(y,-yk+1);c(t)=(xk+1-x)+(yk+1-y/)。船舶与航迹相对状态示意见图8。Pk+(xk+1Vk+1)b(t)c(t)dP(xy)a(t)P(xkVk)图：船舶与航迹相对状态示意Fig.8Schematic diagram of relative state of ship and track判断与特征航迹的相对位置后，仍需判断船舶的安全状况。本文设计7 个离散方向检测船舶的安欧昌奎，等：学习和历史轨迹的船舶路径规划41全状态,以船舶的向为基准,分别以、一/3、一T/6、0、T/6、T/3和T的相对角度偏差进行各方位的状态检测，船舶相对环境探测感知示意见图9。X,X图9船舶相对环境探测感知示意Fig.9 Schematic diagram of ship relative environmentdetection and perceptionDQN方法要确定基本的四元组st,a,，r,s t+1：当前状态输s,=Pt,d,d1,d2,d3,ds4,ds,d6,d,;动作决策,;对应的奖励r,下一状态信息st+1。在回归过程中，规定船舶以常规匀速状态进行行驶，且以确定的时间间隔进行运动决策。船舶运动时，强化学习输出的是船迹向变化AP,离散的船迹向变化P，分别设置为-3/、-6/、0.6/和3/。船舶在常规状态以速度进行匀速航行，结合船迹向变化，形成相应的固定动作组件，结合船迹向变化、u 和时间At，便可计算出下一时刻的船舶位置（xt+1，Yt+1）见式（5）和式（6）。当船舶到达目标位置时，依次连接储存的中间位置，可得到船舶局部回归路径。Xi+I=X,+vcos(,+Ap.)At(5)Y+1=Y,+vsin(,+Ap.)At(6)2.2.3船舶局部路径规划框架设计DDPG和DQN采用基本相同的四元组s，a,，T,s+1形式。本文利用仿真环境中的直线距离模拟船舶雷达的感知距离，设计了不同的环境感知方式，有spe=do,ds,d,i=0,1,6(7)Sp=(L,D,T)(8)式（7)和式（8）中：spe为DDPG环境感知方式;ds为船舶距离探测感知范围内航行障碍的距离；sp为DQN环境感知方式；L和分别为船舶与目标位置的相对距离和相对偏角;D和分别为船舶与右舫侧航行边界的相对距离和相对偏角。船舶的实际航行范围会受到限制，利用船舶旋回性能明确船舶转向受船舶性能制约的程度，以确定船舶局部环境下的可动作范围。船舶旋回性能是指定速航行的船舶操一舵角后进入定长旋回的性能，该过程可看作船舶重心轨迹围绕一个圆转动13,文献14采用船舶旋回性能进行可航行区域分析，引用该方法对局部路径规划方法进行动作决策范围的限定。旋回初径是指船舶航向改变18 0 时重心相对原航向横向移动的距离。若旋回初径为M,设O为船舶当前所在区域，同样也是船舶动作范围的圆心；O为旋回圆的圆心，两圆相交位置I,J为I的对称位置，船舶动作决策范围示意见图10。图10 中：动作决策步长为半径R；旋回初径M=OT,、和刀所包围区域为船舶可进行位置转移的动作决策范围。11B11图10船舶动作决策范围示意Fig.10Schematic diagram of ship action decision range以等距离的方式进行船舶动作决策，最终的移动位置将分布在上，其极限位置可由夹角表示，有TR(9)arccos2（2 M）一般类型船舶的相对旋回初径是已知的，常用船舶相对旋回初径对照表见表4。表4常用船舶相对旋回初径对照表Tab.4Comparison table of relative initial diameter ofcommon ships船舶种类相对旋回初径大型货船5.0 5.6中小型货船4.05.0油船2.57.5大型远洋客船7.8 8.0中小型海客船4.05.0大型客货船5.07.0中小型客货船4.05.0拖船1.53.0巡洋舰3.0 5.0驱逐舰5.010.0潜艇3.05.0中第47 卷第1期海国航42局部回归路径规划方法安全性并不紧迫且采用离散的动作决策方式，因此，本文使用绝对安全范围的最大值5倍船长作为决策步长，即5L；而局部避碰路径规划方法进行障碍规避时，处于极度紧迫的安全状态，因此，采用船长L作为决策步长。利用文献15采用的7 m船模为试验对象,将其回旋初径设为6 L，可得出离散动作范围区间为30，30，连续动作范围区间为5.7 39，5.739。船舶的状态转移是在进行动作决策时，以船舶当前航向A为基准，决策后的动作可表示为=A+A。若当前时刻船舶微观状态位置为（x;,yi），当前船舶航向角为A；，动作决策为A，动作决策步长为L,则下一时刻的微观位置为Xi+1=X;+cos(a,)L(10)Yi+1=y;+sin(a,)L(11)为在不同的局部路径规划任务下学习到所需知识,针对性地奖励信息设计。基于DDPG的局部路径规划方法为学得障碍规避所需知识，针对任务特点设计局部路径的奖励信息RA，避障奖励函数R。可设定为-10,dsi d.R。=da=d(12)0，1,dsi+I d.式(12)中：d,为绝对安全范围;ds,为当前探知距离；dsi+1为下一状态探知障碍距离。为引导船舶学习实际可行的避碰动作策略，以满足规则作为目标需求进行相应的奖励设计。规则中，不同的避碰情况下本船均可向右动作规避前方船舶。为符合该动作规则，设当前船舶动作角度为,规避奖励ravoid=1,设计右转奖励函数Ravoid=sin raxoid;该奖励函数表示船舶向左动作将给予负值进行惩罚，向右动作将给予正值进行奖励。奖励函数R.为RA=R。+Ravoid(13)基于DQN的局部路径规划方法需在确保向目标位置航行的前提下，进行合理的静态航迹回归，因此，其奖励函数设计先需参照船舶向目标区域的启发引导评价。因此，目标位置的奖励函数R。的具体表达为1，L,L2式(14)中：L,为上一时刻船舶相对于目标点位置;L2为本时刻船舶相对于目标点位置。目标角度的奖励函数R。为11 2式(15)中：1、2 分别为当前时刻与上一决策时刻船舶与目标位置的相对偏角。奖励信息还需考虑对船舶航行状态的评价，,其安全状态的奖励函数R，为-5,dd,Rd：(16)Lo,other式(16)中：d为船舶与右航侧航行边界的相对距离；di,d,为安全范围。对于船舶与右舫侧航行边界的相对偏角T，同样需设置安全范围T，T,进行评价，其相对偏角的奖励函数R。为R=-5,TT,(17)Lo，other基于DQN的局部路径规划方法在每次决策后所得的最终奖惩Rr,其包括：船舶与目标位置的相对状态信息Ra、R。及船舶自身航行状态的评价信息R、R。R,可表示为Rr=Ra+Ra+Rd+Ra(18)2.3船舶整体路径规划方法基于以上的静态路径规划和局部动态规划方法，可实现船舶在某一航段内全程的路径规划。其具体的思路为：当船舶依据静态路径规划航迹进行辅助航行，如果船舶遭遇实时障碍风险，进行障碍避碰为目的的局部路径调整；当船舶完成障碍规避后，再次进行以全局路径趋回为目的的局部路径调整。船舶路径规划伪代码见表5。表5船舶路径规划伪代码Tab.5Pseudocode for ship path planningInput：静态轨迹、DQN网络、DDPG网络、环境感知1：信息2：船舶开始运动3：If感知到障碍风险：4:激活DDPG进行避碰.5If感知到没有障碍：6:激活DQN网络进行回归7：If船舶回归静态轨迹8：Break9：Break10：船舶继续运动43欧昌奎，等：习和历史轨迹的船舶路径规划3仿真试验说明3.1船舶静态路径规划效果分析在船舶全局静态路径规划时，数据来源为2 0 19年10 月13日一2 0 19年10 月16 日的船舶AIS数据，该时间段内，南京水域并未发生船舶交通事故，故可认为这些AIS的轨迹数据都是安全的。因此，由聚类中心连接而成的船舶特征轨迹是相对安全的。为进一步验证特征轨迹的合理性，统计船舶特征轨迹中的轨迹点与两岸的距离l1、2，然后分析他们的比值s=l,/2。其比值变化图见图11。1.07实际比例平均比例0.80.60.40.201020304050随机选取的轨迹点/个图11比值变化图Fig.11Ratio change diagram由图11可知：轨迹点到两岸距离之比大致分布在约0.6 2,且变化幅度不大。此结果也在一定程度上说明该轨迹可描述一定的船舶轨迹特征。使用A*算法在同样的环境中探索一条静态船舶轨迹示意见图12。分别计算两条轨迹的长度，特征轨迹长度为17.12 5km，A*算法探索的轨迹长度为18.945km，两者之比为0.90 4。因此，本文提出的船舶静态路径规划方法较A*算法生成的静态轨迹距离更短。特征轨迹A*算法图12 A*轨迹与特征轨迹示意Fig.12Schematic diagram of A*trajectory andcharacteristic trajectory3.2船舶局部动态路径规划效果分析3.2.1仿真环境设置为充分说明此船舶局部路径规划的效果，选取三峡段中庙河附近水域作为具体仿真试验环境。在全局规划航迹中设置对遇风险局面见图13，此时，若不进行局部路径修正，两船舶将会碰撞。图13对遇风险局面Fig.13Schematic diagram of local risks in scenario船舶要先激活基于DDPG的避障模型,并进行训练，当感知到前方无风险时，激活DQN的回归模型尽心训练。本文将船长的1/2 作为距离阈值判断是否完成局部路径回归。3.2.2仿真结果分析对基于DDPG的局部路径避碰方法和基于DQN的局部路径回归方法进行2 0 0 0 回合训练，Critic部分和DQN的损失奖励曲线见图14。402530201105020040060080010000100002000030000训练步数/步训练步数/步(a）Cr i t i c 损失曲线(b)DQN的损失曲线0-2-4-6-80500100015002000训练步数/步（c）平均奖励曲线图14DDPD和DQN的损失奖励曲线Fig.14Loss reward curves for DDPD and DQNDDPG中Critic部分的损失误差是该部分的反向传播误差，也是Actor部分的更新权重，指导着动作策略更新的偏好。训练完成后，Critic部分的损失趋于稳定，整个训练过程趋于稳定收敛，DQN模型也稳定地学习到所需知识。由图14可知：在训练过程中，船舶行为不再受到惩罚，动作决策逐步合理。结合损失曲线的效果，可认为训练模型已稳定学习到局部路径规划任务下的目标趋向能力。下转第51页）中第47 卷第1期国海航44将训练后的稳定模型进行试验复现，并分别可视化将路径规划仿真试验的最终结果。为进一步证明该方法的效果，设置了交又场景的试验场景，并进行泛化试验，局部路径规划结果示意见图15。(a）会遇局面(b)交叉相遇图15局部路径规划结果示意Fig.15Schematic diagram of local path planning results图15中：在特定的局部内河障碍规避情景下，基于DDPG的局部路径规划方法模型实现障碍规避的任务目标，基于DQN的局部路径规划方法模型实现目标趋向的任务目标，最终实现局部路径修正。4结束语本文先对某一季节的AIS数据进行相应的预处理，得到一批数据质量较高的船舶轨迹数据。运用K-means 聚类算法将船舶历史AIS 中的相应信息进行聚类,得到一条特征轨迹作为船舶在该季节的全局静态规划轨迹,并验证其安全性与合理性。此外，本文详细设计基于强化学习的船舶局部动态路径规划方法，该方法包括基于DDPG算法的局部路径避障方法和基于DQN算法的局部路径回归方法，并通过仿真试验验证该方法在不同场景下的避障性能。该方法结合船舶历史航行属性，在保证船舶安全航行的同时也降低了运算要求。但针对船舶的不同速度情况等其他运动状态的避碰情况暂未考虑，未来可根据船舶的详细运动性能对该方法进行重新设计。同时，也可对船舶相互避碰等行为或者季节对船舶航行特征的具体影响进行相应的研究。参考文献1曹德胜加快建设高素质船员队伍促进航运业高质量发展J.中国海事，2 0 2 1（8）：8-9.CAO D S.Acceleratethehigh-qualifiedcrewconstruction,and promote the high quality shippingindustry development J.China Maritime Safety,2021(8):8-9.(in Chinese)2杨哗，田勇构建内河国际集装箱物流体系J哈尔滨商业大学学报（社会科学版），2 0 13（3）：56-6 2.YANG Y,TIAN Y.The design of the inlandinternational container logistics system J.Journal ofHarbinUniversity of Commerce（So c i a l ScienceEdition),2013(3):56-62.(in Chinese)3杜威，丁世飞多智能体强化学习综述J计算机科学,2 0 19,46(8)：1-8.DU W,DINGGSF.Overviewonnmulti-agentreinforcement learning J.Computer Science,2019,46(8):1-8.(in Chinese)4ZHANG R,WANG X,LIU K,et al.Ship collisionavoidance using constrained deep reinforcement learning C/2018 5th International Conference on Behavioral,Economic,and Socio-Cultural Computing(BESC).NewYork:IEEE,2018:115-120.5CHENG Y,ZHANG W.Concise deep reinforcementlearning obstacle avoidance for underactuated unmannedmarine vesselsJ.Neurocomputing,2018,272(2):63-73.6KIM D H,LEE S U,NAM J H,et al.Determination ofship collision avoidance path using deep deterministicpolicy gradient algorithm J.Journal of the Society ofNaval Architects of Korea,2019,56(1):58-65.7XU H,WANG N,ZHAO H,et al.Deep reinforcementlearning-based path planning of underactuated surfacevessels J.Cyber-Physical Systems,2019,5(1):1-17.8唐国磊，赵宇迪，宋向群，等基于AIS数据的集装箱船舶典型运动轨迹研究J港工技术，2 0 18,55(6):6-9.T