基于PointNet++的机器人抓取姿态估计_阮国强.pdf

2023 年第 5 期仪 表 技 术 与 传 感 器InstrumentTechniqueandSensor2023No 5基金 项 目:国 家 重 点 研 发 计 划“智 能 机 器 人”重 点 专 项(2018YFB1307100);安徽省教育厅科学研究重点项目(KJ2020A0364)收稿日期:20221101基于 PointNet+的机器人抓取姿态估计阮国强1，曹雏清1，2(1 安徽工程大学计算机与信息学院，安徽芜湖241000;2 哈尔滨工业大学芜湖机器人产业技术研究院，安徽芜湖241000)摘要:为解决在无约束、部分遮挡的场景下对部分遮挡的物体生成可靠抓取姿态的问题，基于PointNet+网络改进了一种抓取姿态估计算法，该算法可直接从目标点云中生成二指夹具的抓取姿态。由于该算法降低了抓取姿态的维度，将抓取的7 自由度问题转变成4 自由度问题处理，从而简化学习的过程加快了学习速度。实验结果表明:该算法在无约束、部分遮挡的场景中，能够生成有效的抓取姿态，且较 Contact-GraspNet 算法成功抓取率提升了约 12%，能够应用于家用机器人的抓取任务。关键词:点云;位姿估计;抓取估计;深度学习;损失函数中图分类号:TP391文献标识码:A文章编号:10021841(2023)05004405obot Grasping Attitude Estimation Based on PointNet+UAN Guo-qiang1，CAO Chu-qing1，2(1 School of Computer and Information，Anhui Polytechnic University，Wuhu 241000，China;2 Harbin Institute of Technology Wuhu obot Technology esearch Institute，Wuhu 241000，China)Abstract:In order to solve the problem of generating reliable grasp attitude for partially occluded objects in unconstrainedand partially occluded scenes，this paper proposed a grasping attitude estimation algorithm based on PointNet+network The al-gorithm can directly generate two finger gripper grasp attitude from the target point cloud Because the algorithm reduced the di-mension of grasping attitude，it transformed the problem of 7 degrees of freedom into the problem of 4 degrees of freedom，acceler-ating the rate of learning by simplifying the process Experimental results show that the algorithm can generate effective grab atti-tude in unconstrained and partially occluded scenes，and improves the grabbing rate prediction by about 12%compared with Con-tact-GraspNet，which can be used for grabbing tasks with home robotsKeywords:point cloud;pose estimation;grasp estimation;depth learning;loss function0引言智能机器人在执行抓取任务时需要获取目标的位姿，而常用的位姿获取方法有经验法和深度学习方法。经验法可分为基于模型的方法和数据驱动的方法:基于模型的方法主要针对模型已知物体，即预知数据或者通过测量获得的 3D 模型12，而在实际应用中很难了解物体精确的 3D 模型;基于数据驱动的方法37 主要是利用监督学习获取目标特征，如 V Fer-rari 等8 提出使用由 k 个连接的直线轮廓线段作为局部特征用于物体类检测，由于人工提取特征通常只针对特定场景，所以该方法的泛化性不够强。基于深度学习方法是通过大量图片数据集训练出映射模型，通过该模型可将图像数据映射到1 个或多个抓取位姿表示，如康奈尔大学的 I Lenz 等9 设计了一个以 GBD 图像为输入的两级级联神经网络用于机器人抓取，以获取目标的最优抓取位置;华盛顿大学的 J ed-mon 等10 将目标检测的 onestage 思路引入抓取检测问题中，输入 GB 图片后经过 AlexNet 模型直接输出抓取框的位置;中科院自动化所的闫哲等11 将目标检测引入 Lenz 的方法中，先获取图像中目标物体的类别和位置，再去获得物体的最佳抓取位置;文献 12提出一种 DenseFusion 的通用框架，用于从 GB 图像和深度图像中估计物体的 6D 位姿。这些方法将可能的抓取空间限制为平面抓取，而面向平面抓取会导致大量可能的机器人抓取和机器人的全运动学能力被忽略。考虑到从图像信息中获取物体的姿态再执行抓取时抓取位置的选择不当导致抓取失败，因此，本文提出基于点云1315 直接预测抓取姿态的网络，该网络从目标场景的点云出发，直接预测场景中物体的抓取姿态。由于直接对点云进行姿态估计的计算量较大，因此本文将 7 自由度的抓取姿态问题简化成 4 自由度问题解决，并实现直接从杂乱、部分遮挡的场景第 5 期阮国强等:基于 PointNet+的机器人抓取姿态估计45中估计物体的抓取姿态。1抓取姿态分析在执行抓取任务中，获取目标场景中由物体的 3自由度的空间平移、3 自由度的空间旋转和抓取宽度所组成的 7 自由度抓取姿态是较为不易的，这是因为这种抓取分布是不连续、不平衡的，且由于物体之间存在相互遮挡的现象从而使得抓取分布不准确。为了解决这个问题，本文的抓取姿态获取是利用二指夹具的抓取特点将抓取范围约束在一定范围内，再通过 PointNet+16 网络获取夹具与物体的接触点(p)，夹具接近方向(m)、基线方向(n)和抓取宽度(w)，从而将抓取姿态的 7 自由度问题转换成 4 自由度问题即 p，m，n，w 这 4 个方面的问题。通过确定 p、m、n、w，来获取 7 自由度抓取姿态 G=gw，g 为接触点对应的位姿。夹具的具体抓取表示如图 1 所示。与估计抓取姿势的其他方法相比，由于将抓取姿态约束在二指夹具的范围上从而降低抓取的维度，简化了学习过程，进而使训练的速度变快，同时也提高了预测抓取姿势的精度。在测试时，我们可以通过采样覆盖场景或对象的整个可观察表面接触点来获取抓取方案，从而很好地预测 7 自由度抓取姿态。由于PointNet+网络具有有效的处理点云和在局部区域中按层次提取点及其特征的能力，且这种预测抓取方式可以与输入点云中的点相互关联，所以在进行抓取图 1二指夹具抓取表示姿态估计时使用了这些功能。2抓取网络面对由多个未知物体所组成的场景，从多个角度生成 7 自由度抓取的问题中，本文使用三维点云数据作为输入并生成相应的抓取姿态。由于需要对点云信息进行特征提取，故本文采用 PointNet+网络作为主干网络，并提出了一种抓取姿态估计算法，该算法获取目标抓取姿态的4 自由度信息从而计算出抓取姿态。接触点的思路借鉴了文献 17提出的 Contact-GraspNet 并在其基础上进行了改进优化，本文在 Con-tact-GraspNet 的基础上将估计的抓取姿态和宽度加入到训练中进行优化。算法结构如图2 所示。算法网络分成特征提取、特征维度调整、位姿获取。图 2算法网络结构2 1点云特征提取先对场景点云进行特征提取，其提取过程如下:首先使用最远点采样(FPS)方法对目标点云数据进行采样，使用球分组方法对采样到的点进行分组，然后使用PointNet 网络对每一组点进行特征提取，再将提取到的特征进行最大池化，从而获取目标点云的全局特征。2 2特征维度调整将提取到的全局特征使用向上插值和拼接，使获取的全局特征传播到采样的点上，并使用多层感知器(MLP)调整输出的特征维度。2 3位姿获取将采样得到的点作为 p，并使用接触点对应的特征去预测 m、n、w 以及对应的成功抓取率(d)。先利用获取的 m 和 n 计算出抓取的旋转矩阵 S，再利用获取的 p、m、n 计算出抓取的平移矩阵 T，最后利用 S、T、w 来计算物体的抓取位姿。计算抓取的旋转和平移矩阵的公式如下:S=?n，?m?n，?m(1)46Instrument Technique and SensorMay 2023T=p+w2?n+l?m(2)式中:p 为夹具与物体的接触点;m 为接近方向向量，|m|=1;n 为基线方向向量，n=1;l 为夹具基线到夹具底座的恒定距离。m 和 n 的获取将在 3 2 节中详细阐述。3模型训练3 1数据集的生成对于模型训练和测试的场景数据是由 ACO-NYM18 数据集和 ShapNetSem1920 网格数据集通过在随机稳定姿势下进行放置生成的 10 000 个桌面场景。其中，ACONYM 数据集包含 1 770 万个平行夹具抓取，跨越 262 个不同类别的 8 872 个对象，每个对象都标有从物理模拟器获得的抓取结果;ShapNetSem网格数据集是一个注释丰富的大规模 3D 形状数据集由 12 000 个模型组成，分布在更广泛的 270 个类别中。本文所用的实验场景都是由数据合成而来，不是真实场景，且每个训练场景中的数据都包含夹具与场景中物体的接触点、成功率和抓取位姿等信息，用于后续的模型训练。3 2训练过程抓取网络模型的训练在服务器(操作系统:Ubun-tu 18 04 LTS，CPU:Intel Xeon 4210 2 4GHz，GPU:NVIDIA GeForce A40)上进行。本文从随机生成的10 000 个桌面场景中随机选择 9 000 个作为训练集，并使用 Adam 优化器在训练过程中对参数进行迭代优化，该优化器的优点在于实现简单、计算高效，对于内存的需求不大，且能够自动调正学习率，适合应用于大规模的数据及参数的场景。训练过程中，优化器初始学习率为 0 001，逐步衰减率为 0 000 1，epochs 为 16。将场景中的物体索引和 ShapNetSem 网格数据集中对应的网格模型渲染成点云集 C=c1，cn，并给每个点赋予成功抓取率，i=1，nd=1minjcipj2r0其他(3)式中:pjC 是非碰撞真实的抓取接触点;r=5 mm 是接触点的最大传播半径。由式(3)将点云集 C 分成两部分:负接触点 C=cidi=0，即在传播半径范围之外的点;正接触点C+=cidi=1，即在传播半径范围之内的点。对于正接触点 C+可以得到每个点对应的旋转矩阵 Si和平移矩阵 Ti，公式如下:SiTiw=SiC+wj2?nj+l?mjwi(4)式中 j 为距离正接触点最小距离的真实抓取点的索引。使用 PointNet+中的特征提取层和特征传播层来构建非对称的 U 型网络。该网络取 20 000 个随机点作为输入，为了确保 GPU 有足够的内存，所以仅从这些输入中预测 2 048 个最远点的抓取点，且预测的抓取点能够覆盖到整个场景中。该网络有 4 个输出分类，针对每个接触点输出 d、a、b 和 k，根据 4 个分类的输出数据计算出所需的抓取表示。将预测的宽度 w 0，wmax 分成 10 个等距抓取框 k，用以抵消数据不平衡。wi由成功抓取率最高的 k 的中心值表示。已知m 和 n 相互正交，使用施密特正交归一化将预测结果加入到训练中，其公式如下:?n=bb?m=a?n，a?na(5)由式(5)可知，预测的 m 是与 n 正交的分量，并经过正交归一化进一步降低了预测抓取表示的维数，加快了对旋转矩阵的获取。3 3损失计算使用二元交叉熵的方法来评估每个预测接触点 c的成功抓取率 d。对于抓取姿态的预测仅在正接触点C+处进行评估，将预测到的数据与 7 自由度抓取姿势G 结合，因此定义了 5 个关于夹具的 3D 点 O，并且考虑到夹具的对称问题，在取夹具的 3D 点时使 0 用对称和非对称的两种方法获取夹具的关键点，并对获取到的关键点使用式(6)进行变换得到真实和预测的抓取姿势，关键点如图 2 中圆点所示。Oti=OSTi+TiOpi=OSTi+Ti(6)对于 Oti和 Opi，使用加权最小平均距离计算 7 自由度抓取损失 ladds。ladds=1xxidiminOpi Oti2(7)式中:x 为正接触点 C+的数量;并使用预测的 d 加权到每个预测抓取点到真实抓取点的距离。在 Contact-GraspNet 的基础上还增加了抓取估计的损失计算，使用交叉熵损失函数对抓取姿态进行损失计算:lg=1xni dilng+(1 di)ln(1 g)(8)第 5 期阮国强等:基于 PointNet+的机器人抓取姿态估计47当 d=1 时，该抓取为成功抓取;反之，d=0 时，为失败抓取;g 为接触点对应的位姿。训练过程中所使用的损失公式能够学习真实抓取分布的不同模式;由于 d 是对每个接触点进行加权使得将接触点分类和抓取姿态预测结合，只有当预测的抓取姿态接近真实的抓取姿态时接触点的成功抓取率才会增加;错误的抓取预测产生在远离真实抓取的区域，可以避免更大的损失产生。对于抓取宽度的预测上，使用加权二元交叉熵，将框的损失和大小成反比的关系加权到损失计算中。总损失为:l=(lm+ln+loff)+ladds+lg式中:=1;=10;=0 5。4实验结果和分析在整个网络训练完成后，本文的算法和 Contact-GraspNet 算法的损失值变化如图 3 所示。图 3训练损失对比由图 3 可知，尽管本文的算法比 Contact-GraspNet的初始损失要高，但是在训练过程中本文算法的损失收敛速度更快，损失值也更低。在训练完成后需要测试训练网络模型的优越性，此时从 1 000 个测试场景中随机选取 500 个场景进行测试，并比较每个场景中所有成功抓取率的平均值，结果如图 4 所示。图 4平均成功抓取率对比由图 4 可知，本文的算法在整个场景中所有抓取的平均成功抓取率比 Contact-GraspNet 更高。虽然本文算法的测试和训练所使用的场景数据都是通过模型合成的数据，但是在真实的场景进行测试时仍然可以有效生成抓取姿态。利用 Kinect 相机获取真实场景的 GB 和深度图，再对现实场景中物体的进行抓取姿态预测。Kinect 相机如图 5 所示，预测结果如图 6 所示。图 5Kinect 相机在使用相同数据集的情况下，与其他抓取姿态估计算法进行现实场景中物体的成功抓取率对比，比较图 6真实场景测试结果结果如表 1。表 1不同算法的物体成功抓取率%算法平均成功率最高成功率最低成功率6DOF GraspNet21 35 750 419 3文献 21+CollisionNet22 42 159 745 0Contact-GraspNet17 43 261 025 0本文55 274 044 0从表 1 中可以观察到，本文的算法与文献 17、文献 21 和文献 22 相比明显预测的平均成功率更高，虽然本文的算法是在 Contact-GraspNet 的基础上改48Instrument Technique and SensorMay 2023进优化而来，但由于将抓取过程中获取物体的宽度以及抓取的预测姿态加入到网络中，使得在训练过程中可以进一步对抓取姿态进行筛选使得对部分遮挡物体的抓取姿态获取结果更好。5结束语在执行抓取任务过程中所遇到的物体杂乱分布、部分遮挡问题，基于 PointNet+网络改进了一种抓取姿态估计算法。本文使用二指夹具来约束执行抓取任务的抓取空间，从而将获取 7 自由度抓取姿态问题转变成获取 p，m，n，w 的4 自由度问题，加快了学习效率。本算法既可以直接对目标场景进行整体的抓取估计，也可以结合场景的实例分割实现不同物体的精确抓取估计。实验结果表明，本算法仅通过对合成数据的学习就可以直接迁移到现实场景进行测试，该算法可应用于家庭服务机器人的抓取任务，接下来的工作需要搭建机器人抓取平台进行实验用以验证算法的实时性和鲁棒性。参考文献:1MILLE A T，KNOOP S，CHISTENSEN H I，et al Auto-matic grasp planning using shape primitives C/Proceed-ings of the 2003 IEEE International Conference on oboticsand Automation(ICA)IEEE，2003:1419 2 桑晗博，林巍峣，叶龙 基于深度三维模型表征的类别级六维位姿估计J 中国传媒大学学报(自然科学版)，2022，29(4):5056 3 贾瑞明，李彤，刘圣杰，等 单目视觉的深度与位姿联合预测网络J 计算机应用与软件，2021，38(12):155160;186 4 余玉琴，魏国亮，王永雄 基于改进 YOLOv2 的无标定 3D机械臂自主抓取方法J 计算机应用研究，2020，37(5):14501455 5 曲睿，李勇，双丰，等 基于 GBD 图像的机械臂视觉抓取算法及系统 J 激光与光电子学进展，2022，59(14):273283 6 许鲜，陈宁，陈玉鹏 基于深度学习的平面位姿估计算法 J 集美大学学报(自然科学版)，2022，27(4):339347 7 罗志斌，项志宇，刘磊 无监督单目图像深度和位姿估计算法优化 J 传感器与微系统，2022，41(7):110113 8FEAI V，FEVIE L，JUIE F，et al Groups of adja-cent contour segments for object detection J IEEE Trans-actions on Pattern Analysis and Machine Intelligence，2007，30(1):3651 9 LENZ I，LEE H，SAXENA A Deep learning for detecting ro-botic graspsJ The International Journal of obotics e-search，2013，34(4/5):705724 10EDMON J，ANGELOVA A eal-time grasp detection u-sing convolutional neural NetworksC/InternationalConference on obotics and Automation IEEE，2014 11 闫哲，杜学丹，曹淼，等 基于深度学习的机器人抓取位置检测方法 J 高技术通讯，2018，28(1):5866 12 WANG C，XU D，ZHU Y，et al Densefusion:6d object poseestimation by iterative dense fusionC/Proceedings ofthe IEEE/CVF conference on computer vision and patternrecognition 2019:33433352 13 李少飞，史泽林，庄春刚 基于深度学习的物体点云六维位姿估计方法 J 计算机工程，2021，47(8):216223 14 余峰，陈新元 基于多传感器融合的柔性机械臂姿态检测与末端定位研究 J 仪表技术与传感器，2020(1):8386;91 15 翟敬梅，黄乐 堆叠散乱目标的 6D 位姿估计和无序分拣 J 哈尔滨工业大学学报，2022，54(7):136142 16 QI C，YI L，SU H，et al Pointnet+:Deep hierarchicalfeature learning on point sets in a metric spaceJ Ad-vances in Neural Information Processing Systems，2017，30:50995108 17SUNDEMEYE M，MOUSAVIAN A，Triebel，et al Con-tact-graspnet:Efficient 6dof grasp generation in clutteredscenes C/2021 IEEE International Conference on oboticsand Automation(ICA)IEEE，2021:1343813444 18EPPNE C，MOUSAVIAN A，FOX D Acronym:A large-scale grasp dataset based on simulation C/2021 IEEEInternationalConferenceonoboticsandAutomation(ICA)IEEE，2021:62226227 19SAVVA M，CHANG A X，HANAHAN P Semantically-en-riched 3D models for common-sense knowledge C/Pro-ceedings of the IEEE Conference on Computer Vision andPattern ecognition Workshops2015:2431 20CHANG A X，FUNKHOUSE T，GUIBAS L，et al Shap-enet:An information-rich 3d model repositoryJ arXivpreprint arXiv:1512 03012，2015 21MOUSAVIAN A，EPPNE C，FOX D 6dof graspnet:Varia-tional grasp generation for object manipulationC/Pro-ceedings of the IEEE/CVF International Conference on Com-puter Vision2019:29012910 22MUALI A，MOUSAVIAN A，EPPNE C，et al 6dofgrasping for target-driven object manipulation in clutter C/2020 IEEE International Conference on oboticsand Automation(ICA)IEEE，2020:62326238作者简介:阮国强(1998)，硕士研究生，主要研究方向为机器人技术。E-mail:2197157752 qq com曹雏清(1982)，高级工程师，硕士生导师，主要研究方向为智能机器人视觉感知。E-mail:caochuqing hitrobot com cn