基于深度学习的RGB图像目标位姿估计综述.pdf

2023 08 10计算机应用,Journal of Computer Applications2023,43(8):2546-2555ISSN 10019081CODEN JYIIDUhttp：/基于深度学习的RGB图像目标位姿估计综述王一1，2，谢杰1*，程佳1，豆立伟2，3（1.华北理工大学 电气工程学院，河北 唐山 063210；2.唐山市金属构件产线智能化技术创新中心，河北 唐山 063210；3.唐山贺祥智能科技股份有限公司，河北 唐山 063000）（通信作者电子邮箱）摘要：6自由度（DoF）位姿估计是计算机视觉与机器人技术中的一项关键技术，它能从给定的输入图像中估计物体的6DoF位姿，即3DoF平移和3DoF旋转，已经成为机器人操作、自动驾驶、增强现实等领域中的一项至关重要的任务。首先，介绍了6DoF位姿的概念以及基于特征点对应、基于模板匹配、基于三维特征描述符等传统方法存在的问题；然后，以基于特征对应、基于像素投票、基于回归和面向多物体实例、面向合成数据、面向类别级的不同角度详细介绍了当前主流的基于深度学习的6DoF位姿估计算法，归纳整理了在位姿估计方面常用的数据集以及评价指标，并对部分算法进行了实验性能评价；最后，给出了当前位姿估计面临的挑战和未来的重点研究方向。关键词：6自由度位姿估计；位姿估计数据集；位姿估计评价方法；深度学习；计算机视觉；工业机器人中图分类号：TP242.2；TP242.62 文献标志码：AReview of object pose estimation in RGB images based on deep learningWANG Yi1，2，XIE Jie1*，CHENG Jia1，DOU Liwei2，3（1.College of Electrical Engineering，North China University of Science and Technology，Tangshan Hebei 063210，China；2.Tangshan Technology Innovation Center of Intellectualization of Metal Component Production Line，Tangshan Hebei 063210，China；3.Tangshan Hexiang Intelligent Technology Company Limited，Tangshan Hebei 063000，China）Abstract:6 Degree of Freedom（DoF）pose estimation is a key technology in computer vision and robotics，and has become a crucial task in the fields such as robot operation，automatic driving，augmented reality by estimating 6 DoF pose of an object from a given input image，that is，3 DoF translation and 3 DoF rotation.Firstly，the concept of 6 DoF pose and the problems of traditional methods based on feature point correspondence，template matching，and three-dimensional feature descriptors were introduced.Then，the current mainstream 6 DoF pose estimation algorithms based on deep learning were introduced in detail from different angles of feature correspondence-based，pixel voting-based，regression-based and multi-object instances-oriented，synthesis data-oriented，and category level-oriented.At the same time，the datasets and evaluation indicators commonly used in pose estimation were summarized and sorted out，and some algorithms were evaluated experimentally to show their performance.Finally，the challenges and the key research directions in the future of pose estimation were given.Key words:6-degree of freedom pose estimation;pose estimation dataset;pose estimation evaluation method;deep learning;computer vision;industrial robot0 引言 随着近年来深度学习的快速发展，基于深度学习的工件位姿测量在现代自动化工厂中变得十分重要。目标位姿包括物体 3 自由度（Degree of Freedom，DoF）的平移和 3DoF 的旋转，是自动化工厂中工业机器人执行抓取、放置、装配等任务的核心要素之一。能否对工件进行准确的位姿估计，获得工件在相机坐标系下的位置和姿态，对推动工业智能化有着重要的意义。在基于视觉的实际装配中，由于作业场景中很少存在严重遮挡和截断的情况，待测目标经常被约束在可以看作成 2维（2D）平面的一个空间中，待测目标 6DoF位姿可以被表示为二维平面内的平移和旋转，因此利用点特征对应和线特征1对应的传统2D特征对应方法能有效解决位姿估计问题。随着工业需求的不断增长，单一场景、单一物体的位姿估计并不能满足复杂的任务需求，而传统的方法在面对场景混乱、物体之间存在严重堆叠情景时难以准确估计出物体位姿，故研究者将目光转向了在目标检测和识别方面具有突破进展的深度学习。深度学习方法是如今机器视觉领域中最具有研究价值的方向之一，相较于传统方法计算效率更高，且对传感器噪声、背景杂波以及环境变化具有更高的鲁棒性，也成为今后位姿估计任务中的重要研究方向2。本文通过对近几年来面向工业生产中的基于RGB图像文章编号：1001-9081（2023）08-2546-10DOI：10.11772/j.issn.1001-9081.2022071022收稿日期：20220713；修回日期：20221104；录用日期：20221107。基金项目：河北省高等学校科学研究项目（ZD2022114）；唐山市科技计划项目（21130212C）。作者简介：王一（1981），男，河北唐山人，副教授，博士，主要研究方向：机器视觉感知、图像处理、精密测量；谢杰（1996），男，河北张家口人，硕士研究生，主要研究方向：工业机器人、视觉感知；程佳（1982），女，河北唐山人，实验师，硕士，主要研究方向：仪器仪表检测技术、自动化装置；豆立伟（1983），男，河北唐山人，助理工程师，主要研究方向：机械设计制造及其自动化。第 8 期王一等：基于深度学习的RGB图像目标位姿估计综述的6DoF位姿估计算法分析，整理了各算法在公开数据集上的表现，重点突出各算法的基本内容、优缺点、6DoF位姿估计方面的常用数据集。1 基于计算机视觉的传统目标位姿估计 目标位姿包括目标的位置和姿态两个部分，目标位姿估计是指求解目标所在坐标系相较于相机坐标系之间的平移和旋转关系。基于视觉的目标位姿估计方法一般经过特征提取和目标位姿信息求解两个阶段3。传统的目标位姿估计一般分为 3种方法：1）基于特征点对应的方法：该方法在已知相机内参和n个特征点对应的图像2D坐标和空间3D坐标，利用透视投影变换（Perspective-n-Point，PnP）求解目标在相机坐标系下的坐标，进而得到世界坐标系与相机坐标系的变换关系。求解分为两个部分：首先是特征提取部分，对于纹理特征明显的目标，通常使用尺度不变特征变换（Scale-Invariant Feature Transform，SIFT）4、SURF（Speed Up Robust Feature）5、ORB（Oriented FAST and Rotated BRIEF）6等方法；对于弱纹理特征则需要对目标进行人工点对的设置，建立 2D-3D 对应关系。其次是位姿解算部分，分为以牛顿法（Newton Method）、L-M（Levenberg-Marquardt）、比例正交投影迭 代 变 换 算 法（Pose from Orthography and Scaling with Iterations，POSIT）7、正交迭代（Orthogonal Iteration，OI）8为代表的迭代算法和以 EPnP（Efficient Perspective-n-Point）9、直接线性变换（Direct Linear Transform，DLT）10为代表的非迭代算法。但这两种方法在求解表面纹理不明显的目标时所得位姿并不准确，甚至在无纹理的情况下难以进行位姿求解。2）基于模板匹配的方法：利用OpenGL等渲染工具对目标的三维模型拍摄不同视角，提取各视角下模型的边缘、表面曲率、轮廓等参数信息，对目标物体进行充分采样后形成模板库。在位姿求解时，先粗配准，即将拍摄的目标图像与模板库中的模板进行查询匹配，若匹配误差比设定的阈值小时，把该模板的位姿信息作为待估计目标的粗位姿；接着使用迭代最近点（Iterative Closest Point，ICP）等方式进行位姿的细配准，其中最著名的为 LineMod11模板匹配法，该方法提供的 LineMod 数据集如今仍被广泛使用。针对纹理特征不明显的目标时，基于模板匹配的方法具有较强的鲁棒性，但难以处理具有严重遮挡的目标。3）基于三维特征描述符的方法：首先通过三维扫描仪或者 RGB-D 相机获取目标点云信息，利用3D-3D点对求解目标位姿。根据特征描述符的类别可分为全局特征描述符和局部特征描述符：在全局特征描述符方面，受关注的算法有基于快速点特征直方图描述符（Fast Point Feature Histogram，FPFH）12；在局部特征描述符中，受 关 注 的 算 法 有 基 于 点 对 特 征 描 述 符（Point Pair Feature，PPF）13，利用点间距、法向量等数学语言表征出待测目标模型表面的边缘、线条等多种特征，得到准确的 3D-3D 点对。接着采用随机抽样一致算法（RANdom SAmple Consensus，RANSAC）或霍夫投票（Hough Voting）等方式位姿粗配准。最后采用ICP等方式细配准。另外基于数据驱动的传统机器学习方法也被应用在目标位姿估计中。如文献14中采用霍夫投票机制和文献 15 中训练随机森林分类器求解目标位姿。传统的目标位姿估计方法存在很多不足，当待测目标表面纹理不明显时，基于特征点方法的位姿估计精度并不能满足工业任务需求；基于模板匹配的方法虽然能很好地解决无纹理或弱纹理的问题，但难以估计目标存在遮挡或截断时的位姿；基于三维特征描述符的方法由于结合了深度信息，对光照敏感，故不适合用于室外，比较适合室内场景的应用。2 基于深度学习的目标位姿估计 在背景混乱、表面纹理特征不足和物体之间存在严重遮挡和截断时，传统的目标位姿估计将变得不再具有鲁棒性，引入深度学习的方法可以很好地解决这一问题。基于深度学习的位姿估计方法按照在训练集上进行训练的输入数据格 式 可 以 划 分 为 基 于 RGB、RGB-D、点 云 数 据 的 方 法。RGB-D数据需要依赖目标的深度信息，当深度信息出现错误或者缺失时，位姿求解将不能进行；另外，点云数据受光照影响较大和数据噪点较多，对位姿估计的准确度会有一定影响。在工业生产线上，考虑成本和工况的情况下，大多利用视觉辅助机器人完成各项复杂的操作任务，并且从单张RGB图像中估计感兴趣目标的 3D位置和 3D旋转的方法在速度和精度上都有着不错表现。本章对基于RGB图像的深度学习位姿估计方法进行更深入的讨论，给出这些方法的主要思路以及优缺点。2.1基于特征对应的位姿估计基于特征对应的方法是在已知目标的完整3D模型情况下，将输入的RGB图像的2D像素点与之对应，从而从2D-3D对应关系中恢复目标的位姿。该方法主要针对表面具有丰富纹理的目标，通常需要对得到的粗位姿进一步细化获得最终位姿，不足的是对具有对称性的物体位姿估计效果不好。BB816、YOLO-6D17通过将 3D包围框的顶点投影到 2D平面上，得到 3D-2D 的点对关系，之后利用 PnP 求解目标的位姿。BB8将6DoF位姿估计任务分为目标定位和位姿预测两个阶段。在对图像中目标定位时先采用粗分割的方法，目的是将图像背景和待测目标分离。首先，将图像大小调整为512384的RGB图像作为网络的输入，再将图像分割为128128 的图像块；接着将图像块输入到 VGG（Visual Geometry Group）18分类网络中，得到 88的图像块分类结果，此过程可被视作为一个二分类的问题。然后，对图像块评分，将大于设定阈值的图像块视作待测目标，同时将分割中心作为目标的2D中心点。之后，采用细分割的方法将包含最大物体区域的图像部分进行重新调整，将调整完的大小为1616图像块输入到拥有 2个卷积层和 2个池化层的第 2个网络，得到与粗分割类似的6468的图像。接着，根据细分割的结果得到3D包围框，进一步得到目标的中心点。在对目标进行位姿预测时，利用第一阶段粗细分割得到的目标中心点的位置，裁剪出以该点为中心的图像块并输入到第2个VGG网络中，输出为目标的 3D 包围框的 8 个顶点对应的 2D 投影坐标。根据 8 组 3D-2D 的点对，利用 PnP 求解目标的 6DoF 位姿。最后，训练每个物体的卷积神经网络（Convolutional Neural Network，CNN）来提高位姿估计的准确度。从整个过程中可以看出该方法的多阶段性，且并不是端到端的网络，采取粗细分割策略导致推理耗时；另外只是粗略地估计目标的位姿，需要进一步细化提高精度。与BB8不同的是，YOLO-6D是一种端到端的模型，并不需要将6DoF位姿检测网络分为粗配准和细配准两阶段，而2547第 43 卷计算机应用是基于YOLO系列提出一种新的CNN检测网络，不仅能准确预测目标2D位置，还能对存在目标的区域进行高置信度值的预测，对不存在目标的区域赋予低置信度值。在预测目标位姿时，BB8 利用 3D 包围框的 8 个顶点与顶点坐标对应的2D投影点，而YOLO-6D多了一组包围框的中心点与中心点对应的2D投影点，这增加了检测的泛化性，可以适应任意形状的刚性三维物体。最后根据9组3D-2D点对，利用PnP求解目标位姿。文献 19 中在YOLO-6D基础上提出最小尺寸点模型，它的原理也是利用物体3D包围框的8个顶点和1个中 心 点，并 加 入 了 ArUco（Augmented reality University of cordoba）标记码作为视觉辅助手段确定待测物体的位置和姿态。DPOD20是一种3D物体检测和位姿估计的方法，分为多类别的实例物体逐像素预测和3D模型点的对应图的分类两个关键部分。首先在2D-3D对应模块中对输入的RGB图像进行编码操作，之后利用3个解码器得到像素沿着图像的水平方向的位移 U、像素沿着图像的垂直方向的位移量 V、ID-Mask。对应模块输出的是经 U、V 组合的 2D-3D 的映射，ID-Mask实现多个物体类别的分割。在位姿估计块中，通过组合 ID-Mask 和物体的 3D 模型以及得到的 2D-3D 对应，采用PnP 和 RANSAC 进行位姿估计，最终输出物体的变换矩阵，即平移矩阵和旋转矩阵，由于采用后续的位姿细化操作，比较耗时。DPOD 方法优点是与需要高精度的注释工具和大量注释工作的稠密位姿相比，该方法是无注释的，仅需要创建物体的任意 UV纹理贴图。另外，与 iPose21不同，该方法将分割和3D坐标回归统一到端到端的网络中，且不回归3D坐标，而是回归UV图。利用 PnP求解位姿被广泛应用在从给定的 RGB图像中恢复目标6DoF位姿的任务中，如何结合深度学习提出基于PnP 的端到端的估计网络是非常值得研究的问题。文献 22 中提出 BPnP（Backpropagating Perspective-n-Points）网络结构，通过将PnP的残差反向传播给神经网络来指导神经网络的参数更新，并在深度模型中插入BPnP，使得该模型可以从训练集中学习相机内参和外参。针对 PnP问题中的解在某些点上不可微分，导致训练困难和难以收敛的问题，文献23中 提 出 基 于 PnP 的 概 率 层 EPro-PnP（End-to-End Probabilistic Perspective-n-Points），将 PnP 求解作为神经网络的一层，通过可学习的2D-3D对应关系进行端到端的位姿估计，并 在 基 于 CDPN（Coordinates-based Disentangled Pose Network）框架中获得了不错的性能。2.2基于像素投票的位姿估计在具有严重遮挡的场景中，依靠目标的局部特征信息对整体的位姿作出判断，利用每个像素或3D点对应的特征点投票，进而得到2D-3D对应关系。在投票方法中，最典型的位姿估计网络为 PVNet（Pixel-wise Voting Network）24。该网络将位姿估计任务分为利用CNN提取目标表面关键点和基于不确定性驱动的 PnP算法两个阶段。首先，在 CNN 提取关键点阶段，区别于 BB8 和YOLO-6D 使用基于目标 3D 包围框的关键点，PVNet 选择从目标图像中的每一个像素回归一个指向关键点的单位向量，因为这些包围框的顶点到目标像素的距离比较远，不仅会使定位误差偏大，还增加了关键点的检测难度。然后，输出指向物体关键点的向量场（向量场是由从像素指向某个关键点的单位方向向量组成）和语义分割图。这种方法使物体表面的关键点定位时有更小的协方差。考虑到后续的 PnP求解算法，采用最远点采样算法（Farthest Point Sampling，FPS）使关键点在目标表面上分散开来。在PnP求解阶段，给出每个关键点的空间概率分布和均值和协方差矩阵，以解决不同的关键点可能具有不同的置信度和不确定性的问题，并通过最小化马氏距离来计算6DoF位姿。但该方法在投票时只考虑了向量的方向，忽略了投票点和关键点之间的距离，而可微代理投票损失函数（Differentiable Proxy Voting Loss，DPVL）25将关键点和像素点之间的距离因素考虑在内。DPVL 通过优化投票方式使 6DoF位姿估计更准确。在估计物体的位姿时，由于物体存在严重遮挡，导致很难从被遮挡的部分直接预测目标的关键点，故选择估计每个关键点的向量场。另外，不同于PVNet，DPVL对方向向量的估计采用 感 受 野 更 大 的 深 度 神 经 网 络（Deep Neural Network，DNN），以尽可能覆盖待测目标。该方法的最大创新之处在于提出了一种被用作向量场估计的正则表达式即 DPVL。Pix2pose26是一种针对表面无纹理的目标的位姿估计方法。对于无纹理的模型，使用RGB图像预测每个物体的3D坐标，设计一种自动编码器估计3D坐标和每个像素的期望误差。然后在多个阶段中使用逐像素预测形成 2D-3D对应关系，以达到利用 PnP 和 RANSAC 直接预测 6DoF 位姿的目的。对 于 遮 挡 问 题，使 用 生 成 对 抗 网 络（Generative Adversarial Network，GAN）精确地恢复遮挡部分；对于对称问题，提出一种新的损失函数transformer loss用于3D坐标回归，通过将预测的位姿引导到最接近对称的姿势来处理对称物体的位姿估计。文献 27 中通过构造待测物体表面关键点的向量场，采用基于RANSAC的投票方法对所有向量场中各像素指向同一关键点的方向向量生成的假设进行投票，最后使用PnP估计物体位姿。2.3基于回归的位姿估计6DoF位姿估计任务中，许多方法直接从输入的 RGB图像中回归目标的位置和姿态，并通过离散化姿态空间将估计任务转化为平移、旋转子任务。SSD-6D28将 2D 目标检测网络 SSD（Single Shot multibox Detector）29扩展到3D检测和3D旋转，将包围框放置在物体周围的图像中，使用包围框的尺寸大小完成深度的估计。具体做法是采用InceptionV4网络30预测在RGB图像中的待测目标的2D包围框、类别、离散视点和平面内旋转得分，并使用合成的模型数据集进行训练，输出包含该目标最有可能的2D包围框；再使用从网络中推断出的视点和平面内旋转的得分来表示目标的 6DoF位姿。简单来说就是将 3D旋转空间分解为离散视点采样和平面内旋转，并将旋转估计任务视作分类问题。最后将在离线阶段得出的包围框信息与估计的包围框信息和旋转一起用于6DoF位姿估计。该方法对于特征丰富的目标估计结果较为准确，而对于表面存在镜面反射以及对于颜色统一和无纹理的物体估计效果不够好；最突出的问题是使用带有真实场景的真实数据进行训练，由于合成的数据存在颜色差异和受光照影响以及镜面反射的影响，效果并不是很好。针对目标受光照和存在遮挡的情况导致位姿估计不准确 的 问 题，提 出 一 种 新 的 端 到 端 的 位 姿 估 计 网 络PoseCNN31。该网络将 6DoF 位姿解耦为语义分割、平移估2548第 8 期王一等：基于深度学习的RGB图像目标位姿估计综述计、旋转估计3个子任务。首先是为输入图像中的每个像素预测一个目标标签；接着对3D平移进行预测，做法是在已知相机内参的情况下，通过定位图像中目标的中心估计待测目标与相机的距离来实现；最后是3D旋转的表示，通过将在目标3D包围框内提取到的卷积特征回归到四元数来实现。该网络的解决思路和 SSD-6D大致相同，都是将位姿估计任务解 耦 成 子 任 务。另 外，针 对 具 有 旋 转 对 称 性 的 目 标，PoseCNN提出一种新的损失函数ShapeMatch-Loss，该函数在估计的位姿和真实位姿之间计算模型的平均距离，缺点是在搜索最近3D点时非常耗时，使得训练过程效率低下。另外，PoseCNN 进 行 目 标 定 位 时 采 用 全 卷 积 网 络（Fully Convolutional Network，FCN）32进行语义分割，但难以处理输入图像中包含多个物体实例的情况。PoseCNN和SSD-6D并不是端到端的网络，只是粗略地估计目标位姿，需要进一步细化提高精度，会增加运行时间。Deep-6DPose33从单张RGB图像中检测目标并获取目标6DoF位姿，是一种端到端的深度网络学习框架。该框架通过扩展实例分割网络 Mask R-CNN34，引入位姿估计分支直接回归目标6DoF位姿，不需要任何后续的位姿细化，极大地提高了效率。针对位姿回归损失存在不可微和受约束的问题，该框架将位姿任务解耦成平移和旋转两个子任务，并通过李代数进行旋转的回归，使训练变得容易，位姿回归损失趋近于预期；但是该方法的CNN结构由6个全连接层构成，对内存的占用极大。考虑到RGB图像中待测目标的平移估计受目标位置和大小的影响，旋转估计受目标特征影响的情况，将位姿估计任务分为平移和旋转的子任务的还有基于坐标解耦的6DoF位姿估计网络CDPN35，通过预测物体的每个像素点在物体坐标系中的 3D位置，建立稠密的 2D-3D对应关系来求解位姿。利用 PnP对预测的 3D坐标进行旋转求解，利用目标在图像中的位置估计平移。该方法能够处理无纹理和遮挡的物体。2.4面向多物体实例的位姿估计许多基于深度学习的方法都是针对不同类别的物体实例进行单独训练，同时训练多个物体时会导致网络性能下降。由于在现实中通常需要对多个类别多个物体实例进行估计，大多数的方法并不适合对未曾训练的物体进行估计。针对以上问题，AAE36引入单编码器-多解码器的结构，并将此命名为多路径学习，通过训练多个3D模型的RGB视图来估计6DoF位姿。其中单编码器学习物体的公共特征，并与多解码器共享所学习到的特征。该编码以视图敏感的方式描述在训练期间图像上所有可见物体的隐式方向，并且还可以对未经训练目标的视图进行编码；之后多解码器对每个不同的实例进行处理，而且解码器可以进行扩展以应对多个实例，这极大地提高了估计的泛化性。文献 37 中提出的EfficientPose，先基于关键点检测2D目标，然后利用PnP对出现的每个物体进行位姿求解。为了解决对多物体进行估计效率低和泛化性差的问题，提出6DoF增强方法用于直接估计6DoF位姿。针对多物体实例估计任务中存在背景混乱、物体表面弱纹理而导致位姿估计不准确的问题，文献 38 中提出一种利用物体碎片模型从局部推理全局的位姿估计方法。该方法首先将待测物体的 CAD 模型分解成若干碎片，用来替代需要从不同方向获取的多视角物体信息；接着使用两阶段的编码-解码管道对多碎片模型进行操作来求解物体位姿，在训练过程中，编码-解码管道能获得由对象标签、片段标签和3D片段以坐标形式提供的逐像素的标注；在推理过程中，每个像素尽可能预测碎片模型上物体的3D位置，提高对具有旋转对称性物体的位姿估计能力；最后采用基于RANSAC的PnP算法来估计6DoF位姿。CosyPose39是一种对多视图多物体的6DoF位姿估计方法，对输入的从未知视角拍摄的已知物体的 RGB 图像进行处理后，输出包括物体和相机位姿的全场景模型。主要分为两部分：第一部分是基于 DeepIM40预测同一场景下每个物体相较于某一视图的位姿，从而得到单视图单物体的 6DoF位姿；第二部分通过匹配不同视图找到场景中每个物体在各个视图中的对应关系，最后通过实例级的全局优化改善目标的位姿，进而得到每个物体和每个相机相较于世界坐标系的转换关系。该方法主要由3个阶段构成：1）在物体候选框生成阶段，首先通过 2D 目标检测方法（例如 Faster R-CNN41、RetinaNet42）和基于 DeepIM 改进的单视图单物体的位姿估计器分别获得每个视图下多个物体候选框和类别标签，之后将所有物体候选框输入到单视图单物体6DoF位姿估计网络中得到位姿。2）在物体候选框匹配阶段，对于场景中的某一个物体，查询比对它在所有视图中对应的候选框，将得到的候选框作为模板，移除那些只在某一视图中出现的物体候选框。该阶段的实现方法为先通过RANSAC方法拟合两个视图间的相对位置关系，之后进行所有视图的匹配。3）在全局场景细化阶段，采用了一种能够在实例级上对相机位姿和物体位姿进行全局优化的方法，这类似于光束平差（Bundle Adjustment，BA）的方法，只不过从点级别的优化变成实例级的优化，从而确定场景中的每个物体以及每个相机相较于世界坐标系的位姿。2.5面向合成数据的位姿估计利用真实数据进行训练时难以覆盖物体全部位姿，并且带有地面真值的位姿标签在很多场景下难以获得；另外真实数据的训练集也存在缩放困难和泛化能力弱的问题。尽管有一些方法如文献 43 可以半自动地对物体真实位姿进行标注，但仍然是一个繁琐的过程。针对以上问题，文献 44中提出利用合成数据进行训练，物体6DoF位姿的地面真值直接由渲染系统给出，但在真实和合成数据之间存在新的问题域差距。为此，AAE提出利用物体的3D模型合成数据进行训练，而不是依靠数据标注，并通过排除噪声的方式解决真实数据和合成数据存在的域差距问题。文献 45 中明确提出从合成的图像中恢复目标的6DoF位姿，并通过使用经边缘滤波器处理后的图像来弥补真实图像和合成图像之间的域差距。在此项工作中，基于 CNN 的SynPo-Net46用于6DoF位姿估计，该网络专门为位姿回归设计。针对真实数据和合成数据之间的域差距问题，提出使用铅笔滤波器作为图像处理步骤。具体做法是在图形处理之前，将合成图像和真实图像所在域转移到铅笔滤波器域，在新的域中增加了视觉上的相似性；另外用李代数进行角度的回归和表示。另外，文献 45 中针对依赖真实图像训练的网络存在获取真实数据难度大、成本高的问题，提出基于PoseNet47并利用 CNN 从真实图像中对物体进行重定位，训练合成的单通2549第 43 卷计算机应用道图像直接回归真实图像中物体的6DoF位姿的方法。该方法最大的优点是针对光照条件变化带来的影响，使用铅笔滤波器对输入的图像进行预处理，从而使用物体边缘和轮廓特征进行位姿估计，这比不稳定的颜色特征更具有鲁棒性。文献 48 中利用深度纹理渲染技术，使用具有可学习纹理的3D模型提取特征，解决了进行多物体估计时将渲染的 RGB图像输入到 CNN 中直接回归物体位姿存在计算耗时的问题。文献 49 中提出一种低质量渲染图像的物体6DoF位姿估计网络框架，该框架分为特征提取和位姿估计两个部分：首先利用残差网络提取输入的 RGB 图像特征；接着利用目标检测网络对待测目标进行分类；最后采用姿态回归方式回归物体在3D空间中的旋转角度和平移矢量。文献 49 中提出的方法的最大亮点是采用域随机方法构建大规模低质量渲染并带有物体3D空间位置信息的图像数据集，为6DoF位姿估计数据集创建成本高、空间位置和姿态信息难以标注的问题提供了帮助。2.6面向类别级物体的位姿估计从泛化性考虑，以上方法讨论的均为实例级物体位姿估计，在多数情况下依赖待测目标的CAD模型，而实际情况中经常会对缺少CAD模型的目标进行位姿估计。针对这一问题，研究者将实例级6DoF位姿估计扩展到类别级的位姿估计。文献 50 中针对类别级的物体位姿估计提出基于残差网络（Residual Network，ResNet）51、区 域 建 议 网 络（Region Proposal Network，RPN）41和FCN组成的两阶段CNN框架，该框架直接输出6DoF位姿，是一种端到端的网络，不需要多阶段或者类似PnP的位姿后续细处理，并通过使用全卷积层替换全连接层达到减少参数和防止过拟合的目的，结合ResNet提高位姿的估计精度。重点工作是将位姿估计问题转化为分类和回归任务，其中分类任务将平移和旋转离散到空间中，回归任务完成目标平移和旋转的回归。深度学习在近几年中得到了快速的发展，计算机视觉（Computer Vision，CV）和 自 然 语 言 处 理（Natural Language Processing，NLP）更是在各个领域中得到广泛应用。2022年的一项工作更是将CV、NLP同时应用在6DoF位姿估计领域。文献 52 中将NLP、CV和机器人技术结合，提出利用语言指令从已知类别中抓取对象的两阶段方法：第一阶段通过对象的名称、属性和空间关系的语言描述将目标定位在RGB图像中；第二阶段从裁剪的深度图像中提取和分割点云来估计类别级实例物体的位姿。使用NLP的优点是可以通过人为指令来指定特定对象，并对一个类别进行估计，从而可以泛化到该类别中未经训练的实例估计。另外针对初始位姿错误影响估计精度和后续的位姿细化耗时的问题，文献 53 中提出基于递归神经网络（Recurrent Neural Network，RNN）的目标位姿细化框架RNNPose，该方法对存在遮挡的情况也具有鲁棒性。综合近几年的相关文献，越来越多的研究者将深度学习技术加入到从RGB图像中估计物体的6DoF位姿任务中，并针对在进行估计阶段存在的如遮挡、光照变化、表面纹理不足、旋转对称问题进行了相关研究；但应该指出的是如何将研究出的成果进行落地部署，将模型成果扩展到实际应用中，以推动工业机器人智能化的发展。3 方法评价 BOP（Benchmark for 6D Object Pose estimation）54挑战赛作为在6DoF位姿估计领域中重要的公开赛事之一，内容是从给定的RGB或RGB-D图像中估计刚体的6DoF位姿，即3D旋转和 3D 平移，旨在报道最先进的 6DoF 位姿估计算法。在BOP2020中，为了减小真实图像和合成图像的域差距，提出了轻 量 级 并 开 源 的 基 于 物 理 方 法 渲 染 创 建 合 成 图 像（BlenderProc4BOP，PBR）的方法，并为此次挑战赛提供了由光线追踪合成的贴近真实位姿的350 000预渲染的PBR图像。另外，针对6DoF位姿估计领域中目前还缺乏统一的评价指标问题，BOP挑战赛通过将数据集进行范式统一并设定评价标准，从而将具有快速、鲁棒、易于实现的位姿估计算法应用在诸如机器人操作和增强现实的领域中。在工业机器人操作领域的位姿估计需要对目标进行快速准确的位姿估计，以BOP2020中的数据集为标准范式介绍位姿估计任务中常见的数据集以及评估标准，目的是对近几年的有关RGB图像的位姿估计算法有一个比较，并且给出将来的发展方向。值得注意的是许多方法在测试时利用深度通道进行ICP的细化来提高位姿估计精度。3.1数据集在 6DoF 位姿估计任务中，有多个数据集被用来评估6DoF位姿的准确性。以BOP挑战赛中的标准对每个数据集进行范式的统一，每个数据集中包括待测物体的3D模型以及训练和测试带有地面真值6DoF物体位姿的RGB-D图像。另外通过PBR提供合成的训练图像也可以在其中找到。以下是5种常用的数据集。3.1.1LM（LineMod）该数据集提供15个场景，在每个场景中选取真实环境中15个物体中的一个（如水壶、鸡蛋盒、胶水瓶等）进行真实位姿的标注，并将待测物体放置在杂乱的桌面上。标注内容为对每个RGB图像中的中心物体赋予一个具有真实标签的旋转、平移、ID，同时提供了表示该物体的3D网格。该数据集已经成为杂乱场景中无纹理目标的6DoF位姿估计的一个基准。3.1.2LM-O（LineMod-Occluded）该数据集对LineMod进行了扩展，包含LineMod子集中所有物体的附加注释，是一个多目标检测和姿态估计的数据集。该数据集最大特点是图像中的多个目标存在严重遮挡，这使得位姿估计变得十分困难，主要用于测试需要深度图像的算法。3.1.3YCB-V（YCB-Video）PoseCNN 将扩展后的 YCB 数据集称为 YCB-Video，该数据集包含了在92个视频中出现的21个具有不同对称性、以各种姿态在空间中排列的物体的 6DoF 位姿，总共 133 827 张图像。3.1.4T-LESST-LESS数据集55包含20个场景，并且为每个对象提供了一个无纹理的CAD模型和具有纹理的3D模型，使用3个传感器对无明显纹理特征和不区分表面反射特性以及颜色的30个工业生产中常见的工件进行数据获取，每个传感器大约有38 000张用于训练的图像和10 000张用于测试的图像。训练图像中为单一实例物体且背景为单一黑色；测试图像中为多个实例物体，且包含大量杂波和存在严重遮挡。3.1.5TUD-L（TUD-Light）TUD-L56数据集包括在8种不同的照明条件下获得的训练和测试图像。5种数据集介绍如表1所示。2550第 8 期王一等：基于深度学习的RGB图像目标位姿估计综述3.2评估标准6DoF 位姿估计中的评价标准包括 2D 重投影误差57、5cm5（通过位姿估计得出的平移估计值与真值差值的绝对值不大于5 cm，旋转估计值与真值差值的绝对值不大于5）58、平移和角度误差、最大对称性感知表面距离（Maximum Symmetry-aware Surface Distance，M