Mar, 2023

KGNv2: 基于关键点的 RGB-D 输入 6 自由度抓取综合中的比例和姿态预测分离

PDF
TL;DR该论文提出了一种基于关键点的新型 6 自由度抓取姿态合成方法，其中关键点检测器减少了对精确关键点估计的依赖，并且在简单的合成对象上进行训练的实验表明，该方法具有模拟到真实的能力。
grasp pose synthesiskeypointsrgb-d inputgrasp generation networksim-to-real capacity
发现论文，激发创造
  • RGB Matters: 在单目 RGBD 图像上学习 7 自由度抓取姿态

    本文提出了 RGBD-Grasp 方法，通过卷积神经网络 Angle-View Net（AVN）预测抓手的 SO（3）方向和 FAS 模块计算抓手的张开宽度和与抓点的距离，解决机器人领域中的物体抓取问题，并在 GraspNet-1Billion 数据集上取得了最先进的结果。

    Mar, 2021

  • 基于语义关键点的六自由度物体位姿估计

    本文提出了一种新的方法，使用卷积网络 (ConvNet) 预测语义关键点结合可变形形状模型，从单张 RGB 图像中估计物体的连续六自由度 (6-DoF) 姿态 (三维平移和旋转)，可以应用于基于实例和类别的姿态恢复，且无论是纹理还是无纹理对象均可。实验结果表明，该方法可在杂乱背景下准确地恢复实例和类别物体的 6-DoF 姿态，并在大规模 PASCAL3D+ 数据集上显示出最先进的精度。

    Mar, 2017

  • 单幅 RGB 帧的基于语义关键点的姿态估算

    该论文提出了一种从单个 RGB 图像中估计物体连续 6-DoF 姿态的方法，该方法结合了经卷积网络预测的语义关键点和可变形的形状模型，同时采用了半自动数据生成技术来训练可学习组件，在实验中该方法达到了与现有技术相当的结果。

    Apr, 2022

  • 基于 RGB-D 图像的 6 自由度物体位姿估计的基于残差的密集点对点网络

    利用单个 RGB-D 图像，我们引入了一种新颖的方法来计算物体的 6DoF 姿态。通过密集对应，我们回归每个可见像素的物体坐标，从而有效降低输出空间并取得出色的性能，在 6D 姿态估计中胜过大多数先前的方法，特别是在遮挡场景中具有显著改进的优势。

    May, 2024

  • 基于关键点的单阶段类别级别物体姿态估计

    该研究提出了一种基于关键点的方法，通过一个 RGB 图像作为输入，对已知类别内的未知目标实例进行目录级别的物体位姿估计，采用单阶段神经网络，并在 Objectron 基准测试中表现出比现有方法更好的性能

    Sep, 2021

  • 基于 RGB 的类别级物体姿态估计与解耦的度量尺度恢复

    本文提出了一种新颖的流程，通过解耦 6D 姿态和尺寸估计，减轻了单目观察带来的尺度不精确对刚性变换的影响，并借助预训练的单目估计器获取局部几何信息，以便搜寻二维 - 三维对应关系，并利用基于类别级统计的独立分支直接恢复物体的度量尺度，最后倡导使用 RANSAC-P$n$P 算法鲁棒求解 6D 物体姿态。在合成和真实数据集上进行了大量实验证明，相对于先前最先进的基于 RGB 的方法，我们的方法在旋转准确性方面表现出更高的性能。

    Sep, 2023

  • DSC-PoseNet: 双尺度一致性学习 6DoF 目标位姿估计

    本文基于 2D 物体注释和 RGB 图像提出了一个双步骤的姿态估计框架，该框架使用 DSC-PoseNet 网络实现了基于差分渲染器的姿态估计，同时还利用自我监督学习生成伪标签进行训练，实验表明该方法在真实数据集上性能优于基于合成数据集的现有模型。

    Apr, 2021

  • MonoGraspNet: 使用单一 RGB 图像进行 6 自由度抓取

    本文提出了首个基于 RGB 图像的 6 自由度机器人抓取方法 MonoGraspNet，通过利用稳定的 2D 特征以及关键点热度图和法向量图来同时解决处理透明或反射材料等光学难题，实验表明我们的方法在抓取常见物体方面能够达到有竞争性的结果，并在在抓取光学难题物体方面领先于深度学习方法，此外我们也公开了一个包含 120 个物品的多视角多场景数据集和 2000 万的准确抓取标签。

    Sep, 2022

  • 学习更好的多物体六自由度姿态估计关键点

    通过训练图网络选择一组分散但具有相似分布投票的关键点，从而提高姿势估计的准确性和效率。通过回归网络学习关键点算法，所学习的投票可以与之前的启发式算法相比更准确地回归关键点位置。实验结果表明，KeyGNet 选择的关键点在所有七个数据集上的所有评估指标都提高了准确性，特别是在具有挑战性的 Occlusion LINEMOD 数据集上。当使用 KeyGNet 的关键点进行单物体到多物体的训练时，性能明显提高，从而消除了 SISO-MIMO 差距。

    Aug, 2023

  • 使用单目 RGB 进行双手全局 3D 姿态估计

    本文提出了一种基于卷积神经网络的多阶段流水线方法，仅通过单眼红绿蓝彩色图像在众多的干扰因素下，准确分割和定位手部区域并估计 2D 和 3D 的关节点位置；采用新颖的投影算法计算相对相机坐标系的全局关节点位置，为此引入大规模合成 3D 手部姿态数据集。在 RGB-only 信息下，本文超越了以往的 3D 典型手部姿态估计基准数据集；此外，本文提供了 RGB-only 输入下首个实现双手的准确全局 3D 手部跟踪，并进行了广泛的定量和定性评估。

    Jun, 2020