Jul, 2018

通过端到端几何推理发现潜在的三维关键点

PDF
TL;DR本文提出了 KeypointNet，这是一个端到端的几何推理框架，用于学习一组最优的类别特定 3D 关键点及其检测器。 通过对一张单独图片，KeypointNet 提取出用于下游任务优化的 3D 关键点，我们在 3D 姿势估计方面展示了这种框架，并提出了一个可微的目标，以寻求在两个对象视图之间恢复相对姿态的最佳关键点集。我们的模型在对象类别的不同视角和实例之间发现了几何和语义一致的关键点，重要的是，我们发现我们的端到端框架在不使用地面真值关键点注释的情况下胜过使用相同神经网络架构的完全监督基线在姿势估计任务上，在 ShapeNet 的汽车，椅子和飞机类别上可视化出发现的 3D 关键点。
keypointnetgeometric reasoning framework3d keypointspose estimationneural network architecture
发现论文，激发创造
  • 基于关键点几何推理的单目三维物体检测

    本篇研究提出了一种基于关键点的方法，利用单个 RGB 图像进行三维目标检测和定位，该网络基于 2D 关键点检测和几何推理方法，同时估计 2D 特征和全局 3D 姿态，最终在 KITTI 数据集中达到了最好的性能表现。

    May, 2019

  • KeypointNet: 一个大规模的 3D Keypoint 数据集，汇集自众多人类标注

    介绍了 KeypointNet：第一个大规模、多样化的 3D 关键点数据集，它包含来自 16 个对象类别的 103,450 个关键点和 8,234 个 3D 模型，通过利用大量的人类注释。为了处理来自不同人员的注释之间的不一致性，通过最小化保真度损失，我们提出了一种聚合这些关键点的新方法。最终，在我们提出的数据集上对十种最先进的方法进行了基准测试。

    Feb, 2020

  • 使用几何约束嵌入和半监督训练的单目 3D 检测

    KM3D-Net 提出了一种基于 RGB 图像和关键点的单次检测框架，通过结合完全卷积模型、几何约束和不依赖 CAD 模型、深度生成器，以及一种有效的半监督训练策略，实现了卓越的检测表现，并超过以前所有的最先进方法。

    Sep, 2020

  • 端到端学习鲁棒姿态 3D 匹配的关键点检测器和描述符

    本论文提出了一种基于端到端学习框架的关键点检测及其表示的方法，以适应于三维深度地图或扫描，通过采样相应的区域提案实现正负样本的自动获取，并在多个基准数据集上进行匹配实验，表明该方法相对于现有方法具有明显的改进。

    Feb, 2018

  • 从点集中无监督学习类别特定的对称三维关键点

    本文提出了一种采用非监督学习的方法，从未知类别的物体的三维点云中学习特定于类别的三维关键点，使用对称线性基础形状模型描述特定于类别的形状，并证明了该方法能够得到几何和语义方面的一致的关键点。

    Mar, 2020

  • 回归 3D：基于反投影的 2D 特征的少样本 3D 关键点检测

    探索基础模型在 3D 形状的关键点检测任务中的应用，通过将大型预训练 2D 视觉模型的特征反投影到 3D 形状并利用它们来获取富含语义信息的稳健 3D 特征，然后使用关键点候选优化模块匹配形状上的关键点分布，该方法在 KeyPointNet 数据集上实现了少样本关键点检测的最新成果，几乎将之前最佳方法的性能翻倍。

    Nov, 2023

  • 实例自适应和几何感知关键点学习用于类别级 6D 物体姿态估计

    提出了一种新颖的 Instance-Adaptive 和 Geometric-Aware Keypoint Learning 方法，用于类别级别的 6D 物体位姿估计。实验结果表明，该方法在没有类别特定形状先验知识的情况下，明显优于现有的方法。

    Mar, 2024

  • 关键点预测下的目标姿态自监督学习

    本文提出了一种基于自监督学习的关键点预测方法来进行相机位姿预测及三维目标物体的在线重建的深度学习网络，并在几个数据集上进行了实验，取得了显著的改进。

    Feb, 2023

  • KeypointDeformer: 无监督 3D 关键点发现的形状控制

    介绍一种新的无监督方法 KeypointDeformer，通过自动发现的 3D 关键点进行形状控制，并通过比较两个对象的潜在表示来分析其形状差异，并通过 3D 关键点和形状变形算法将源对象变形为目标对象。

    Apr, 2021

  • 使用多视角关键点对应估计单目图像中的物体姿态

    利用物体分类内部几何规律的数据驱动姿态估计方法。首先，从 2D RGB 图像学习物体部分的姿态不变局部描述符。将这些描述符与来自固定３D 模板的关键点结合使用，生成给定单眼实际图像的关键点对应图。最后，使用这些关键点对应图，预测物体的３D 姿态。该方法在多个真实环境的视角估计数据集，如 Pascal3D + 与 ObjectNet3D 上的表现达到最佳水平，并且我们公开了所使用方法的代码以鼓励再生研究。

    Sep, 2018