Nov, 2023

回归 3D：基于反投影的 2D 特征的少样本 3D 关键点检测

PDF
TL;DR探索基础模型在 3D 形状的关键点检测任务中的应用，通过将大型预训练 2D 视觉模型的特征反投影到 3D 形状并利用它们来获取富含语义信息的稳健 3D 特征，然后使用关键点候选优化模块匹配形状上的关键点分布，该方法在 KeyPointNet 数据集上实现了少样本关键点检测的最新成果，几乎将之前最佳方法的性能翻倍。
foundation modelskeypoint detection3d shapessemantic informationkeypoint candidate optimization
发现论文，激发创造
  • 基于关键点几何推理的单目三维物体检测

    本篇研究提出了一种基于关键点的方法，利用单个 RGB 图像进行三维目标检测和定位，该网络基于 2D 关键点检测和几何推理方法，同时估计 2D 特征和全局 3D 姿态，最终在 KITTI 数据集中达到了最好的性能表现。

    May, 2019

  • Few-shot 几何感知关键点定位

    本文提出了一种基于 Few-shot learning 的填充关键点标注鲁棒性方法，通过少数的半监督数据和大量的自监督数据，在各种不同的物体类别中实现了语义一致的关键点定位和更准确的 3D 几何重建局部特征的二维定位。

    Mar, 2023

  • 通过端到端几何推理发现潜在的三维关键点

    本文提出了 KeypointNet，这是一个端到端的几何推理框架，用于学习一组最优的类别特定 3D 关键点及其检测器。 通过对一张单独图片，KeypointNet 提取出用于下游任务优化的 3D 关键点，我们在 3D 姿势估计方面展示了这种框架，并提出了一个可微的目标，以寻求在两个对象视图之间恢复相对姿态的最佳关键点集。我们的模型在对象类别的不同视角和实例之间发现了几何和语义一致的关键点，重要的是，我们发现我们的端到端框架在不使用地面真值关键点注释的情况下胜过使用相同神经网络架构的完全监督基线在姿势估计任务上，在 ShapeNet 的汽车，椅子和飞机类别上可视化出发现的 3D 关键点。

    Jul, 2018

  • 2D3D-MatchNet：学习在 2D 图像和 3D 点云之间匹配关键点

    本研究提出了一种名为 2D3D-MatchNet 的深度网络结构，能够直接从图像和点云中的 2D 和 3D 关键点描述符中匹配和建立 2D-3D 对应关系，并用于视觉位姿估计，结果表明该方法是可行的。

    Apr, 2019

  • 从点云到多目标三维重建

    本文提出了一种从单一 RGB 图像中检测和重构多个 3D 物体的方法，通过逐步优化检测、对齐和形状重构，选择最佳的几个候选形状，并采用轻量化的重构技术进行快速、端到端的训练。

    Dec, 2020

  • 单目 3D 目标检测的正交特征转换

    本文采用正交特征变换的方式将图像特征映射到三维空间，从而让我们能够在一个具有一致尺度和可推断真实距离的领域中全面考虑场景的空间配置，运用于端到端的深度学习架构中，在 KITTI 3D 物体基准测试上实现了最先进的性能。

    Nov, 2018

  • 一个统一的基于点的 3D 分割框架

    针对 3D 点云的分割问题，我们提出了一种新的点云分割框架，该框架能有效地优化整个场景的像素级特征，几何结构和全局上下文先验。实验结果表明，该方法优于现有的一些最先进的方法，并探讨了在三维重建场景中合成相机姿态以获得更高的性能。

    Aug, 2019

  • 野外物体少样本检测与视角估计

    本文提出了基于类代表特征和几何相似性的少样本物体检测和视角估计方法，取得了 PASCAL，COCO，Pascal3D+，ObjectNet3D 和 Pix3D 数据集中的最优结果。

    Jul, 2020

  • 基于体素的单图像多物体三维检测和重建

    该研究提出了一种基于 3D 体素特征的中心点检测方法，其中包括一个有效的粗细重建模块，可从单个 2D 图像中检测和重建多个物体的 3D 位置和形状。

    Nov, 2021

  • 使用几何约束嵌入和半监督训练的单目 3D 检测

    KM3D-Net 提出了一种基于 RGB 图像和关键点的单次检测框架，通过结合完全卷积模型、几何约束和不依赖 CAD 模型、深度生成器，以及一种有效的半监督训练策略，实现了卓越的检测表现，并超过以前所有的最先进方法。

    Sep, 2020