Mar, 2024

零样本多物体形状完成

PDF
TL;DR我们提出了一种 3D 形状补全方法，通过单个 RGB-D 图像从复杂场景中恢复多个对象的完整几何形状。我们的方法 OctMAE 利用八叉树 U-Net 和潜在的 3D MAE，在本地和全局几何推理中实现高质量和接近实时的多对象形状补全，并引入了遮挡掩码策略和 3D 旋转嵌入，以提高性能和形状补全质量。通过创建一个大规模逼真的数据集，我们的方法在合成和现实世界数据集上都优于当前最先进的方法，并展示了强大的零样品学习能力。
3d shape completionmulti-object scenesoctmaephotorealistic datasetzero-shot capability
发现论文，激发创造
  • MonoMAE：通过深度感知掩蔽自编码器增强单目 3D 检测

    利用具有遮罩的自编码器实现了单目三维物体检测，通过遮罩和重建特征空间中的物体来解决物体遮挡的问题，并学习到了丰富的三维表示，具有出色的检测性能和泛化能力。

    May, 2024

  • 基于图卷积自编码器的可变形形状补全

    本论文提出一种新的深度学习方法，利用可变自编码器和图形卷积运算来实现对非刚性变形物体进行局部补全，对合成和真实扫描的人体和面部网格进行了实验，显示出有前途的结果。

    Dec, 2017

  • CenterSnap: 单次拍摄多目标三维形状重建及分类六自由度姿态与大小估计

    本论文提出了一种基于单个视角的 RGB-D 观测对多目标 3D 重建、6D 姿态和大小估计的简单、高效、端到端的方法，并且基于 ShapeNet 和 NOCS 数据集进行了广泛实验，在新颖实际世界的目标实例 6D 姿态中获得了 12.6% 的绝对改进。

    Mar, 2022

  • 从点云到多目标三维重建

    本文提出了一种从单一 RGB 图像中检测和重构多个 3D 物体的方法，通过逐步优化检测、对齐和形状重构，选择最佳的几个候选形状，并采用轻量化的重构技术进行快速、端到端的训练。

    Dec, 2020

  • 使用 RGB-D 序列在多个对象跟踪中看到物体背后

    本文提出了一种基于 RGB-D 视频序列的多目标跟踪方法，通过联合推断目标的完整几何形状和跟踪它们来提高跟踪的稳健性，通过人工构建目标的视状图像，得到相同实例之间的额外对应关系，从而提高了跟踪的鲁棒性。实验结果表明该方法在动态目标跟踪方面取得了 state-of-the-art 的性能。

    Dec, 2020

  • 具有质量感知形状补全的鲁棒三维跟踪

    通过形状补全方法构建稠密而完整的点云目标表示，从而实现鲁棒的三维跟踪，并借助体素化的关系建模模块和框精炼模块提高跟踪性能。

    Dec, 2023

  • PiMAE: 基于点云和图像的交互式遮罩自编码器用于 3D 物体检测

    本文提出了 PiMAE，一个自我监督的预训练框架，旨在通过三个方面促进 3D 和 2D 交互，以提高现有作品中的交叉模态协同作用。在 SUN RGB-D 和 ScannetV2 上进行广泛的实验后，我们发现交互式学习点 - 图像特征是不平凡的，并通过 2.9％，6.7％和 2.4％显着提高了多个 3D 检测器，2D 检测器和少样本分类器。

    Mar, 2023

  • 野外场景弱监督 3D 形状补全

    本研究利用弱监督的方法，通过多视角几何约束来同时估计 3D 的标准形状和 6 自由度姿态，解决了学习未对准和真实世界部分点云的情况下，利用大量数据进行 3D 形状补全的问题。实验证明，学习姿势估计可以促进部分点云的配准。

    Aug, 2020

  • 利用形状补全实现三维类脉冲跟踪

    本文探讨了形状完成技术在 LIDAR 三维物体追踪中的应用，设计了一个 Siamese 追踪器，通过对模型和候选形状进行编码，实现了更好的 3D 物体追踪。在 KITTI 追踪数据上的实验结果表明，该模型将成功率和准确率均提升了 3％以上。

    Mar, 2019

  • 从单个视角深度学习的全 3D 物体补全

    通过结合深度卷积神经网络体系结构和自编码器，从深度图中隐含学习 3D 几何特征，大大提高了新方法的重建准确度，并使其适用于实时应用。

    Aug, 2018