CVPRNov, 2019

通过 SDF 形状先验的可微分渲染进行三维物体自动标注

PDF
TL;DR本文提出了一种自动标注管道，通过考虑学习的形状先验知识和优化几何和物理参数，从预训练的二维检测器和稀疏 LIDAR 数据中恢复 9D cuboids 和 3D 形状。我们使用可微分形状渲染器到符号距离场（SDF），结合归一化对象坐标空间（NOCS）来解决这个具有挑战性的问题，同时还提出了一个循序渐进的学习策略，在自我改进的注释回合中，逐步训练难度不断增加的样本，KTIT3D 数据集上的实验表明，我们可以恢复大量准确的立方体，并且这些自动标注可以用于训练带有最新结果的三维车辆检测器。
autolabelingcuboids3d shapesdifferentiable shape renderercurriculum learning
发现论文，激发创造
  • 自监督的单目可微渲染用于 3D 物体检测

    本研究提出了一种基于自监督的方法，利用强形状先验和二维实例掩模来重建带纹理的三维物体并进行姿态估计，通过可微分渲染和先前预训练的单目深度估计网络推断图像中每个物体的三维位置和网格信息，实验结果表明本方法有效地利用嘈杂的单目深度和可微分渲染来代替昂贵的 3D 地面真值标签或激光雷达信息。

    Sep, 2020

  • 基于原型形状先验的半监督单视角 3D 重建

    提出一种半监督三维重建框架 SSP3D，引入基于注意力引导的原型形状先验模块、鉴别器引导模块和正则化器来实现更好的形状生成，在 ShapeNet 基准测试中，在不同标注率下，性能均明显优越，并且对于少量有标注数据的新类别也能够取得很好的成果。

    Sep, 2022

  • AutoSDF: 用于 3D 完善、重建和生成的形状先验

    该研究提出了一种基于自回归先验的方法来解决三维形状完形、重建和生成等多模态三维任务，该方法可以在一个任意集合的空间查询位置上对三维形状建模，从而在不同的条件下执行形状补齐。

    Mar, 2022

  • ClusteringSDF：用于 3D 分解的自组织神经隐式曲面

    通过神经隐式表面表示，即信号距离函数（SDF），提出了 ClusteringSDF 方法，实现了 3D 中的分割和重建。这项研究通过高效的聚类机制将 2D 标签提升到 3D，并在 ScanNet 和 Replica 数据集上的挑战性场景中取得了与现有技术相竞争的表现，而且训练时间大大缩短。

    Mar, 2024

  • 自动驾驶中的无监督 3D 感知与 2D 视觉语言蒸馏

    本文介绍了一种多模态自动标注流程，可以生成用于训练开放式类别的无标注 3D 边界框和轨迹，从而处理自动驾驶等安全关键应用中可能在部署后遇到的新物体类型。相比于当前领域的最新研究，我们的方法可以以无监督的方式处理静态和移动的对象，并通过提出的视觉 - 语言知识蒸馏方法输出开放式词汇的语义标签。基于 Waymo 开放数据集的实验证明，我们的方法在各种无监督 3D 感知任务上显著优于先前的工作。

    Sep, 2023

  • 自助学习多模态预训练在 3D 目标检测中的应用

    通过使用与图像相关的 shelf-supervision 模型对配对的 RGB 和 LiDAR 数据进行无监督预训练，我们提出了一种能够生成零样本 3D 边界框的点云表示方法，这种方法在半监督检测中能够显著提高检测准确性，尤其适用于 LiDAR-only 和多模态 (RGB + LiDAR) 检测。我们在 nuScenes 和 WOD 上展示了我们方法的有效性，并在有限数据环境中明显改进了之前的工作。

    Jun, 2024

  • AutoRecon：三维物体自动发现与重建

    本文介绍了一种名为 AutoRecon 的新型框架，该框架利用自我监督的 2D 视觉转换器功能，通过多视图图像自动发现和重建对象，并使用分解的神经场景表示进行密集监督，从而实现了准确的对象重建和分割。

    May, 2023

  • SDF-SRN: 从静态图像中学习有符号距离三维物体重建

    该论文提出了一种名为 SDF-SRN 的方法，通过 2D 轮廓学习无需多视图注释的隐式三维形状表示，实现了单视图训练，并在合成和真实世界数据集上优于当前技术水平的基于单视图监督的方法。

    Oct, 2020

  • GenSDF: 通用有符号距离函数的两阶段学习

    本文研究了使用神经代表距离函数（SDF）进行三维对象表示学习的泛化能力，提出了一个半监督元学习方法，可将形状先验从有标签的数据传输到无标签的数据中，用于重建未知的对象类别，并实现了 100 多个未见过的类别的强大的零 - shot 推理。

    Jun, 2022

  • 视角到标签：自监督三维物体检测的多视角一致性

    提出了一种基于多视角和弱标签的纯 RGB 序列的自监督 3D 物体检测方法，其在 KITTI 3D 数据集上的性能与使用激光雷达或立体图像的最先进的自监督方法相当。

    May, 2023