CVPRMar, 2023

MACARONS: 使用 RGB 在线自监督技术进行映射和覆盖预测

PDF
TL;DR本研究提出了一种无需使用深度传感器，只需使用彩色相机即可同时学习在大型环境中探索和进行 3D 重建的方法，并基于此领域预测下一个最佳视图。与现有的方法相比，我们的方法无需 3D 监督，通过进行自监督学习可以在新场景上表现出很好的性能。
3d reconstructionnext best view problemself-supervised learningcolor cameravolume occupancy field
发现论文，激发创造
  • 自主隐式室内场景重建与边界探索

    通过引入基于前沿探索任务的全局覆盖和基于隐式表面不确定性的重建任务，结合使用颜色不确定性实现隐式表面不确定性的方法，提出了一种自适应策略来在视角路径规划中切换模式，以减少时间并保持卓越的重建质量。该方法在所有规划方法中展示了最高的重建质量和在涉及重建任务的方法中的优越规划效率。我们在一架无人机上部署了我们的方法，并且结果显示我们的方法可以计划多任务视图并以高质量重建场景。

    Apr, 2024

  • 视角到标签：自监督三维物体检测的多视角一致性

    提出了一种基于多视角和弱标签的纯 RGB 序列的自监督 3D 物体检测方法，其在 KITTI 3D 数据集上的性能与使用激光雷达或立体图像的最先进的自监督方法相当。

    May, 2023

  • GenNBV：通用的主动三维重建最佳观察策略

    通过使用深度学习框架与增强学习方法，我们提出了一个新的基于 Next-Best-View 策略的 3D 重建模型，该模型在多个数据集上取得了优异的性能，同时具备跨数据集泛化能力。

    Feb, 2024

  • LetsMap：无监督语义 BEV 地图的表示学习

    该研究提出了一种无监督学习方法，从单眼正视图像生成语义鸟瞰地图，以在自动驾驶的各种决策任务中提供强大的遮挡推理能力，其使用了 1% 的标注数据和无额外标记数据，在 KITTI-360 和 nuScenes 数据集上表现与现有最先进的方法相当。

    May, 2024

  • 室内场景的单个 RGBD 图像的新视角合成

    本文提出了一种从单个 RGBD 输入合成新视角图像的方法，通过利用 RGBD 图像中嵌入的深度信息，将 NVS 任务转换成图像转换问题，并使用生成对抗网络实现类似于从新视角拍摄的照片的结果，而不受传统多图像技术的限制。

    Nov, 2023

  • 单色图像中的足迹和自由空间

    通过学习来自立体视频序列的训练数据，基于单个 RGB 图像预测可见和被遮挡的可通过物体表面的几何形状，所采用的图片到图片网络可有效预测用于机器人或增强现实代理的路径规划任务，并验证了预测结果。

    Apr, 2020

  • SelfOcc: 自监督视觉 3D 占据预测

    本文提出了一种自监督学习方法 SelfOcc，使用视频序列仅学习 3D 占用情况，通过将图像转换为 3D 空间来得到 3D 场景表示，并利用自监督信号优化这些表示。SelfOcc 在 SemanticKITTI 和 Occ3D 上使用单帧输入相比之前最佳方法 SceneRF 提高 58.7％，并且是首个在 Occ3D 上为周围摄像头产生合理的 3D 占用情况的自监督工作。SelfOcc 在 SemanticKITTI、KITTI-2015 和 nuScenes 上达到了最先进的结果，分别在新颖深度合成、单目深度估计和环视深度估计方面实现了高质量的深度。

    Nov, 2023

  • MonoSelfRecon: 从单目 RGB 视角纯自监督显性可推广的室内场景 3D 重建

    通过自我监督的方法，基于体素有符号距离函数（voxel-SDF）实现了对室内场景的单目 RGB 视图下的 3D 网格重构，并且在实验中表现出与全监督模型和自监督室内深度估计模型相当的水平。

    Apr, 2024

  • 3D-NVS：一种用于下一个视角选择的 3D 监督方法

    通过分类的方法，提出了一种下一个最佳视角选择的方案，着重于通过一对被动获取的 2D 视图获得最佳可能的 3D 重建质量，并通过地面真实体素的间接 3D 监督来联合训练分类器和重构网络。

    Dec, 2020

  • 使用自身中心和世界中心地图实现主动域无关的自定位

    通过使用深度强化学习训练域不变的 next-best-view planner（下一个最佳视角规划器）来解决在自主机器人导航中收集大量视觉经验的高成本问题。具体来说，使用卷积神经网络中的输出层提示和中间层提示来训练多视角 NBV 规划器并在公共 NCLT 数据集上进行实验证实了该方法的有效性。

    Apr, 2022