Feb, 2024

NeRF-Det++: 室内多视角 3D 检测中引入语义线索和透视感知深度监督

PDF
TL;DRNeRF-Det++ 通过创新地利用 NeRF 来增强表示学习，在室内多视角 3D 检测方面取得了令人瞩目的性能。对于其目前的设计，我们揭示了三个关键性的缺点，包括语义模糊、不恰当的采样和对深度监督的利用不足。为了解决上述问题，我们提出了三种相应的解决方案：1）语义增强；2）透视感知采样；3）序数残差深度监督。在 ScanNetV2 和 ARKITScenes 数据集中，NeRF-Det++ 呈现出令人满意的性能。尤其是在 ScanNetV2 中，NeRF-Det++ 在 [email protected] 方面超过竞争对手 NeRF-Det 1.9%，在 [email protected] 方面超过 3.5%。该代码将在公开的网址上提供。
发现论文，激发创造
  • NeRF-DetS：使用采样自适应连续 NeRF-based 表示网络增强多视角 3D 物体检测

    基于 NeRF 和多视角信息融合，提出了一个新的 3D 感知网络结构 NeRF-DetS，实现了在室内多视图 3D 物体检测方面的大幅提升。

    Apr, 2024

  • NeRF-Det：学习几何感知的多视角三维物体检测体积表示

    NeRF-Det 是一种新颖的室内 3D 检测方法，利用 RGB 图像作为输入，并通过使用 NeRF 来明确估计 3D 几何，从而提高 3D 检测性能，并通过共享 MLP 巧妙地将检测分支与 NeRF 分支相连接，使 NeRF 在检测中高效适应，并为 3D 检测提供了具有几何感知的体积表示。

    Jul, 2023

  • NeRF-Supervised 深度立体

    使用神经渲染技术构建的数据集来训练深度立体网络，使其能够预测锐利且详细的视差图，并在 Middlebury 数据集上优于现有的自监督方法。

    Mar, 2023

  • MonoNeRD: NeRF 式的单目三维物体检测表示

    在单目三维检测领域，为了提高检测性能常常使用场景几何线索，然而现有的方法明确采用这些线索，例如估计深度图并将其反投影到三维空间。为了缓解这个问题，我们提出了 MonoNeRD，这是一个能够推断密集三维几何和占用的新型检测框架，我们将场景建模为有符号距离函数（SDF），利用体素渲染恢复 RGB 图像和深度图。据我们所知，这项工作首次将体素渲染引入到单目三维检测中，并展示了基于隐式重构的图像三维感知的潜力。在 KITTI-3D 基准和 Waymo 开放数据集上进行的大量实验证明了 MonoNeRD 的有效性。代码可在此 URL 上找到。

    Aug, 2023

  • NeRF 监督的特征点检测与描述

    该论文引入了一种基于神经辐射场（NeRFs）的新方法，用于生成逼真的多视角训练数据。通过 NeRFs 创建了多样化的室内和室外多视角数据集，并利用透视投影几何指导下的最先进的特征检测器和描述器进行训练。实验证明，该方法在相对位姿估计、点云配准和单应性估计等标准基准测试上达到了竞争性或更优的性能，并且相较于现有方法需要更少的训练数据。

    Mar, 2024

  • 全景城市场景分割的 3D 到 2D 标签转移的 Panoptic NeRF

    本研究提出了一种新的 3D 到 2D 标签转换方法 - Panoptic NeRF 用于语义分割和实例分割任务，它利用了现有数据集中 2D 语义线索和粗糙 3D 标注信息的统一，实现了多视角一致的二维标签生成，可以提高多视角下的几何语义渲染准确性，消除粗糙 3D 标注的标签歧义和 2D 语义标注的噪声，与其他标签转移方法相比，在 KITTI-360 数据集的城市场景中，Panoptic NeRF 在准确度和多视角一致性方面表现更好。

    Mar, 2022

  • DistillNeRF：通过蒸馏神经场和基础模型特征从一瞥图像中感知 3D 场景

    DistillNeRF 是一个自监督学习框架，专注于理解自动驾驶中基于有限 2D 观测的 3D 环境。该方法通过稀疏的、单帧的多视角相机输入，预测丰富的神经场景表示，并通过可微分渲染进行自监督训练以重构 RGB、深度或特征图像。实验证明，DistillNeRF 在场景重建、新视角合成、深度估计和 3D 语义占用预测等方面明显优于现有自监督方法。

    Jun, 2024

  • NeRFmentation: 基于 NeRF 的单目深度估计增强

    我们提出了一种基于 NeRF 的数据增强流程，用于训练数据集，并通过在数据集中引入更多不同视角的合成数据，展示了我们的方法对模型性能和稳健性的好处。我们将这种数据增强流程称为 “NeRFmentation”，并将其与三个最先进的 MDE 架构结合在一起，在流行的自动驾驶数据集 KITTI 上增加其特征分割的训练集。我们评估了在原始测试集、另一个流行的驾驶数据集和我们自己的合成测试集上获得的性能增益。

    Jan, 2024

  • GP-NeRF：通用感知 NeRF 用于上下文感知 3D 场景理解

    提出了一种通用感知 NeRF（GP-NeRF）模型，通过引入 transformers 和自我蒸馏机制，实现了语义场和几何场的联合渲染，以促进具有上下文感知的三维场景理解。在评估中，使用合成和真实世界数据集进行了两个感知任务（即语义和实例分割）的实验比较，取得了显著的优于现有方法的效果。

    Nov, 2023

  • DatasetNeRF：基于生成辐射场的高效三维感知数据工厂

    该论文介绍了 DatasetNeRF，一种新颖的方法，它能够生成无限数量、高质量的与 3D 一致的 2D 注释和 3D 点云分割，同时利用最少的 2D 人工标注。

    Nov, 2023