ICCVJul, 2023

NeRF-Det：学习几何感知的多视角三维物体检测体积表示

PDF
TL;DRNeRF-Det 是一种新颖的室内 3D 检测方法，利用 RGB 图像作为输入，并通过使用 NeRF 来明确估计 3D 几何，从而提高 3D 检测性能，并通过共享 MLP 巧妙地将检测分支与 NeRF 分支相连接，使 NeRF 在检测中高效适应，并为 3D 检测提供了具有几何感知的体积表示。
nerf-detindoor 3d detectiongeometry estimationvolumetric representationsgeneralization
发现论文，激发创造
  • NeRF-DetS：使用采样自适应连续 NeRF-based 表示网络增强多视角 3D 物体检测

    基于 NeRF 和多视角信息融合，提出了一个新的 3D 感知网络结构 NeRF-DetS，实现了在室内多视图 3D 物体检测方面的大幅提升。

    Apr, 2024

  • NeRF-Det++: 室内多视角 3D 检测中引入语义线索和透视感知深度监督

    NeRF-Det++ 通过创新地利用 NeRF 来增强表示学习，在室内多视角 3D 检测方面取得了令人瞩目的性能。对于其目前的设计，我们揭示了三个关键性的缺点，包括语义模糊、不恰当的采样和对深度监督的利用不足。为了解决上述问题，我们提出了三种相应的解决方案：1）语义增强；2）透视感知采样；3）序数残差深度监督。在 ScanNetV2 和 ARKITScenes 数据集中，NeRF-Det++ 呈现出令人满意的性能。尤其是在 ScanNetV2 中，NeRF-Det++ 在 [email protected] 方面超过竞争对手 NeRF-Det 1.9%，在 [email protected] 方面超过 3.5%。该代码将在公开的网址上提供。

    Feb, 2024

  • MonoNeRD: NeRF 式的单目三维物体检测表示

    在单目三维检测领域，为了提高检测性能常常使用场景几何线索，然而现有的方法明确采用这些线索，例如估计深度图并将其反投影到三维空间。为了缓解这个问题，我们提出了 MonoNeRD，这是一个能够推断密集三维几何和占用的新型检测框架，我们将场景建模为有符号距离函数（SDF），利用体素渲染恢复 RGB 图像和深度图。据我们所知，这项工作首次将体素渲染引入到单目三维检测中，并展示了基于隐式重构的图像三维感知的潜力。在 KITTI-3D 基准和 Waymo 开放数据集上进行的大量实验证明了 MonoNeRD 的有效性。代码可在此 URL 上找到。

    Aug, 2023

  • 从多视角几何学中学习神经辐射场

    MVG-NeRF 组合了传统的多视角几何算法和神经辐射场 (NeRF) 用于基于图像的三维重建。我们提出使用像素级深度和法线来引导 NeRF 优化，以提高所估计表面的质量。实验结果表明，该方法可以从图像中获取干净的三维网格，同时在新视角合成方面具有竞争力的表现。

    Oct, 2022

  • NeRF-RPN: 基于 NeRF 的目标检测通用框架

    NeRF-RPN 是首个在 NeRF 上直接操作的显著物体检测框架。它利用一种新颖的体素表示法，通过回归 NeRF 模型直接得出物体的三维边界框，而无需在任何视点渲染 NeRF。此外，作者还建立了基准数据集，其中包括合成和真实世界数据，可供未来的 NeRF 目标检测研究参考。

    Nov, 2022

  • DM-NeRF：从 2D 图像中分解和操作 3D 场景几何形状

    本研究利用迄今为止最新的神经辐射场技术，通过引入物体场组件从 2D 视野中学习 3D 空间中所有个体物体的独特代码，并引入反向查询算法以自由地操作学习场景表示中特定的 3D 物体形状，进而解决物体碰撞和视觉遮挡等关键问题，能够准确地从 2D 视野中分解和操作 3D 场景的研究方法被称为 DM-NeRF。

    Aug, 2022

  • DistillNeRF：通过蒸馏神经场和基础模型特征从一瞥图像中感知 3D 场景

    DistillNeRF 是一个自监督学习框架，专注于理解自动驾驶中基于有限 2D 观测的 3D 环境。该方法通过稀疏的、单帧的多视角相机输入，预测丰富的神经场景表示，并通过可微分渲染进行自监督训练以重构 RGB、深度或特征图像。实验证明，DistillNeRF 在场景重建、新视角合成、深度估计和 3D 语义占用预测等方面明显优于现有自监督方法。

    Jun, 2024

  • 未知姿态下的多视角到 3D 的生成性提升：将 NeRF 包装在扩散中

    我们将来自未知姿态的多视图重建问题作为一个生成建模问题。通过一组未标注的场景的 2D 图像，我们的方法同时学习了一个网络来预测从 2D 图像输入中的相机姿态，并学习了用于 3D 场景的神经辐射场（NeRF）的参数。通过在标准去噪目标下使用去噪扩散概率模型（DDPM）将姿态预测网络和 NeRF 结合在一起并训练系统来推动学习进展。我们的框架要求系统通过预测图像的姿态并渲染 NeRF 来完成去噪输入 2D 图像的任务。学习去噪因此迫使系统同时学习底层的 3D NeRF 表示和从图像到摄像机外参数的映射。为了促进后者，我们设计了一个自定义的网络架构来将姿态表示为一个分布，从而在仅进行去噪训练时具备发现视图对应关系的隐式能力。这种技术允许我们的系统成功构建 NeRFs，并在竞争方法失败的具有挑战性的场景中使用。在训练结束时，我们学习到的 NeRF 可以被提取并用作 3D 场景模型；我们的完整系统可以用于采样新的相机姿态并生成新的视角图像。

    Jun, 2024

  • M^2DNeRF：带有 3D 特征域的多模态分解 NeRF

    多模态分解 NeRF（${M^2D}$NeRF）是一种能够进行文本和视觉补丁编辑的单一模型，通过使用多模态特征蒸馏来整合来自预训练视觉和语言模型的教师特征到三维语义特征体积，从而促进一致的三维编辑。实验证明，在三维场景分解任务中，相较于以前的基于 NeRF 的方法具有更优异的性能。

    May, 2024

  • 使用可推广的 NeRF 基于多视角的透明和高光物体的 6-DoF 抓取检测 GraspNeRF

    本文提出了一种基于多视角 RGB 的 6 自由度预抓取检测网络 GraspNeRF，利用可转换的神经辐射场（NeRF）实现材料无关的物体预抓取，在杂乱的环境下可实时检测出 6 自由度的抓取，实验结果表明该方法在合成和真实环境中表现优异。

    Oct, 2022