ICCVAug, 2023

MonoNeRD: NeRF 式的单目三维物体检测表示

PDF
TL;DR在单目三维检测领域，为了提高检测性能常常使用场景几何线索，然而现有的方法明确采用这些线索，例如估计深度图并将其反投影到三维空间。为了缓解这个问题，我们提出了 MonoNeRD，这是一个能够推断密集三维几何和占用的新型检测框架，我们将场景建模为有符号距离函数（SDF），利用体素渲染恢复 RGB 图像和深度图。据我们所知，这项工作首次将体素渲染引入到单目三维检测中，并展示了基于隐式重构的图像三维感知的潜力。在 KITTI-3D 基准和 Waymo 开放数据集上进行的大量实验证明了 MonoNeRD 的有效性。代码可在此 URL 上找到。
monocular 3d detectionscene geometric cluesmononerdsigned distance functionsvolume rendering
发现论文，激发创造
  • NeRF-Det：学习几何感知的多视角三维物体检测体积表示

    NeRF-Det 是一种新颖的室内 3D 检测方法，利用 RGB 图像作为输入，并通过使用 NeRF 来明确估计 3D 几何，从而提高 3D 检测性能，并通过共享 MLP 巧妙地将检测分支与 NeRF 分支相连接，使 NeRF 在检测中高效适应，并为 3D 检测提供了具有几何感知的体积表示。

    Jul, 2023

  • DäRF：使用单目深度自适应从稀疏输入中提升辐射场

    提出一种名为 D"aRF 的新框架，通过在线互补训练将 monocular depth estimation （MDE）网络的强大几何学优势与 Neural radiance fields（NeRF）表示相结合，通过缓解单眼深度的歧义问题来提高其鲁棒性和一致性，在少量真实世界图像情况下实现了强大的 3D 重建和新视角综合，成功解决了现有方法在不同类型场景或数据集上的局限性。

    May, 2023

  • 使用深度感知优化提高神经辐射场用于新景深合成

    SfMNeRF 提出了一种基于神经辐射场的方法，结合自监督深度估计方法对样本进行重构，同时利用极线和光度一致性等约束构建 3D 场景几何图像，提高了神经辐射场的表现，实现了更好地合成新视角。

    Apr, 2023

  • NeRFs: 最佳三维表示的探索

    Neural Radiance Fields (NeRFs) are a new representation of 3D scenes for view synthesis and image-based rendering, widely used and extended by thousands of papers, with potential for future advancements in 3D representations.

    Aug, 2023

  • DM-NeRF：从 2D 图像中分解和操作 3D 场景几何形状

    本研究利用迄今为止最新的神经辐射场技术，通过引入物体场组件从 2D 视野中学习 3D 空间中所有个体物体的独特代码，并引入反向查询算法以自由地操作学习场景表示中特定的 3D 物体形状，进而解决物体碰撞和视觉遮挡等关键问题，能够准确地从 2D 视野中分解和操作 3D 场景的研究方法被称为 DM-NeRF。

    Aug, 2022

  • 神经 RGB-D 表面重建

    该研究论文提出了一种基于截断有符号距离函数的 NeRF 框架的 3D 重建方法，结合 RGB-D 传感器和相机细化技术，得到高质量的空间重建结果。

    Apr, 2021

  • NeRF-Det++: 室内多视角 3D 检测中引入语义线索和透视感知深度监督

    NeRF-Det++ 通过创新地利用 NeRF 来增强表示学习，在室内多视角 3D 检测方面取得了令人瞩目的性能。对于其目前的设计，我们揭示了三个关键性的缺点，包括语义模糊、不恰当的采样和对深度监督的利用不足。为了解决上述问题，我们提出了三种相应的解决方案：1）语义增强；2）透视感知采样；3）序数残差深度监督。在 ScanNetV2 和 ARKITScenes 数据集中，NeRF-Det++ 呈现出令人满意的性能。尤其是在 ScanNetV2 中，NeRF-Det++ 在 [email protected] 方面超过竞争对手 NeRF-Det 1.9%，在 [email protected] 方面超过 3.5%。该代码将在公开的网址上提供。

    Feb, 2024

  • 深度监督下的 NeRF：更少的视角和更快的训练

    通过引入深度监督机制，结合 SFM（结构光运动）得到的 “自由” 深度监督信息，在学习 Radiance Fields 的过程中对射线的结束点进行分布的损失函数，并且证明这种监督方式简单有效，可以使得渲染图像更加精准，支持其它类型的深度监督。

    Jul, 2021

  • Drone-NeRF：大规模无人机勘测的高效 NeRF 基于的三维场景重建

    我们提出了 Drone-NeRF 框架，通过使用神经辐射场（NeRF）来增强适用于无人机倾斜摄影的无界大规模场景的高效重建，将场景根据摄像机位置和深度可见性划分为均匀的子块，在 NeRF 的并行训练中训练子场景，然后合并为完整场景，通过优化相机姿态和引导 NeRF 使用均匀采样器来完善模型，集成选择的样本提高准确性，哈希编码融合 MLP 加速密度表示，生成 RGB 和深度输出，该框架解决了与场景复杂性、渲染效率和无人机获取图像准确性相关的挑战，展示了有前景的能力。

    Aug, 2023

  • 从航空影像进行深度监督的神经表面重建

    通过将深度先验与 Neural Radiance Fields（NeRFs）相结合，我们调查了 NeRFs 在航空图像块表示不同特征的能力，并将其与公开可用的航空图像基准数据集的结果进行了比较。

    Apr, 2024