SceneRF: 用 Radiance Fields 进行自监督单目 3D 场景重建

Dec, 2022

SceneRF: 用 Radiance Fields 进行自监督单目 3D 场景重建

SceneRF: Self-Supervised Monocular 3D Scene Reconstruction with Radiance Fields

Anh-Quan Cao, Raoul de Charette

TL;DR本论文提出了 SceneRF 方法，采用自监督单目场景重建方法，只用图像序列进行训练，优化辐射场，生成新的深度视图，并成功应用于室内 BundleFusion 和室外 SemanticKITTI 的场景重建中，超越了最近的基线

Abstract

3d reconstruction from 2D image was extensively studied, training with depth supervision. To relax the dependence to costly-acquired datasets, we propose SceneRF, a self-supervised monocular scene reconstruction

3d reconstruction depth supervision neural radiance fields self-supervised probabilistic sampling

发现论文，激发创造

使用深度感知优化提高神经辐射场用于新景深合成

SfMNeRF 提出了一种基于神经辐射场的方法，结合自监督深度估计方法对样本进行重构，同时利用极线和光度一致性等约束构建 3D 场景几何图像，提高了神经辐射场的表现，实现了更好地合成新视角。

Apr, 2023

DistillNeRF：通过蒸馏神经场和基础模型特征从一瞥图像中感知 3D 场景

DistillNeRF 是一个自监督学习框架，专注于理解自动驾驶中基于有限 2D 观测的 3D 环境。该方法通过稀疏的、单帧的多视角相机输入，预测丰富的神经场景表示，并通过可微分渲染进行自监督训练以重构 RGB、深度或特征图像。实验证明，DistillNeRF 在场景重建、新视角合成、深度估计和 3D 语义占用预测等方面明显优于现有自监督方法。

Jun, 2024

城市辐射场

从由摄像头和扫描器捕捉的 RGB 图像和激光雷达扫描序列中，使用我们的扩展方法，生成具有深度信息的 3D 表面，以及合成新颖的 RGB 图像。

Nov, 2021

DäRF：使用单目深度自适应从稀疏输入中提升辐射场

提出一种名为 D"aRF 的新框架，通过在线互补训练将 monocular depth estimation （MDE）网络的强大几何学优势与 Neural radiance fields（NeRF）表示相结合，通过缓解单眼深度的歧义问题来提高其鲁棒性和一致性，在少量真实世界图像情况下实现了强大的 3D 重建和新视角综合，成功解决了现有方法在不同类型场景或数据集上的局限性。

May, 2023

神经辐射场场景重建探索：合成、真实世界和动态场景

该论文主要研究使用神经辐射场（NeRF）方法对合成和真实场景进行 3D 重建，包括利用多分辨率哈希编码等技术在静态和动态场景重建方面的研究。其中，还着重探讨了神经辐射场（D-NeRF）对动态场景重建的应用，并成功将其推广至真实世界动态场景。

Oct, 2022

SinNeRF：单图训练神经辐射场处理复杂场景

本论文提出了单视角 NeRF 框架 (SinNeRF)，通过引入半监督的学习过程，利用几何标签和语义标签指导训练过程，成功实现了仅通过单个视图将神经辐射场训练到现实场景，即使在不进行多视图数据集预训练的情况下，SinNeRF 可产生逼真的新视图综合结果。

Apr, 2022

无监督发现物体辐射场

本文提出了一种无监督的方法，叫做 uORF，用于从单张图像中推断物体场景表示，该方法整合了神经 3D 场景表示和深度推断网络，能够成功地分解复杂的 3D 场景，并完成诸如场景分割、3D 编辑和新视角合成等任务。

Jul, 2021

自我演化神经辐射场

提出了一种名为 SE-NeRF 的自我进化神经辐射场框架，通过在教师 - 学生框架中将 few-shot NeRF 转化为，将由教师生成的附加伪标签训练学生，通过使用可靠性估计方法提取射线级伪标签，使得 NeRF 能够学习更准确、更强健的三维场景几何，并展示与评估了将该自我训练框架应用于现有模型时改进了渲染图像的质量并在多种环境中实现了最先进的性能。

Dec, 2023

立体辐射场（SRF）：学习稀疏视角下的新颖场景综合

本文提出了一种名为 Stereo Radiance Fields (SRF) 的新的神经视图合成方法，它从输入的立体图像编码中预测每个 3D 点的颜色和密度，且只需要较少的稀疏视图作为输入，可广泛适用于不同场景。实验表明，SRF 方法学习了结构而非过拟合，且 10-15 分钟的微调后比现有的场景特定模型具有更好的视觉效果。

Apr, 2021

从航空影像进行深度监督的神经表面重建

通过将深度先验与 Neural Radiance Fields（NeRFs）相结合，我们调查了 NeRFs 在航空图像块表示不同特征的能力，并将其与公开可用的航空图像基准数据集的结果进行了比较。

Apr, 2024