本研究提出了一种新的 3D 到 2D 标签转换方法 - Panoptic NeRF 用于语义分割和实例分割任务，它利用了现有数据集中 2D 语义线索和粗糙 3D 标注信息的统一，实现了多视角一致的二维标签生成，可以提高多视角下的几何语义渲染准确性，消除粗糙 3D 标注的标签歧义和 2D 语义标注的噪声，与其他标签转移方法相比，在 KITTI-360 数据集的城市场景中，Panoptic NeRF 在准确度和多视角一致性方面表现更好。

Mar, 2022

使用 PAg-NeRF 这一新颖的基于 NeRF 的系统，我们能够在具有嘈杂机器人测距位姿和不一致的自动全景预测 ID 之间的图像序列上训练我们的表示，尽管有这些嘈杂的输入，我们的系统能够输出场景几何结构，照片逼真渲染和一致的 3D 全景表示，我们在一个极具挑战的园艺场景中评估了这一新颖系统，通过这样做证明了一个可以利用嘈杂机器人位姿而不是预先计算的精确位姿的端到端可训练系统，与基准方法相比，峰值信噪比从 21.34dB 提高到 23.37dB，全景质量从 56.65% 提高到 70.08%，此外，我们的方法更快且可以通过调整提高推理时间，同时具有大约 12 倍少的参数。

Sep, 2023

该论文介绍了 DatasetNeRF，一种新颖的方法，它能够生成无限数量、高质量的与 3D 一致的 2D 注释和 3D 点云分割，同时利用最少的 2D 人工标注。

Nov, 2023

本文提出了一个由单个全景图训练出的全景神经辐射场模型（PERF）用于 360 度全景图的新视角合成，其中采用了一种协作 RGBD 修复方法和逐步修复和删除的策略，实现了在复杂场景中的 3D 漫游。该方法在 Replica 数据集和 PERF-in-the-wild 数据集上进行了广泛实验证明了其优越性，并可广泛应用于全景图转 3D、文本转 3D 和 3D 场景风格化等实际应用中。

Oct, 2023

NeRF-Det++ 通过创新地利用 NeRF 来增强表示学习，在室内多视角 3D 检测方面取得了令人瞩目的性能。对于其目前的设计，我们揭示了三个关键性的缺点，包括语义模糊、不恰当的采样和对深度监督的利用不足。为了解决上述问题，我们提出了三种相应的解决方案：1）语义增强；2）透视感知采样；3）序数残差深度监督。在 ScanNetV2 和 ARKITScenes 数据集中，NeRF-Det++ 呈现出令人满意的性能。尤其是在 ScanNetV2 中，NeRF-Det++ 在 [email protected] 方面超过竞争对手 NeRF-Det 1.9%，在 [email protected] 方面超过 3.5%。该代码将在公开的网址上提供。

Feb, 2024

DistillNeRF 是一个自监督学习框架，专注于理解自动驾驶中基于有限 2D 观测的 3D 环境。该方法通过稀疏的、单帧的多视角相机输入，预测丰富的神经场景表示，并通过可微分渲染进行自监督训练以重构 RGB、深度或特征图像。实验证明，DistillNeRF 在场景重建、新视角合成、深度估计和 3D 语义占用预测等方面明显优于现有自监督方法。

Jun, 2024

本文介绍了一种基于神经辐射场（NeRF）的方法，用于从单个 360 度 RGB-D 图像合成新景象，并利用 2D 图像生成模型，最大权重独立集问题和模拟退火等算法，以优化生成的图像。

Mar, 2022

本论文提出了一种名为 Im2Pano3D 的卷积神经网络，该网络可以仅基于部分观察（<=50%），即 RGB-D 图像，为室内全景视图生成 3D 结构的稠密预测和语义标签的概率分布，其利用大规模合成和实际环境内部场景中学习到的强大的语境先验来实现。

Dec, 2017

使用神经渲染技术构建的数据集来训练深度立体网络，使其能够预测锐利且详细的视差图，并在 Middlebury 数据集上优于现有的自监督方法。

Mar, 2023

提出了一种通用感知 NeRF（GP-NeRF）模型，通过引入 transformers 和自我蒸馏机制，实现了语义场和几何场的联合渲染，以促进具有上下文感知的三维场景理解。在评估中，使用合成和真实世界数据集进行了两个感知任务（即语义和实例分割）的实验比较，取得了显著的优于现有方法的效果。

Nov, 2023