全景城市场景分割的 3D 到 2D 标签转移的 Panoptic NeRF

Mar, 2022

全景城市场景分割的 3D 到 2D 标签转移的 Panoptic NeRF

Panoptic NeRF: 3D-to-2D Label Transfer for Panoptic Urban Scene Segmentation

Xiao Fu, Shangzhan Zhang, Tianrun Chen, Yichong Lu, Lanyun Zhu...

TL;DR本研究提出了一种新的 3D 到 2D 标签转换方法 - Panoptic NeRF 用于语义分割和实例分割任务，它利用了现有数据集中 2D 语义线索和粗糙 3D 标注信息的统一，实现了多视角一致的二维标签生成，可以提高多视角下的几何语义渲染准确性，消除粗糙 3D 标注的标签歧义和 2D 语义标注的噪声，与其他标签转移方法相比，在 KITTI-360 数据集的城市场景中，Panoptic NeRF 在准确度和多视角一致性方面表现更好。

Abstract

Large-scale training data with high-quality annotations is critical for training semantic and instance segmentation models. Unfortunately, pixel-wise annotation is labor-intensive and costly, raising the demand for more efficient labeling strategies. In this work, we present a novel 3D

semantic segmentation instance segmentation label transfer 3d annotations multi-view consistency

发现论文，激发创造

城市场景中的全景 3D 到 2D 标签转移：PanopticNeRF-360

利用粗糙的三维注释和有噪音的二维语义线索结合，从任意视角生成一致的全景标签和高质量图像。

Sep, 2023

DatasetNeRF：基于生成辐射场的高效三维感知数据工厂

该论文介绍了 DatasetNeRF，一种新颖的方法，它能够生成无限数量、高质量的与 3D 一致的 2D 注释和 3D 点云分割，同时利用最少的 2D 人工标注。

Nov, 2023

PAg-NeRF：用于农业机器人快速高效的全景 3D 表示的端到端方法

使用 PAg-NeRF 这一新颖的基于 NeRF 的系统，我们能够在具有嘈杂机器人测距位姿和不一致的自动全景预测 ID 之间的图像序列上训练我们的表示，尽管有这些嘈杂的输入，我们的系统能够输出场景几何结构，照片逼真渲染和一致的 3D 全景表示，我们在一个极具挑战的园艺场景中评估了这一新颖系统，通过这样做证明了一个可以利用嘈杂机器人位姿而不是预先计算的精确位姿的端到端可训练系统，与基准方法相比，峰值信噪比从 21.34dB 提高到 23.37dB，全景质量从 56.65% 提高到 70.08%，此外，我们的方法更快且可以通过调整提高推理时间，同时具有大约 12 倍少的参数。

Sep, 2023

GP-NeRF：通用感知 NeRF 用于上下文感知 3D 场景理解

提出了一种通用感知 NeRF（GP-NeRF）模型，通过引入 transformers 和自我蒸馏机制，实现了语义场和几何场的联合渲染，以促进具有上下文感知的三维场景理解。在评估中，使用合成和真实世界数据集进行了两个感知任务（即语义和实例分割）的实验比较，取得了显著的优于现有方法的效果。

Nov, 2023

NeRF-Det++: 室内多视角 3D 检测中引入语义线索和透视感知深度监督

NeRF-Det++ 通过创新地利用 NeRF 来增强表示学习，在室内多视角 3D 检测方面取得了令人瞩目的性能。对于其目前的设计，我们揭示了三个关键性的缺点，包括语义模糊、不恰当的采样和对深度监督的利用不足。为了解决上述问题，我们提出了三种相应的解决方案：1）语义增强；2）透视感知采样；3）序数残差深度监督。在 ScanNetV2 和 ARKITScenes 数据集中，NeRF-Det++ 呈现出令人满意的性能。尤其是在 ScanNetV2 中，NeRF-Det++ 在 [email protected] 方面超过竞争对手 NeRF-Det 1.9%，在 [email protected] 方面超过 3.5%。该代码将在公开的网址上提供。

Feb, 2024

通过三维到二维标签转移实现街景的语义实例注释

该研究论文提出了一种将语义实例标签从二维提升到三维的方法，通过从解析来自立体或激光数据的重建场景的 2D 标签信息，转化到图像域，可更高效地完成像素级别的语义注释与更准确，基于时间的标签。

Nov, 2015

几何感知的场场变换用于三维语义分割

我们提出了一种新颖的方法，通过利用神经辐射场（NeRFs）从二维监督中进行三维语义分割，通过提取表面点云上的特征，实现了场景的紧凑表示，这种表示对于三维推理而言具有高效的采样并且适于少样本分割。我们的方法不依赖于场景参数化，可以适用于任何类型的 NeRF 场景。

Oct, 2023

实例神经辐射场

这篇论文介绍了一种名为 Instance NeRF 的学习型 NeRF 3D 实例分割管道，它采用 3D 提案基于掩膜预测网络，可以学习给定场景的 3D 实例分割，并在任意 3D 点查询实例信息，超越了以前的 NeRF 分割方法和具有竞争力的 2D 分割方法。

Apr, 2023

Sem2NeRF：将单视图语义掩模转换为神经辐射场

本文提出了一个名为 Sem2NeRF 的框架，实现了从单视角语义掩码到 3D 物体模型的转换任务，并采用区域感知学习策略对映射的精度进行改进，其在两个基准数据集上表现优于多个强基线模型。

Mar, 2022

OR-NeRF：由多视角分割指导的神经辐射场，用于删除 3D 场景中的对象

本文提出了一种名为 OR-NeRF 的新型对象移除流水线，它可以在单个视图上通过点或文本提示从 3D 场景中移除对象，并在更短的时间内实现更好的性能。

May, 2023