使用多视图输入合成新视图图像，神经辐射场（NeRF）已成为三维视觉中的热门研究课题。本文提出了一种具有一般化语义神经辐射场（GSNeRF）的方法，该方法独特地将图像语义纳入合成过程中，从而能够对未见场景生成新视图图像和相关的语义地图。我们的 GSNeRF 由两个阶段组成：语义地理推理和深度引导的视觉渲染。前者能够从场景中观察多视图图像输入，提取语义和几何特征。在后者的指导下，利用得到的图像几何信息，进行图像和语义渲染，从而提高性能。我们的实验证实了 GSNeRF 在新视图图像和语义分割合成方面优于先前的工作，并进一步验证了我们的采样策略的有效性。

Mar, 2024

提出了一种新型的泛化神经辐射场（NeRF）范式，通过基于点而非基于图像的渲染构建了可泛化的神经场，称之为可泛化神经点场（GPF）。该模型通过显式建模可见性并将其与神经特征相结合，提出了一种非均匀取样策略以提高渲染速度和重构质量，并利用特征增强的可学习内核在具有差异性几何结构的区域缓解形变。该研究表明，相比于其他方法和基准数据集，该模型在三个数据集上无论在泛化还是微调设置下，都能提供更好的几何形状、视角一致性和渲染质量，初步证明了该新范式在泛化 NeRF 中的潜力。

Jan, 2024

本文介绍了一种名为 GSN (Generative Scene Networks) 的生成式场景网络，通过学习将复杂室内场景分解成许多局部辐射场并能够从任意视点渲染，同时具有生成新场景和完成仅有稀疏 2D 观察的场景的能力，并能够更好地表示和呈现大尺寸和复杂室内环境。通过与其他现有模型的比较，GSN 在多个场景数据集上表现出更高的场景渲染质量。

Apr, 2021

本文提出了 ISRF 方法，该方法可以与尝试从 RF 中分割复杂对象的先前分割方法相比，交互性地分割带有细微结构和外观的对象，并可用于新视图合成、多个场景中的对象分割等应用。

Dec, 2022

RT-GS2 是第一个能够实现实时泛化的 3D 高斯渲染中语义分割方法，通过提取独立于视角的 3D 高斯特征并采用新颖的视角相关 / 独立特征融合，能够在不同视角下提升语义一致性，超过同领域最先进方法的语义分割质量达到 8.01％的提高，并以每秒 27.03 帧的实时性能，相比现有方法提速达 901 倍，这一工作在引入光辐射场 3D 高斯表达领域的语义分割上代表了重大进展。

May, 2024

该研究论文对于在光辐射场中进行交互式分割的现有方法进行了探讨，并提出了一种新的 SGISRF 方法，能够通过少量用户交互点击，对由光辐射场表示的新场景进行 3D 物体分割。该方法通过三种特别设计的技术来解决三个关键挑战，并在多个实验中证明了其有效性和适用性。

Aug, 2023

通过 2D 基础模型的 3D 特征场蒸馏，我们提出了一种通用的方法，用于实现新颖视图的语义分割、语言引导编辑和任意维度语义特征的 3D 高斯喷洒，提供可比较或更好的结果，并且训练和渲染速度显著更快。

Dec, 2023

提出了一种通用感知 NeRF（GP-NeRF）模型，通过引入 transformers 和自我蒸馏机制，实现了语义场和几何场的联合渲染，以促进具有上下文感知的三维场景理解。在评估中，使用合成和真实世界数据集进行了两个感知任务（即语义和实例分割）的实验比较，取得了显著的优于现有方法的效果。

Nov, 2023

在机器人应用中，参数化表示如神经辐射场（NeRF）相较于非参数化表示如高斯分块（GS）更具泛化能力，但 GS 渲染速度更快。我们开发了一种在这两者之间进行转换的方法，既拥有 NeRF 的优势（在不同视图下具有更好的 PSNR、SSIM 和 LPIPS，并且具有紧凑的表示），又拥有 GS 的优势（实时渲染和易于修改表示），这些转换的计算成本相较于从头训练这两个方法来说很小。

May, 2024

基于神经隐式表示的 3D 场景分割方法，通过多视图图像特征和语义地图作为输入，采用软投票机制来聚合来自不同视图的二维语义信息，结合视角差异信息预测投票分数，通过可见性模块筛选掉遮挡视图的有害信息，在只有二维语义监督的情况下，能够综合合成语义地图或进行新场景的三维语义分割。

Oct, 2023