本综述全面研究了语义感知的神经辐射场（NeRFs）在视觉场景理解中的作用，覆盖了 250 多篇学术论文的分析。它探讨了 NeRFs 在场景中熟练推断静态和动态物体的三维表示的能力，并介绍了其在生成高质量新视点、补全场景细节（修复）、进行全面场景分割（全景分割）、预测三维边界框、编辑三维场景和提取以物体为中心的三维模型方面的重要性。本研究的一个重要方面是将语义标签应用为视点不变函数，有效地将空间坐标映射到一系列语义标签的过程，从而便于识别场景中的不同物体。总体而言，本综述强调了在视觉场景解释的背景下，语义感知的神经辐射场的发展和多样应用。

Feb, 2024

本论文提出了一种基于视角图进行神经元无关表示的方法，使用语义感知的神经辐射场和卷积编码器共同地学习三维感知神经元隐式表示，在强化学习中实现语义感知的表征。

Jan, 2023

通过利用场景语义先验，加快训练速度和提高渲染效果，本文改进了 NeRF-based 模型，在特定目标上进行快速训练，并且对所有 NeRF-based 模型都适用。此外，通过稀疏采样负射线样本并研究弱监督方法，进一步加速训练并保持渲染质量。最后，通过扩展像素语义和颜色渲染公式，提出了一种新的场景编辑技术，以实现特定语义目标的独特显示或在渲染中进行掩盖。同时，通过结合形态学运算和聚类，设计了自监督循环来解决场景中无监督区域的不正确推断问题。

Aug, 2023

本文提出了一个名为 Sem2NeRF 的框架，实现了从单视角语义掩码到 3D 物体模型的转换任务，并采用区域感知学习策略对映射的精度进行改进，其在两个基准数据集上表现优于多个强基线模型。

Mar, 2022

使用多视图输入合成新视图图像，神经辐射场（NeRF）已成为三维视觉中的热门研究课题。本文提出了一种具有一般化语义神经辐射场（GSNeRF）的方法，该方法独特地将图像语义纳入合成过程中，从而能够对未见场景生成新视图图像和相关的语义地图。我们的 GSNeRF 由两个阶段组成：语义地理推理和深度引导的视觉渲染。前者能够从场景中观察多视图图像输入，提取语义和几何特征。在后者的指导下，利用得到的图像几何信息，进行图像和语义渲染，从而提高性能。我们的实验证实了 GSNeRF 在新视图图像和语义分割合成方面优于先前的工作，并进一步验证了我们的采样策略的有效性。

Mar, 2024

通过分割语义区域并利用神经辐射场学习各自的辐射场，最后合并成完整图像，CNeRF 方法可以实现细粒度的语义区域操作，同时维持高质量的 3D 一致合成。

Feb, 2023

提出了一种通用感知 NeRF（GP-NeRF）模型，通过引入 transformers 和自我蒸馏机制，实现了语义场和几何场的联合渲染，以促进具有上下文感知的三维场景理解。在评估中，使用合成和真实世界数据集进行了两个感知任务（即语义和实例分割）的实验比较，取得了显著的优于现有方法的效果。

Nov, 2023

本研究旨在扩展神经辐射场（NeRF）方法，并通过将语义信息与外观和几何信息进行联合编码，实现同时获取精确的 2D 语义标签，而无需使用过多的现场注释数据，该方法通过有效地传播稀疏或嘈杂的标签，在轻松地应用于室内场景标注、超分辨率、标签插值和多视图语义标签融合等多个有趣应用展示了其优越性。

Mar, 2021

本文研究了语义分割的连续多场景自适应问题，提出了基于 Semantic-NeRF 网络的解决方案，通过将分割模型的预测结果融合，使用视点一致的渲染语义标签来适应模型。我们在 ScanNet 数据集上测试，取得了比基线和最先进的无监督域自适应方法更好的性能。

Nov, 2022

DietNeRF 通过引入辅助语义一致性损失，使用预训练的视觉编码器，改进了使用较少图像时的神经辐射场的视图合成，从而提高了感知质量。

Apr, 2021