CVPRMar, 2024

GSNeRF: 增强的通用语义神经辐射场与 3D 场景理解

PDF
TL;DR使用多视图输入合成新视图图像，神经辐射场（NeRF）已成为三维视觉中的热门研究课题。本文提出了一种具有一般化语义神经辐射场（GSNeRF）的方法，该方法独特地将图像语义纳入合成过程中，从而能够对未见场景生成新视图图像和相关的语义地图。我们的 GSNeRF 由两个阶段组成：语义地理推理和深度引导的视觉渲染。前者能够从场景中观察多视图图像输入，提取语义和几何特征。在后者的指导下，利用得到的图像几何信息，进行图像和语义渲染，从而提高性能。我们的实验证实了 GSNeRF 在新视图图像和语义分割合成方面优于先前的工作，并进一步验证了我们的采样策略的有效性。
neural radiance fieldsmulti-view inputsgeneralizable semantic neural radiance fieldsemantic mapsvisual rendering
发现论文，激发创造
  • 基于语义感知的神经辐射场用于视觉场景理解：综述

    本综述全面研究了语义感知的神经辐射场（NeRFs）在视觉场景理解中的作用，覆盖了 250 多篇学术论文的分析。它探讨了 NeRFs 在场景中熟练推断静态和动态物体的三维表示的能力，并介绍了其在生成高质量新视点、补全场景细节（修复）、进行全面场景分割（全景分割）、预测三维边界框、编辑三维场景和提取以物体为中心的三维模型方面的重要性。本研究的一个重要方面是将语义标签应用为视点不变函数，有效地将空间坐标映射到一系列语义标签的过程，从而便于识别场景中的不同物体。总体而言，本综述强调了在视觉场景解释的背景下，语义感知的神经辐射场的发展和多样应用。

    Feb, 2024

  • HG3-NeRF: 针对稀疏视角输入的层次几何、语义和光度引导的神经辐射场

    引入了 Hierarchical Geometric, Semantic, and Photometric Guided NeRF (HG3-NeRF)，通过 Hierarchical Geometric Guidance (HGG) 和 Hierarchical Semantic Guidance (HSG) 提高极不完整观测下的几何、语义内容和外观的一致性，并在不同标准基准上胜过其他最先进的方法，获得高保真度的合成结果。

    Jan, 2024

  • Gen-NeRF: 通过算法硬件协同设计实现高效率和通用化的神经辐射场

    Gen-NeRF 是一个算法硬件协同设计框架，可以加速可广义的 NeRF (神经辐射场) 生成新视点，从而实现实时的虚拟和增强现实体验。

    Apr, 2023

  • GP-NeRF：通用感知 NeRF 用于上下文感知 3D 场景理解

    提出了一种通用感知 NeRF（GP-NeRF）模型，通过引入 transformers 和自我蒸馏机制，实现了语义场和几何场的联合渲染，以促进具有上下文感知的三维场景理解。在评估中，使用合成和真实世界数据集进行了两个感知任务（即语义和实例分割）的实验比较，取得了显著的优于现有方法的效果。

    Nov, 2023

  • 使用深度感知优化提高神经辐射场用于新景深合成

    SfMNeRF 提出了一种基于神经辐射场的方法，结合自监督深度估计方法对样本进行重构，同时利用极线和光度一致性等约束构建 3D 场景几何图像，提高了神经辐射场的表现，实现了更好地合成新视角。

    Apr, 2023

  • GM-NeRF: 从多角度图像中学习可推广的基于模型的神经辐射场

    提出了一种基于神经辐射场和几何引导注意力机制的方法来合成高保真度的自由视点图像，并通过实验证明其具有更好的合成效果和几何重建精度。

    Mar, 2023

  • SinNeRF：单图训练神经辐射场处理复杂场景

    本论文提出了单视角 NeRF 框架 (SinNeRF)，通过引入半监督的学习过程，利用几何标签和语义标签指导训练过程，成功实现了仅通过单个视图将神经辐射场训练到现实场景，即使在不进行多视图数据集预训练的情况下，SinNeRF 可产生逼真的新视图综合结果。

    Apr, 2022

  • 从多视角几何学中学习神经辐射场

    MVG-NeRF 组合了传统的多视角几何算法和神经辐射场 (NeRF) 用于基于图像的三维重建。我们提出使用像素级深度和法线来引导 NeRF 优化，以提高所估计表面的质量。实验结果表明，该方法可以从图像中获取干净的三维网格，同时在新视角合成方面具有竞争力的表现。

    Oct, 2022

  • GSN: 神经辐射场的通用分割

    将语义特征场转化为广义 GNT 表示，实现对未知场景的实时多视角分割。

    Feb, 2024

  • OV-NeRF: 基于视觉和语言的开放词汇神经辐射场技术用于 3D 语义理解

    利用 OV-NeRF 模型，通过单视图和跨视图策略，在 3D 场景中提高语义感知能力，通过 Region Semantic Ranking（RSR）和 Cross-view Self-enhancement（CSE）方法解决了噪声和不一致语义的问题，实验证明其优于当前最先进方法并表现出稳定的性能。

    Feb, 2024