Jan, 2024

HG3-NeRF: 针对稀疏视角输入的层次几何、语义和光度引导的神经辐射场

PDF
TL;DR引入了 Hierarchical Geometric, Semantic, and Photometric Guided NeRF (HG3-NeRF)，通过 Hierarchical Geometric Guidance (HGG) 和 Hierarchical Semantic Guidance (HSG) 提高极不完整观测下的几何、语义内容和外观的一致性，并在不同标准基准上胜过其他最先进的方法，获得高保真度的合成结果。
neural radiance fieldsnovel view synthesissparse view inputshierarchical geometric guidancehierarchical semantic guidance
发现论文，激发创造
  • GSNeRF: 增强的通用语义神经辐射场与 3D 场景理解

    使用多视图输入合成新视图图像，神经辐射场（NeRF）已成为三维视觉中的热门研究课题。本文提出了一种具有一般化语义神经辐射场（GSNeRF）的方法，该方法独特地将图像语义纳入合成过程中，从而能够对未见场景生成新视图图像和相关的语义地图。我们的 GSNeRF 由两个阶段组成：语义地理推理和深度引导的视觉渲染。前者能够从场景中观察多视图图像输入，提取语义和几何特征。在后者的指导下，利用得到的图像几何信息，进行图像和语义渲染，从而提高性能。我们的实验证实了 GSNeRF 在新视图图像和语义分割合成方面优于先前的工作，并进一步验证了我们的采样策略的有效性。

    Mar, 2024

  • 从多视角几何学中学习神经辐射场

    MVG-NeRF 组合了传统的多视角几何算法和神经辐射场 (NeRF) 用于基于图像的三维重建。我们提出使用像素级深度和法线来引导 NeRF 优化，以提高所估计表面的质量。实验结果表明，该方法可以从图像中获取干净的三维网格，同时在新视角合成方面具有竞争力的表现。

    Oct, 2022

  • NeRF-HuGS: 面向非静态场景的改进神经辐射场，使用启发式引导分割

    提出了一种名为 “启发式引导分割”（HuGS）的新范式，通过将手工制作启发式规则和最先进的分割模型的优点巧妙地结合在一起，显著增强了静态场景与瞬态干扰物的分离能力，同时克服了以往解决方案的局限性，可显著减少 NeRFs 训练中非静态场景下的不希望伪影问题。

    Mar, 2024

  • 使用深度感知优化提高神经辐射场用于新景深合成

    SfMNeRF 提出了一种基于神经辐射场的方法，结合自监督深度估计方法对样本进行重构，同时利用极线和光度一致性等约束构建 3D 场景几何图像，提高了神经辐射场的表现，实现了更好地合成新视角。

    Apr, 2023

  • H-NeRF: 人体运动的神经辐射场渲染与时间重建

    本文提出了神经辐射场用于人物运动的渲染和时空（4D）重建，该方法将神经场表示、新视角合成和隐式统计几何人类表示相结合，并应用于人类姿势识别和服装模拟。

    Oct, 2021

  • SGCNeRF: 通过稀疏几何一致性指导的少样本神经渲染

    通过引入特征匹配的稀疏几何规则化模块，本文提出了一种名为 SGCNeRF 的有效少样本神经渲染架构，通过 NeRF 迭代中几何和纹理的渐进细化，提供卓越的几何一致性结果，并在 LLFF 和 DTU 数据集上分别提高了 0.7dB 和 0.6dB 的 PSNR，优于 FreeNeRF。

    Apr, 2024

  • 基于几何指导的渐进式通用高效神经人体渲染

    本研究提出了一种基于神经辐射场的高保真度自由视点下人体合成的通用且高效的管道，其中利用几何引导的多视点特征整合方法和渐进式渲染管道通过提供完整的几何体积和预测的密度值来显著提高多个泛化设置下的综合性能和渲染效率。

    Dec, 2021

  • 具有阴影指导的 NeRF 合成

    本文提出了一种叫做 NeRF 综合的新任务，利用 NeRF 补丁范例的结构内容构建大尺寸的新辐射场，我们提出了一种两阶段的方法来综合新场景，控制场景的照明效果采用阴影指导而不是分离场景，我们表明了我们的方法可以生成高质量的结果，对曲面上的新场景进行综合，增强了我们所提出的 NeRF 综合方法的实用性。

    Jun, 2023

  • ConsistentNeRF: 在 3D 一致性方面增强神经辐射场，用于稀疏视图合成

    该论文提出了 ConsistentNeRF 方法，通过深度信息规范化像素之间的 3D 一致性，以提高 NeRF 在稀疏视图下的重建质量。在 DTU、NeRF Synthetic 和 LLFF 等基准测试中，与基线方法相比，该方法可以显著提高模型性能，如 PSNR 可提高 94％，SSIM 可提高 76％，LPIPS 可提高 31％。

    May, 2023

  • GeCoNeRF：基于几何一致性的少样本神经辐射场

    本文提出一种新的框架来规范化在几个样本（few-shot）设置中的神经辐射场（NeRF），通过几何感知一致性正则化。该方法利用了未观察视角的渲染深度图来将稀疏的输入图像变形到未观察视角并将其作为伪地面实现 NeRF 的学习，从而在特征层面而非像素级重建损失上鼓励这种几何感知的一致性，实现 NeRF 在语义和结构层面上的规范化，同时允许建模视角依赖性辐射以考虑不同视角的颜色变化。同时，本文提出一种有效的方法来筛除错误变形的解，以及稳定训练优化的训练策略。我们展示了本文提出的模型与现有最先进的几个样本设置下的 NeRF 模型相比具有竞争优势。

    Jan, 2023