Jul, 2023

使用伪深度和融合改进的神经辐射场

PDF
TL;DR通过构建多尺度编码体积和提供多尺度几何信息给 NeRF 模型，本文在新颖视角合成和密集几何建模方面提出了一种先进行深度预测和辐射场重建，以使构建的体积尽可能接近场景中物体的表面和渲染的深度更准确，然后通过深度引导的邻域特征融合，提高点体积特征的质量，从而实现了对场景进行优化而不是对单个场景优化的结果。
neural radiance fieldsview synthesismulti-scale encoding volumesdepth predictionpoint volume feature
发现论文，激发创造
  • 从多视角几何学中学习神经辐射场

    MVG-NeRF 组合了传统的多视角几何算法和神经辐射场 (NeRF) 用于基于图像的三维重建。我们提出使用像素级深度和法线来引导 NeRF 优化，以提高所估计表面的质量。实验结果表明，该方法可以从图像中获取干净的三维网格，同时在新视角合成方面具有竞争力的表现。

    Oct, 2022

  • 幕后之王：用密度场进行单视角重建

    该研究提出使用隐式密度场而非神经辐射场作为图像的几何场景表示，通过自监督训练神经网络能够在单个前向传递中预测该场景表示，并且可以在深度预测和新视角合成方面进行体积渲染。实验表明，该方法能够预测出输入图像中遮挡区域的有意义几何信息。

    Jan, 2023

  • 快速神经辐射场重建的体积特征渲染

    本研究提出了将本应在神经网络评估后再进行渲染的颜色，改为直接渲染出射线查询的特征向量，从而大幅降低了神经网络评估的复杂度和计算开销，并取得了较好的渲染质量。

    May, 2023

  • NeRFusion: 大规模场景重建中径流场融合

    NeRFusion 提出了一种方法，通过将 NeRF 和 TSDF-based fusion 技术结合起来，实现了大规模室内场景的高效重建和逼真渲染，使用全新的循环神经网络来递增地重建实时稀疏场景表示，进一步提高了渲染质量，取得了大规模室内和小型物体场景的最先进质量，并比 NeRF 和其他最新方法重建速度更快。

    Mar, 2022

  • NerfingMVS: 室内多视图立体的神经辐射场引导优化

    本文提出一种新的多视角深度估计方法，利用传统重建和基于学习的 prior，结合神经辐射场（NeRF）来直接优化隐式体积，消除室内场景中匹配像素的困难步骤，并使用自适应的深度先验来引导 NeRF 的优化过程，通过渲染图像计算出的逐像素置信度图可用于进一步提高深度质量。

    Sep, 2021

  • 从稀疏的输入视图推断神经辐射场的密集深度先验

    本文提出了一种利用深度先验来优化神经光辐射场模型的新方法，可在使用尽可能少的输入图像进行室内场景的数据有效的新视角合成中实现高保真度。

    Dec, 2021

  • 高效神经辐射场用于交互式自由视点视频

    本文提出了一种名为 ENeRF 的场景表示，用于快速创建交互式自由视点视频，并实现了深度预测和辐射场网络的联合学习，通过针对场景表面附近的点进行采样，从而显著提高了渲染速度。在多个基准测试中进行实验，结果表明我们的方法在表现上具有竞争力，同时比先前的泛化辐射场方法快至少 60 倍。

    Dec, 2021

  • MVSNeRF：多视角立体下的快速通用辐射场重建

    提出了 MVSNeRF，这是一种新颖的神经渲染方法，可以通过快速网络推理从仅三个附近输入视图重建辐射场，利用平面扫描代价体进行几何感知场景推理，并将其与基于物理的体积渲染相结合，能够横跨场景（甚至是室内场景）泛化，并仅使用三个输入图像生成逼真的视图合成结果，比类似工作在可推广的辐射场重建方面表现显著优越。

    Mar, 2021

  • DeLiRa: 自监督深度、光照和辐射场

    本文提出使用自监督深度估计文献中的多视角光度目标作为几何正则化器来对体积渲染进行改进，并使用变压器来显式建模场景几何形状和深度，并展示了这种方法的性能。通过共享潜在编码信息，无需增加网络复杂度，越过单任务学习的局限性，实现了针对受限视角多样性的高质量体积渲染和实时新视角和深度合成的任务，并在 ScanNet 基准测试中实现了最先进的结果。

    Apr, 2023

  • 使用神经辐射场表示场景进行视角合成

    本文介绍了一种使用深度神经网络进行视图综合和图像合成的方法，通过连续的体积场函数来优化复杂场景的视图，并在神经辐射场方面取得了最新的研究成果。

    Mar, 2020