May, 2023

ConsistentNeRF: 在 3D 一致性方面增强神经辐射场，用于稀疏视图合成

PDF
TL;DR该论文提出了 ConsistentNeRF 方法，通过深度信息规范化像素之间的 3D 一致性，以提高 NeRF 在稀疏视图下的重建质量。在 DTU、NeRF Synthetic 和 LLFF 等基准测试中，与基线方法相比，该方法可以显著提高模型性能，如 PSNR 可提高 94％，SSIM 可提高 76％，LPIPS 可提高 31％。
发现论文，激发创造
  • 使用深度感知优化提高神经辐射场用于新景深合成

    SfMNeRF 提出了一种基于神经辐射场的方法，结合自监督深度估计方法对样本进行重构，同时利用极线和光度一致性等约束构建 3D 场景几何图像，提高了神经辐射场的表现，实现了更好地合成新视角。

    Apr, 2023

  • GeCoNeRF：基于几何一致性的少样本神经辐射场

    本文提出一种新的框架来规范化在几个样本（few-shot）设置中的神经辐射场（NeRF），通过几何感知一致性正则化。该方法利用了未观察视角的渲染深度图来将稀疏的输入图像变形到未观察视角并将其作为伪地面实现 NeRF 的学习，从而在特征层面而非像素级重建损失上鼓励这种几何感知的一致性，实现 NeRF 在语义和结构层面上的规范化，同时允许建模视角依赖性辐射以考虑不同视角的颜色变化。同时，本文提出一种有效的方法来筛除错误变形的解，以及稳定训练优化的训练策略。我们展示了本文提出的模型与现有最先进的几个样本设置下的 NeRF 模型相比具有竞争优势。

    Jan, 2023

  • SimpleNeRF：用更简化的方法规范稀疏输入神经辐射场

    使用增强模型和深度监督训练的前馈神经光辐射场模型能在少量视角下实现最新的视图合成表现。

    Sep, 2023

  • 减肥版 NeRF：语义一致的少样本视角合成

    DietNeRF 通过引入辅助语义一致性损失，使用预训练的视觉编码器，改进了使用较少图像时的神经辐射场的视图合成，从而提高了感知质量。

    Apr, 2021

  • 深度监督下的 NeRF：更少的视角和更快的训练

    通过引入深度监督机制，结合 SFM（结构光运动）得到的 “自由” 深度监督信息，在学习 Radiance Fields 的过程中对射线的结束点进行分布的损失函数，并且证明这种监督方式简单有效，可以使得渲染图像更加精准，支持其它类型的深度监督。

    Jul, 2021

  • RegNeRF：为稀疏输入提供视角综合的神经光辐射场正则化

    我们通过正则化几何和外观来解决 NeRF 在输入视图位数较少时的性能下降问题，同时在训练期间通过退火光线采样间隔和使用正则化流模型来处理未观察到视点的颜色，从而得到了一种可超过其他方法的模型。

    Dec, 2021

  • CMC: 跨视层多平面一致性的少样本新视角合成

    通过在 Neural Radiance Field 中引入深度感知一致性，利用分层表示构建多平面图像上的神经网络，并通过约束不同输入视图的渲染颜色和深度来规范未见目标视图，我们提出的方法能够在合成质量上超越现有方法。

    Feb, 2024

  • RustNeRF：低质量图像下的鲁棒神经辐射场

    本文通过 RustNeRF 算法提出了一种实现在现实世界中高质量三维模型合成的方法，通过利用实际影像退化建模、隐式多视图引导等实现了对 NeRF 训练模型的改进。实验结果表明 RustNeRF 方法在面对实际影像退化时表现出更好的鲁棒性。

    Jan, 2024

  • SPARF: 稀疏且有噪声姿势的神经辐射场

    这篇论文提出了一种基于多视角几何约束、利用稀疏输入视角和深度一致性损失函数的方法: Sparse Pose Adjusting Radiance Field (SPARF)，以在仅有少数宽基线输入图像的情况下 (尽低至 3 张)，实现新视角合成，同时在多个具有挑战性的数据集上取得了新的最先进结果。

    Nov, 2022

  • 从稀疏的输入视图推断神经辐射场的密集深度先验

    本文提出了一种利用深度先验来优化神经光辐射场模型的新方法，可在使用尽可能少的输入图像进行室内场景的数据有效的新视角合成中实现高保真度。

    Dec, 2021