ICMLJan, 2023

GeCoNeRF：基于几何一致性的少样本神经辐射场

PDF
TL;DR本文提出一种新的框架来规范化在几个样本（few-shot）设置中的神经辐射场（NeRF），通过几何感知一致性正则化。该方法利用了未观察视角的渲染深度图来将稀疏的输入图像变形到未观察视角并将其作为伪地面实现 NeRF 的学习，从而在特征层面而非像素级重建损失上鼓励这种几何感知的一致性，实现 NeRF 在语义和结构层面上的规范化，同时允许建模视角依赖性辐射以考虑不同视角的颜色变化。同时，本文提出一种有效的方法来筛除错误变形的解，以及稳定训练优化的训练策略。我们展示了本文提出的模型与现有最先进的几个样本设置下的 NeRF 模型相比具有竞争优势。
发现论文，激发创造
  • ConsistentNeRF: 在 3D 一致性方面增强神经辐射场，用于稀疏视图合成

    该论文提出了 ConsistentNeRF 方法，通过深度信息规范化像素之间的 3D 一致性，以提高 NeRF 在稀疏视图下的重建质量。在 DTU、NeRF Synthetic 和 LLFF 等基准测试中，与基线方法相比，该方法可以显著提高模型性能，如 PSNR 可提高 94％，SSIM 可提高 76％，LPIPS 可提高 31％。

    May, 2023

  • RegNeRF：为稀疏输入提供视角综合的神经光辐射场正则化

    我们通过正则化几何和外观来解决 NeRF 在输入视图位数较少时的性能下降问题，同时在训练期间通过退火光线采样间隔和使用正则化流模型来处理未观察到视点的颜色，从而得到了一种可超过其他方法的模型。

    Dec, 2021

  • SGCNeRF: 通过稀疏几何一致性指导的少样本神经渲染

    通过引入特征匹配的稀疏几何规则化模块，本文提出了一种名为 SGCNeRF 的有效少样本神经渲染架构，通过 NeRF 迭代中几何和纹理的渐进细化，提供卓越的几何一致性结果，并在 LLFF 和 DTU 数据集上分别提高了 0.7dB 和 0.6dB 的 PSNR，优于 FreeNeRF。

    Apr, 2024

  • 从多视角几何学中学习神经辐射场

    MVG-NeRF 组合了传统的多视角几何算法和神经辐射场 (NeRF) 用于基于图像的三维重建。我们提出使用像素级深度和法线来引导 NeRF 优化，以提高所估计表面的质量。实验结果表明，该方法可以从图像中获取干净的三维网格，同时在新视角合成方面具有竞争力的表现。

    Oct, 2022

  • 减肥版 NeRF：语义一致的少样本视角合成

    DietNeRF 通过引入辅助语义一致性损失，使用预训练的视觉编码器，改进了使用较少图像时的神经辐射场的视图合成，从而提高了感知质量。

    Apr, 2021

  • SimpleNeRF：用更简化的方法规范稀疏输入神经辐射场

    使用增强模型和深度监督训练的前馈神经光辐射场模型能在少量视角下实现最新的视图合成表现。

    Sep, 2023

  • 自我演化神经辐射场

    提出了一种名为 SE-NeRF 的自我进化神经辐射场框架，通过在教师 - 学生框架中将 few-shot NeRF 转化为，将由教师生成的附加伪标签训练学生，通过使用可靠性估计方法提取射线级伪标签，使得 NeRF 能够学习更准确、更强健的三维场景几何，并展示与评估了将该自我训练框架应用于现有模型时改进了渲染图像的质量并在多种环境中实现了最先进的性能。

    Dec, 2023

  • 重新 Nerfing: 通过新视角合成对神经辐射场施加几何约束

    通过 Re-Nerfing 方法，我们在 Neural Radiance Fields 的基础上使用多阶段的方法增加场景的覆盖范围，提高新视角的几何一致性，并通过新合成的图像实现结构和极线约束的优化，对 mip-NeRF 360 数据集进行的实验证明了 Re-Nerfing 的有效性。

    Dec, 2023

  • NeRF++：分析和改进神经辐射场

    通过 NeRF 的方法来实现对于图像的 View Synthesis, 本文提到了 NeRF 的成功之处以及在应用于大规模无界三维场景中进行改进，使其在 360° 的拍摄模式下提高拍摄质量。

    Oct, 2020

  • SinNeRF：单图训练神经辐射场处理复杂场景

    本论文提出了单视角 NeRF 框架 (SinNeRF)，通过引入半监督的学习过程，利用几何标签和语义标签指导训练过程，成功实现了仅通过单个视图将神经辐射场训练到现实场景，即使在不进行多视图数据集预训练的情况下，SinNeRF 可产生逼真的新视图综合结果。

    Apr, 2022