CVPRDec, 2021

信息熵优化的少样本神经体积渲染

PDF
TL;DR本文提出了一种信息论正则化技术来解决少样本新视角合成的问题，并将其应用于神经隐式表示，通过对每条射线密度的熵约束来最小化重建不一致性，并进一步通过限制具有略微不同的视点的两条射线的信息收益来缓解训练图像从几乎冗余的视点获取的潜在退化问题。
few-shotnovel view synthesisneural implicit representationentropy constraintspatially smoothness constraint
发现论文，激发创造
  • 用于少样本神经辐射场的信息光线选择

    KeyNeRF 是一种在少样本情况下训练 NeRF 的简单而有效的方法，通过关注关键信息光线，首先通过一个视图选择算法在相机级别选择这样的光线，该算法在促进基线多样性的同时保证场景全面覆盖，然后通过基于局部图像熵的概率分布进行像素级的采样。我们的方法在与最先进的方法进行比较时表现出色，同时对现有的 NeRF 代码库的改动要求较小。

    Dec, 2023

  • 减肥版 NeRF：语义一致的少样本视角合成

    DietNeRF 通过引入辅助语义一致性损失，使用预训练的视觉编码器，改进了使用较少图像时的神经辐射场的视图合成，从而提高了感知质量。

    Apr, 2021

  • RegNeRF：为稀疏输入提供视角综合的神经光辐射场正则化

    我们通过正则化几何和外观来解决 NeRF 在输入视图位数较少时的性能下降问题，同时在训练期间通过退火光线采样间隔和使用正则化流模型来处理未观察到视点的颜色，从而得到了一种可超过其他方法的模型。

    Dec, 2021

  • GeCoNeRF：基于几何一致性的少样本神经辐射场

    本文提出一种新的框架来规范化在几个样本（few-shot）设置中的神经辐射场（NeRF），通过几何感知一致性正则化。该方法利用了未观察视角的渲染深度图来将稀疏的输入图像变形到未观察视角并将其作为伪地面实现 NeRF 的学习，从而在特征层面而非像素级重建损失上鼓励这种几何感知的一致性，实现 NeRF 在语义和结构层面上的规范化，同时允许建模视角依赖性辐射以考虑不同视角的颜色变化。同时，本文提出一种有效的方法来筛除错误变形的解，以及稳定训练优化的训练策略。我们展示了本文提出的模型与现有最先进的几个样本设置下的 NeRF 模型相比具有竞争优势。

    Jan, 2023

  • SGCNeRF: 通过稀疏几何一致性指导的少样本神经渲染

    通过引入特征匹配的稀疏几何规则化模块，本文提出了一种名为 SGCNeRF 的有效少样本神经渲染架构，通过 NeRF 迭代中几何和纹理的渐进细化，提供卓越的几何一致性结果，并在 LLFF 和 DTU 数据集上分别提高了 0.7dB 和 0.6dB 的 PSNR，优于 FreeNeRF。

    Apr, 2024

  • 高质量神经渲染的各向异性神经表征学习

    通过学习隐式体积表示来改善场景表示和重建的方法，利用学习的视角相关特征将体积函数建模为球谐（SH）引导的各向异性特征，通过参数化多层感知机提高渲染质量，并通过能量正则化实现鲁棒的场景重建，该方法可在基于 NeRF 的框架中应用。广泛的实验证明了所提出表示方法对于多种 NeRF 和合成真实场景的渲染质量的提升，达到了最先进的渲染性能。

    Nov, 2023

  • MixNeRF: 用混合密度对光线进行建模，从稀疏输入中合成新的视角

    本文提出了 MixNeRF，并使用混合密度模型对光线进行建模，从而实现了稀疏输入的新视角综合，同时也提出了新的光线深度估计任务，实验结果表明在训练和推断方面具有更高效率的同时，MixNeRF 在各种标准基准测试中都优于其他现有方法。

    Feb, 2023

  • SimpleNeRF：用更简化的方法规范稀疏输入神经辐射场

    使用增强模型和深度监督训练的前馈神经光辐射场模型能在少量视角下实现最新的视图合成表现。

    Sep, 2023

  • CMC: 跨视层多平面一致性的少样本新视角合成

    通过在 Neural Radiance Field 中引入深度感知一致性，利用分层表示构建多平面图像上的神经网络，并通过约束不同输入视图的渲染颜色和深度来规范未见目标视图，我们提出的方法能够在合成质量上超越现有方法。

    Feb, 2024

  • ViP-NeRF：稀疏输入神经辐射场的可见性先验

    通过使用可靠的可见性先验计算，对 NeRF 模型进行训练和重构，实现了对场景的高质量视角转换，相较于传统的基于深度估计的约束方法有显著提升。

    Apr, 2023