Jun, 2023

使用超网络学习改进的 NeRF 先验知识的 HyP-NeRF

PDF
TL;DR本文提出了一种使用超网络来学习可推广类别级神经辐射场先验的隐式编码方法，称为 HyP-NeRF。 HyP-NeRF 不仅可以显着提高质量，而且还可以在多个下游任务中使用。
neural radiance fieldshyp-nerfhypernetworksgeneralizablemulti-resolution
发现论文，激发创造
  • 超平面：用于快速 NeRF 自适应的超网络方法

    提出了一种基于超网络范例的少样本学习方法，通过从训练数据中收集信息并生成通用权重的更新，实现了从少量图像中一步生成高质量的 3D 物体表示的高效方法。通过与最先进的解决方案进行直接比较以及全面的剔除研究，证实了该方法的有效性。

    Feb, 2024

  • Hyb-NeRF：神经辐射场的多分辨率混合编码

    Hyb-NeRF 是一种新颖的神经辐射场，具有多分辨率混合编码，实现了高效的神经建模和快速渲染，同时允许高质量的新视角合成。它通过从粗到细的分辨率级别使用不同的编码策略来表示场景，并利用可学习的位置特征以及基于哈希的特征网格的快速优化速度和局部细节。此外，为了进一步提高性能，还将锥形跟踪特征嵌入到可学习的位置编码中，消除了编码的歧义性并减少了走样伪影。广泛的合成和实际数据集实验证明，与以往最先进方法相比，Hyb-NeRF 在更快的渲染速度、更好的渲染质量和更低的内存占用方面取得了优势。

    Nov, 2023

  • 为神经辐射场推理学习扩散先验

    本文提出采用扩散模型生成编码在规则网格上的神经辐射场，并展示了该模型在实现逼真 NeRFs 的同时，能够根据观察结果进行条件生成。

    Apr, 2023

  • HyperNeRF：用于拓扑变化的高维神经辐射场表示

    本文提出了一种新的三维场景重建方法 HyperNeRF，通过将 NeRF 升维，将每个输入图像对应的五维辐射场表示为该 “超空间” 中的一片，从而解决了现有变形场模型在处理拓扑变化时的困难。实验表明，HyperNeRF 在平滑插值和新视角合成方面皆优于 Nerfies，平均误差率分别降低了 4.1％和 8.6％。

    Jun, 2021

  • NeRF 详解：学习采样进行视图合成

    作者提出了基于可微分不可视模块的 NeRF-ID 方法，该方法可以优化粗到精的采样策略，得到比 NeRF 和当前最先进算法更好的视图合成质量，并且显著降低计算时间。

    Jun, 2021

  • NeRF-Casting：改进的视角相关外观与一致反射

    该论文提出了一种基于光线追踪的方法来解决 Neural Radiance Fields（NeRFs）在渲染高光物体时的困难，并成功合成了真实世界场景中的光泽外观和反射，同时优化和渲染速度与当前状态 - of-the-art 视图合成模型相当。

    May, 2024

  • GANeRF: 利用判别器优化神经辐射场

    采用生成对抗网络对神经辐射场（NeRF）进行优化，修复 3D 场景重建中存在的照明、采样等问题，从而实现更高质量的渲染。

    Jun, 2023

  • GeoNeRF：利用几何先验的通用 NeRF

    该论文提出了一种基于神经辐射场的通用逼真新视角合成方法，该方法包括几何推理和渲染两个主要阶段，可用于各种合成和实际数据集。

    Nov, 2021

  • 超场：从文本中实现零样本生成 NeRF

    我们介绍了 HyperFields，一种能够在单次前向传递和（可选地）某些微调中生成以文本为条件的神经辐射场（NeRFs）的方法。我们方法的关键在于：（i）动态超网络，能够将文本标记嵌入与 NeRFs 空间之间的映射平滑化学习；（ii）NeRF 蒸馏训练，将编码在各个 NeRFs 中的场景蒸馏成一个动态超网络。这些技术使得单个网络可以适应超过一百个独特场景。我们进一步证明 HyperFields 学习了文本和 NeRFs 之间更通用的映射，因此能够预测新的分布内和分布外场景 —— 零样本或经过少量微调步骤。基于学习到的通用映射，对 HyperFields 进行微调能够加速收敛，并且能够比现有的基于神经优化的方法更快地合成新场景（速度提高了 5 到 10 倍）。我们的消融实验表明，动态架构和 NeRF 蒸馏对于 HyperFields 的表达能力至关重要。

    Oct, 2023

  • CorresNeRF：用于神经辐射场的图像对应先验

    使用图像对应先验来监督神经辐射场的训练，生成稠密高质量的对应关系，并将其用于规范化神经辐射场的训练，从而在新视角合成和表面重建任务中优于先前的方法。

    Dec, 2023