Oct, 2023

超场：从文本中实现零样本生成 NeRF

PDF
TL;DR我们介绍了 HyperFields，一种能够在单次前向传递和（可选地）某些微调中生成以文本为条件的神经辐射场（NeRFs）的方法。我们方法的关键在于：（i）动态超网络，能够将文本标记嵌入与 NeRFs 空间之间的映射平滑化学习；（ii）NeRF 蒸馏训练，将编码在各个 NeRFs 中的场景蒸馏成一个动态超网络。这些技术使得单个网络可以适应超过一百个独特场景。我们进一步证明 HyperFields 学习了文本和 NeRFs 之间更通用的映射，因此能够预测新的分布内和分布外场景 —— 零样本或经过少量微调步骤。基于学习到的通用映射，对 HyperFields 进行微调能够加速收敛，并且能够比现有的基于神经优化的方法更快地合成新场景（速度提高了 5 到 10 倍）。我们的消融实验表明，动态架构和 NeRF 蒸馏对于 HyperFields 的表达能力至关重要。
发现论文，激发创造
  • HyperNeRF：用于拓扑变化的高维神经辐射场表示

    本文提出了一种新的三维场景重建方法 HyperNeRF，通过将 NeRF 升维，将每个输入图像对应的五维辐射场表示为该 “超空间” 中的一片，从而解决了现有变形场模型在处理拓扑变化时的困难。实验表明，HyperNeRF 在平滑插值和新视角合成方面皆优于 Nerfies，平均误差率分别降低了 4.1％和 8.6％。

    Jun, 2021

  • Text2NeRF: 使用神经辐射场进行文本驱动的 3D 场景生成

    Text2NeRF 是一种基于 NeRF 模型以自然语言描述为输入的 3D 场景生成方法，利用预训练的文本到图像扩散模型和单目深度估计方法约束 NeRF 模型以保持内容和几何一致，同时使用逐步场景修复和更新策略保证场景视角一致性。实验结果表明该方法能够生成高保真度，多视角一致性和多样性的真实感 3D 场景。

    May, 2023

  • 超平面：用于快速 NeRF 自适应的超网络方法

    提出了一种基于超网络范例的少样本学习方法，通过从训练数据中收集信息并生成通用权重的更新，实现了从少量图像中一步生成高质量的 3D 物体表示的高效方法。通过与最先进的解决方案进行直接比较以及全面的剔除研究，证实了该方法的有效性。

    Feb, 2024

  • 连接 NeRFs、图像和文本

    利用预训练模型和多模态模型，提出了一个简单的框架，实现了神经辐射场（NeRFs）嵌入与图像和文本之间的双向映射，这种映射开辟了一些新的有用应用，包括 NeRF 零样本分类和从图像或文本中检索 NeRF。

    Apr, 2024

  • 使用超网络学习改进的 NeRF 先验知识的 HyP-NeRF

    本文提出了一种使用超网络来学习可推广类别级神经辐射场先验的隐式编码方法，称为 HyP-NeRF。 HyP-NeRF 不仅可以显着提高质量，而且还可以在多个下游任务中使用。

    Jun, 2023

  • DATENeRF: 基于深度的文本编辑技术

    利用拓展到神经辐射场（NeRF）的编辑技术来编辑场景是复杂的，本文提出了利用 NeRF 场景的几何信息作为桥梁来整合 2D 编辑的方法，并引入了一种填充方法来确保对不同图像的 2D 编辑具有鲁棒性。结果表明，该方法比现有的文本驱动 NeRF 场景编辑方法实现了更加一致、逼真和详细的编辑效果。

    Apr, 2024

  • NeRF-Art：基于文本驱动的神经辐射场风格化

    本文提出了 NeRF-Art，一种基于文本引导的 NeRF 风格化方法，采用新型的全局 - 局部对比学习策略和方向约束相结合的方法来实现同时控制目标样式的轨迹和强度的几何和外观变化，并采用一种重量正则化方法来抑制产生云状伪影和几何噪点的情况。

    Dec, 2022

  • D-NeRF：用于动态场景的神经辐射场

    本文提出了 D-NeRF 方法，将神经辐射场扩展到动态领域，允许从单个相机围绕场景重建和渲染对象的新图像。通过将时间作为系统的额外输入，并将学习过程分为两个主要阶段，可以同时学习两个映射，实现控制相机视图和时间变量以及物体移动的目的。

    Nov, 2020

  • pixelNeRF：从一张或少量图像中生成神经辐射场

    我们提出了一种名为 pixelNeRF 的学习框架，可以在仅有一张或几张输入图像的条件下预测连续的神经场景表示。与现有方法相比，我们的体系结构不需要每个场景都进行优化，从而使得在仅有一张图像的情况下就可以执行视角的合成和单幅图像的三维重建。经过大量的实验证明，我们的模型在形状、类别和实景等方面都优于现有的最先进技术。

    Dec, 2020

  • 神经辐射场（NeRFs）：综述与一些最近的发展

    Neural Radiance Field (NeRF) is a framework representing a 3D scene with MLP, achieving state-of-the-art photorealistic image renderings for view synthesis and expanding capabilities to generate views from dynamic scene representations with fewer images for training.

    Apr, 2023