为神经辐射场推理学习扩散先验

Apr, 2023

Learning a Diffusion Prior for NeRFs

Guandao Yang, Abhijit Kundu, Leonidas J. Guibas, Jonathan T. Barron, Ben Poole

TL;DR本文提出采用扩散模型生成编码在规则网格上的神经辐射场，并展示了该模型在实现逼真 NeRFs 的同时，能够根据观察结果进行条件生成。

Abstract

neural radiance fields (NeRFs) have emerged as a powerful neural 3D representation for objects and scenes derived from 2D data. Generating NeRFs, however, remains difficult in many scenarios. For instance, training a NeRF with only a small number of views as supervision remains challen

neural radiance fields generative model diffusion model inductive prior conditional generations

发现论文，激发创造

ReconFusion：基于扩散先验的三维重建

使用少量照片重建现实场景的方法，通过在合成和多视图数据集上训练的扩散先验来对新视角的合成进行规范化，从而在超约束区域综合出逼真的几何和纹理，同时保持观察区域的外观。与以前的少视图 NeRF 重建方法相比，我们在各种真实世界数据集上进行了广泛评估，包括正向和 360 度场景，并展示了显著的性能改进。

Dec, 2023

单级扩散 NeRF：一种统一的三维生成和重建方法

本文提出了一种称为 SSDNeRF 的新方法，它使用表达能力强的 Diffusion Model 从多视图图像中学习神经辐射场（NeRF）的可推广先验，实现 3D 重建和先验学习的同时，证明了该方法在无条件生成和单 / 稀疏视图 3D 重建等任务上具有与任务特定方法媲美或优于其的鲁棒性结果。

Apr, 2023

通过间接扩散指导驯服稀疏视图通用 NeRF 中的不确定性

利用间接扩散引导的 NeRF (ID-NeRF) 框架通过利用精炼的扩散先验指导从生成性的角度解决 Gen-NeRF 中的不确定性，避免了直接约束的混乱取样导致的模型混淆，并经过多个基准测试表明在处理稀疏输入的不确定性方面具有卓越的性能。

Feb, 2024

使用超网络学习改进的 NeRF 先验知识的 HyP-NeRF

本文提出了一种使用超网络来学习可推广类别级神经辐射场先验的隐式编码方法，称为 HyP-NeRF。 HyP-NeRF 不仅可以显着提高质量，而且还可以在多个下游任务中使用。

Jun, 2023

从稀疏的输入视图推断神经辐射场的密集深度先验

本文提出了一种利用深度先验来优化神经光辐射场模型的新方法，可在使用尽可能少的输入图像进行室内场景的数据有效的新视角合成中实现高保真度。

Dec, 2021

RegNeRF：为稀疏输入提供视角综合的神经光辐射场正则化

我们通过正则化几何和外观来解决 NeRF 在输入视图位数较少时的性能下降问题，同时在训练期间通过退火光线采样间隔和使用正则化流模型来处理未观察到视点的颜色，从而得到了一种可超过其他方法的模型。

Dec, 2021

使用 2D 扩散模型对 3D 神经辐射场进行编辑的 Edit-DiffNeRF

本文提出了一种名为 Edit-DiffNeRF 的框架，通过对已经训练好的扩散模型的潜在语义空间进行微调以有效地合并这些指令，从而实现对 3D 场景的微调，同时通过多视图语义一致性损失确保在不同的视图中重建潜在的语义嵌入。

Jun, 2023

SIGNeRF: 基于场景集成生成的神经辐射场

SIGNeRF 是一种快速和可控的 NeRF 场景编辑和场景整合对象生成的新方法，通过图像扩散模型的深度条件机制，在一次迭代中基于参考图像集合对原始 NeRF 进行更新和改进，从而实现三维一致性视图生成。

Jan, 2024

HiFA：高保真度文本到三维生成与高级扩散引导

我们通过使用扩散先验来改进已有的文本生成 3D 模型的技术，提出了一种新的训练方法，并应用了深度监督和密度场正则化来提高几何表示和图像质量。实验结果表明我们的方法在提高真实感和多视角一致性方面优于现有技术。

May, 2023

GANeRF: 利用判别器优化神经辐射场

采用生成对抗网络对神经辐射场（NeRF）进行优化，修复 3D 场景重建中存在的照明、采样等问题，从而实现更高质量的渲染。

Jun, 2023