FDNeRF: 基于扩散模型的面部语义驱动重建、提示编辑和重照
本文提出了一种新颖的框架,可以利用扩散模型实现对神经场景中的 3D 内容进行编辑,此方法可以有效地改善 NeRF 的可编辑性、多样性和应用范围,验证结果表明在不同的文本提示下,该算法对 NeRF 中的 3D 目标具有改进的效果。
Jun, 2023
本文提出了一种名为 Edit-DiffNeRF 的框架,通过对已经训练好的扩散模型的潜在语义空间进行微调以有效地合并这些指令,从而实现对 3D 场景的微调,同时通过多视图语义一致性损失确保在不同的视图中重建潜在的语义嵌入。
Jun, 2023
本文提出了一种称为 SSDNeRF 的新方法,它使用表达能力强的 Diffusion Model 从多视图图像中学习神经辐射场(NeRF)的可推广先验,实现 3D 重建和先验学习的同时,证明了该方法在无条件生成和单 / 稀疏视图 3D 重建等任务上具有与任务特定方法媲美或优于其的鲁棒性结果。
Apr, 2023
我们介绍了一种名为 ED-NeRF 的创新的三维 NeRF 编辑方法,通过将真实场景嵌入潜变扩散模型的潜入空间中,通过独特的细化层,实现了更快速和更易编辑的 NeRF 骨干,同时我们提出了一种改进的针对编辑的损失函数,这一损失函数在编辑目的上优于传统的得分扩散采样损失。实验结果表明,ED-NeRF 在更快的编辑速度和更好的输出质量方面胜过现有的最先进的三维编辑模型。
Oct, 2023
本文提出了一个基于动态人脸 GAN-NeRF 结构的新型人脸视频编辑架构,通过利用视频序列来恢复潜在编码和三维人脸几何信息,实现多视角一致性和时序一致性的人脸视频编辑,成为先驱性的 4D 人脸视频编辑器,并在性能上超过现有的基于 2D 或 3D 的方法。
Jan, 2024
通过建立一种名为 InstructPix2NeRF 的端到端扩散型框架,实现对单个开放世界图像的人类指导的三维感知人像编辑,实现了多语义编辑,保存了人像身份信息,并通过身份一致性模块增强了多视角三维身份的一致性,实验证明了该方法在定量和定性上的优越性。
Nov, 2023
SIGNeRF 是一种快速和可控的 NeRF 场景编辑和场景整合对象生成的新方法,通过图像扩散模型的深度条件机制,在一次迭代中基于参考图像集合对原始 NeRF 进行更新和改进,从而实现三维一致性视图生成。
Jan, 2024
使用少量照片重建现实场景的方法,通过在合成和多视图数据集上训练的扩散先验来对新视角的合成进行规范化,从而在超约束区域综合出逼真的几何和纹理,同时保持观察区域的外观。与以前的少视图 NeRF 重建方法相比,我们在各种真实世界数据集上进行了广泛评估,包括正向和 360 度场景,并展示了显著的性能改进。
Dec, 2023