DATENeRF: 基于深度的文本编辑技术
本文提出了一种名为 Edit-DiffNeRF 的框架,通过对已经训练好的扩散模型的潜在语义空间进行微调以有效地合并这些指令,从而实现对 3D 场景的微调,同时通过多视图语义一致性损失确保在不同的视图中重建潜在的语义嵌入。
Jun, 2023
Text2NeRF 是一种基于 NeRF 模型以自然语言描述为输入的 3D 场景生成方法,利用预训练的文本到图像扩散模型和单目深度估计方法约束 NeRF 模型以保持内容和几何一致,同时使用逐步场景修复和更新策略保证场景视角一致性。实验结果表明该方法能够生成高保真度,多视角一致性和多样性的真实感 3D 场景。
May, 2023
为解决文本驱动的本地化编辑 3D 对象的困难,我们提出了一种基于 NeRF 模型的新方法 Blending-NeRF,它包括两个 NeRF 网络:预训练 NeRF 和可编辑 NeRF,并引入了新的混合操作来允许 Blending-NeRF 对局部文本定位的目标区域进行适当的编辑。通过使用预训练的视觉 - 语言对齐模型 CLIP,我们指导 Blending-NeRF 添加具有不同颜色和密度的新对象,修改纹理并移除原始对象的部分。我们的实验证明,Blending-NeRF 能够从各种文本提示中产生自然而局部编辑的 3D 对象。
Aug, 2023
我们介绍了一种名为 ED-NeRF 的创新的三维 NeRF 编辑方法,通过将真实场景嵌入潜变扩散模型的潜入空间中,通过独特的细化层,实现了更快速和更易编辑的 NeRF 骨干,同时我们提出了一种改进的针对编辑的损失函数,这一损失函数在编辑目的上优于传统的得分扩散采样损失。实验结果表明,ED-NeRF 在更快的编辑速度和更好的输出质量方面胜过现有的最先进的三维编辑模型。
Oct, 2023
本文提出了一种新颖的框架,可以利用扩散模型实现对神经场景中的 3D 内容进行编辑,此方法可以有效地改善 NeRF 的可编辑性、多样性和应用范围,验证结果表明在不同的文本提示下,该算法对 NeRF 中的 3D 目标具有改进的效果。
Jun, 2023
本文介绍了 SealD-NeRF,它是 Seal-3D 的一个扩展,用于在动态环境中进行像素级编辑,特别针对 D-NeRF 网络。它通过将编辑操作映射到特定的时间框架,冻结负责动态场景表示的变形网络,并使用师生方法来集成更改,实现序列中的一致编辑。
Feb, 2024
我们引入了一种名为 DN2N 的文本驱动编辑方法,使用现成的基于文本的图像编辑模型修改 3D 场景图片,并提出了一种去除噪声扰动的训练数据生成方法,以及交叉视图正则化项来帮助泛化 NeRF 模型,实现了友好、直观和实用的用户编辑体验,并实现了多种编辑类型的效果。
Sep, 2023
本文提出了可编辑的神经辐射场,使终端用户能够轻松编辑动态场景,甚至支持拓扑变化。我们的方法支持直观的多维度(最多 3D)编辑,并且可以生成在输入序列中未见过的新颖场景。
Dec, 2022
SIGNeRF 是一种快速和可控的 NeRF 场景编辑和场景整合对象生成的新方法,通过图像扩散模型的深度条件机制,在一次迭代中基于参考图像集合对原始 NeRF 进行更新和改进,从而实现三维一致性视图生成。
Jan, 2024
本研究综述了近年来学者们在 NeRF 场景或对象编辑领域的初步探索,并通过将 GaN 和 Transformer 等残差模型与 NeRF 相结合,进一步扩展了 NeRF 场景编辑的泛化能力,其中包括实现实时新视角编辑反馈、文本合成的多模编辑、4D 合成性能,以及在光影编辑方面的深入探索,首次实现了复杂场景中间接触编辑和细节表达的优化。然而,在处理更复杂或更大的 3D 场景时,很难在准确性、广度、效率和质量之间取得平衡,克服这些挑战可能成为未来 NeRF 3D 场景编辑技术的方向。
Jan, 2024