潜编辑器:基于文本驱动的 3D 场景局部编辑
我们介绍了一种名为 ED-NeRF 的创新的三维 NeRF 编辑方法,通过将真实场景嵌入潜变扩散模型的潜入空间中,通过独特的细化层,实现了更快速和更易编辑的 NeRF 骨干,同时我们提出了一种改进的针对编辑的损失函数,这一损失函数在编辑目的上优于传统的得分扩散采样损失。实验结果表明,ED-NeRF 在更快的编辑速度和更好的输出质量方面胜过现有的最先进的三维编辑模型。
Oct, 2023
利用拓展到神经辐射场(NeRF)的编辑技术来编辑场景是复杂的,本文提出了利用 NeRF 场景的几何信息作为桥梁来整合 2D 编辑的方法,并引入了一种填充方法来确保对不同图像的 2D 编辑具有鲁棒性。结果表明,该方法比现有的文本驱动 NeRF 场景编辑方法实现了更加一致、逼真和详细的编辑效果。
Apr, 2024
本文提出了一种名为 Edit-DiffNeRF 的框架,通过对已经训练好的扩散模型的潜在语义空间进行微调以有效地合并这些指令,从而实现对 3D 场景的微调,同时通过多视图语义一致性损失确保在不同的视图中重建潜在的语义嵌入。
Jun, 2023
本文提出了 DreamEditor,一种使用文本提示对神经场进行编辑的新框架,用于场景重建,可以实现精确编辑神经场保持平滑的几何纹理,并且在定量和定性评估中明显超过以前的工作。
Jun, 2023
本文提出了一种名为 Local Editing NeRF(LENeRF)的方法,可以通过文本输入进行精细和本地化的 3D 内容操作,其中利用了三种 add-on 模块:潜在残差映射器、注意场网络和变形网络,通过估算 3D 注意场来实现 3D 特征的局部操作。
Jun, 2023
我们引入了一种名为 DN2N 的文本驱动编辑方法,使用现成的基于文本的图像编辑模型修改 3D 场景图片,并提出了一种去除噪声扰动的训练数据生成方法,以及交叉视图正则化项来帮助泛化 NeRF 模型,实现了友好、直观和实用的用户编辑体验,并实现了多种编辑类型的效果。
Sep, 2023
我们提出了一种 NeRF 编辑框架 NeRF-Insert,允许用户以灵活的控制水平进行高质量的本地编辑。与先前依赖于图像到图像模型的工作不同,我们将场景编辑视为一种修补问题,鼓励保持全局结构的场景。此外,尽管大多数现有方法仅使用文本提示来调整编辑,我们的框架接受不同模态的输入组合作为参考,包括图像、CAD 模型和二进制图像掩码来指定一个 3D 区域。我们使用通用图像生成模型从多个视点修复场景,并将本地编辑提升为与原始 NeRF 保持一致的 3D 编辑。与先前方法相比,我们的结果表现出更好的视觉质量,并与原始 NeRF 保持更强的一致性。
Apr, 2024
通过提出一种新的交互式编辑方法和系统,名为 Seal-3D,可以实现对隐式表示的编辑,允许用户以像素级和自由的方式编辑 NeRF 模型,并即时预览编辑效果。
Jul, 2023
本文介绍了如何采用分数蒸馏技术,在以图像为操作空间的 NeRF 模型中利用潜空间分数生成三维对象。同时,还提出了一种利用草图风格引导的 Latent-NeRF 模型,增加了对生成过程的控制能力,并在此基础上进一步将文本和草图风格引导结合,为生成高质量纹理的三维对象提供了有效的实现方法。
Nov, 2022
我们提出了一种方法来定位文本指令中所隐含的期望编辑区域,并利用 InstructPix2Pix(IP2P)来确定在有和无指令的情况下 IP2P 预测之间的差异,以此差异作为相关性地图。相关性地图传达了每个像素更改的重要性,并用于指导修改,以确保不相关的像素保持不变。相关性地图进一步用于增强以神经辐射场形式的文本引导下 3D 场景的编辑质量。我们的方法在图像和 NeRF 编辑任务上实现了最先进的性能。
Aug, 2023