ProteusNeRF: 快速轻量级的 NeRF 编辑利用 3D 意识图像背景
本文介绍了一种可以对特定类别的条件辐射场进行用户编辑的方法,该方法假设观察多个特定类别的实例,学习部分语义,允许将粗略的二维用户涂鸦传播到整个三维区域中,该方法通过提出新的模块化网络组件和混合网络更新策略,结合优化问题和网络特定的目标,解决用户交互中的可视化编辑任务。
May, 2021
CLIP-NeRF是一种基于多模态3D物体操作的NeRF模型,利用CLIP模型的联合语言-图像嵌入空间,提出了一种统一框架,允许使用短文本提示或示例图像以用户友好的方式进行NeRF操作和生成,通过引入解缠绕条件NeRF结构,实现对物体形状和外观的颜色进行控制,并提出了两种代码映射器,并通过CLIP匹配损失训练,可以准确地将输入映射到潜在的代码中以进行编辑。
Dec, 2021
本研究提出了一种基于Neural Radiance Field的方法,利用显式网格表示与场景的隐式神经表示建立对应关系,使用户可以利用网格形变方法进行可控的形状变形,并合成编辑后的场景的新视角图像。
May, 2022
本文提出了一种新颖的语义驱动的NeRF编辑方法,用户只需使用一张图像,就能够对神经辐射场进行编辑,并以高保真度和多视角一致性准确地传达编辑后的新视图,该算法在实际和合成数据上的实验和编辑例子证明了其能以只有一张编辑过的图像产生逼真的3D编辑。
Mar, 2023
本文提出了一种新颖的框架,可以利用扩散模型实现对神经场景中的3D内容进行编辑,此方法可以有效地改善NeRF的可编辑性、多样性和应用范围,验证结果表明在不同的文本提示下,该算法对NeRF中的3D目标具有改进的效果。
Jun, 2023
Blended-NeRF是一种基于文本提示或图像贴片及3D ROI盒子的方法,利用预训练的语言-图像模型来操纵合成并混合一个新对象到现有的NeRF场景中实现对现有场景感兴趣区域的编辑,使用新颖的容积混合技术进行无痕混合。
Jun, 2023
为解决文本驱动的本地化编辑3D对象的困难,我们提出了一种基于NeRF模型的新方法Blending-NeRF,它包括两个NeRF网络:预训练NeRF和可编辑NeRF,并引入了新的混合操作来允许Blending-NeRF对局部文本定位的目标区域进行适当的编辑。通过使用预训练的视觉-语言对齐模型CLIP,我们指导Blending-NeRF添加具有不同颜色和密度的新对象,修改纹理并移除原始对象的部分。我们的实验证明,Blending-NeRF能够从各种文本提示中产生自然而局部编辑的3D对象。
Aug, 2023
本文介绍了SealD-NeRF,它是Seal-3D的一个扩展,用于在动态环境中进行像素级编辑,特别针对D-NeRF网络。它通过将编辑操作映射到特定的时间框架,冻结负责动态场景表示的变形网络,并使用师生方法来集成更改,实现序列中的一致编辑。
Feb, 2024
利用拓展到神经辐射场(NeRF)的编辑技术来编辑场景是复杂的,本文提出了利用NeRF场景的几何信息作为桥梁来整合2D编辑的方法,并引入了一种填充方法来确保对不同图像的2D编辑具有鲁棒性。结果表明,该方法比现有的文本驱动NeRF场景编辑方法实现了更加一致、逼真和详细的编辑效果。
Apr, 2024
我们提出了一种NeRF编辑框架NeRF-Insert,允许用户以灵活的控制水平进行高质量的本地编辑。与先前依赖于图像到图像模型的工作不同,我们将场景编辑视为一种修补问题,鼓励保持全局结构的场景。此外,尽管大多数现有方法仅使用文本提示来调整编辑,我们的框架接受不同模态的输入组合作为参考,包括图像、CAD模型和二进制图像掩码来指定一个3D区域。我们使用通用图像生成模型从多个视点修复场景,并将本地编辑提升为与原始NeRF保持一致的3D编辑。与先前方法相比,我们的结果表现出更好的视觉质量,并与原始NeRF保持更强的一致性。
Apr, 2024