点重采样与射线转换辅助可编辑的 NeRF 模型
本研究提出了一种基于Neural Radiance Field的方法,利用显式网格表示与场景的隐式神经表示建立对应关系,使用户可以利用网格形变方法进行可控的形状变形,并合成编辑后的场景的新视角图像。
May, 2022
本研究利用迄今为止最新的神经辐射场技术,通过引入物体场组件从 2D 视野中学习 3D 空间中所有个体物体的独特代码,并引入反向查询算法以自由地操作学习场景表示中特定的 3D 物体形状,进而解决物体碰撞和视觉遮挡等关键问题,能够准确地从 2D 视野中分解和操作 3D 场景的研究方法被称为 DM-NeRF。
Aug, 2022
论文提出了NeuralEditor,用于泛形状编辑任务,通过利用显式点云表示构建NeRF,并提出基于确定性积分的新型渲染方案,实现了基于点云的形状编辑,取得了最先进的性能。
May, 2023
本文提出了一种名为OR-NeRF的新型对象移除流水线,它可以在单个视图上通过点或文本提示从3D场景中移除对象,并在更短的时间内实现更好的性能。
May, 2023
Blended-NeRF是一种基于文本提示或图像贴片及3D ROI盒子的方法,利用预训练的语言-图像模型来操纵合成并混合一个新对象到现有的NeRF场景中实现对现有场景感兴趣区域的编辑,使用新颖的容积混合技术进行无痕混合。
Jun, 2023
本研究综述了近年来学者们在NeRF场景或对象编辑领域的初步探索,并通过将GaN和Transformer等残差模型与NeRF相结合,进一步扩展了NeRF场景编辑的泛化能力,其中包括实现实时新视角编辑反馈、文本合成的多模编辑、4D合成性能,以及在光影编辑方面的深入探索,首次实现了复杂场景中间接触编辑和细节表达的优化。然而,在处理更复杂或更大的3D场景时,很难在准确性、广度、效率和质量之间取得平衡,克服这些挑战可能成为未来NeRF 3D场景编辑技术的方向。
Jan, 2024
本文介绍了SealD-NeRF,它是Seal-3D的一个扩展,用于在动态环境中进行像素级编辑,特别针对D-NeRF网络。它通过将编辑操作映射到特定的时间框架,冻结负责动态场景表示的变形网络,并使用师生方法来集成更改,实现序列中的一致编辑。
Feb, 2024
我们提出了一种NeRF编辑框架NeRF-Insert,允许用户以灵活的控制水平进行高质量的本地编辑。与先前依赖于图像到图像模型的工作不同,我们将场景编辑视为一种修补问题,鼓励保持全局结构的场景。此外,尽管大多数现有方法仅使用文本提示来调整编辑,我们的框架接受不同模态的输入组合作为参考,包括图像、CAD模型和二进制图像掩码来指定一个3D区域。我们使用通用图像生成模型从多个视点修复场景,并将本地编辑提升为与原始NeRF保持一致的3D编辑。与先前方法相比,我们的结果表现出更好的视觉质量,并与原始NeRF保持更强的一致性。
Apr, 2024
提出一种基于单个非刚性变换版本的观察自动修改 NeRF 表示的方法,并通过加权线性融合定义变换为 3D 流,使用对表面上定义的 3D 锚点的刚体变换进行融合。引入了一种新的对应算法,首先匹配基于 RGB 的配对,然后利用多视角信息和 3D 重投影来强大地过滤误报,通过单个观察深入研究了 NeRF 场景修改问题,并展示了优于 NeRF 编辑方法和基于扩散的方法的性能,并探索了不同的对应过滤方法。
Jun, 2024
本研究解决了在3D场景中进行对象编辑时遇到的几何修改挑战。通过将对象与背景分离,并分别进行对象分割和背景修复,提出了一种新方法,使得能够自由缩放和移动3D空间中的对象。研究结果展示了这一方法在实际应用中的潜力和灵活性。
Aug, 2024