Jan, 2024

基于 Nerf 的 3D 场景编辑技术的探索与改进

PDF
TL;DR本研究综述了近年来学者们在 NeRF 场景或对象编辑领域的初步探索，并通过将 GaN 和 Transformer 等残差模型与 NeRF 相结合，进一步扩展了 NeRF 场景编辑的泛化能力，其中包括实现实时新视角编辑反馈、文本合成的多模编辑、4D 合成性能，以及在光影编辑方面的深入探索，首次实现了复杂场景中间接触编辑和细节表达的优化。然而，在处理更复杂或更大的 3D 场景时，很难在准确性、广度、效率和质量之间取得平衡，克服这些挑战可能成为未来 NeRF 3D 场景编辑技术的方向。
nerfscene synthesisscene editing3d scenescomputational cost
发现论文，激发创造
  • DATENeRF: 基于深度的文本编辑技术

    利用拓展到神经辐射场（NeRF）的编辑技术来编辑场景是复杂的，本文提出了利用 NeRF 场景的几何信息作为桥梁来整合 2D 编辑的方法，并引入了一种填充方法来确保对不同图像的 2D 编辑具有鲁棒性。结果表明，该方法比现有的文本驱动 NeRF 场景编辑方法实现了更加一致、逼真和详细的编辑效果。

    Apr, 2024

  • ED-NeRF：使用潜空间进行高效的文本导向 3D 场景编辑

    我们介绍了一种名为 ED-NeRF 的创新的三维 NeRF 编辑方法，通过将真实场景嵌入潜变扩散模型的潜入空间中，通过独特的细化层，实现了更快速和更易编辑的 NeRF 骨干，同时我们提出了一种改进的针对编辑的损失函数，这一损失函数在编辑目的上优于传统的得分扩散采样损失。实验结果表明，ED-NeRF 在更快的编辑速度和更好的输出质量方面胜过现有的最先进的三维编辑模型。

    Oct, 2023

  • 可编辑的小说视角合成的统一分解和组合 NeRF 学习

    本论文提出了一个统一的神经辐射场（NeRF）框架，以有效地进行场景分解和合成，用于建模现实世界场景，通过学习不同对象的解耦 3D 表示进行场景编辑，同时为新颖视角合成建模整个场景表示。

    Aug, 2023

  • NeRF-Editing: 神经辐射场的几何编辑

    本研究提出了一种基于 Neural Radiance Field 的方法，利用显式网格表示与场景的隐式神经表示建立对应关系，使用户可以利用网格形变方法进行可控的形状变形，并合成编辑后的场景的新视角图像。

    May, 2022

  • 具有阴影指导的 NeRF 合成

    本文提出了一种叫做 NeRF 综合的新任务，利用 NeRF 补丁范例的结构内容构建大尺寸的新辐射场，我们提出了一种两阶段的方法来综合新场景，控制场景的照明效果采用阴影指导而不是分离场景，我们表明了我们的方法可以生成高质量的结果，对曲面上的新场景进行综合，增强了我们所提出的 NeRF 综合方法的实用性。

    Jun, 2023

  • 提高深度辐射场小说视图合成质量的方法与策略

    NeRF 技术可以从 2D 图像中学习场景的 3D 隐式模型，并合成逼真的新视角图像。本研究分析了过去三年中涉及 NeRF 图像渲染质量改进的最新相关论文，探讨了质量改进方法背后的技术原理，并讨论了质量改进方法未来的演进方向，有助于研究人员快速了解该领域技术的当前状态和演进背景，对于激发更高效算法的开发和推动 NeRF 技术在相关领域的应用具有帮助。

    Jan, 2024

  • SealD-NeRF: 动态场景的神经辐射场交互式像素级编辑

    本文介绍了 SealD-NeRF，它是 Seal-3D 的一个扩展，用于在动态环境中进行像素级编辑，特别针对 D-NeRF 网络。它通过将编辑操作映射到特定的时间框架，冻结负责动态场景表示的变形网络，并使用师生方法来集成更改，实现序列中的一致编辑。

    Feb, 2024

  • SIGNeRF: 基于场景集成生成的神经辐射场

    SIGNeRF 是一种快速和可控的 NeRF 场景编辑和场景整合对象生成的新方法，通过图像扩散模型的深度条件机制，在一次迭代中基于参考图像集合对原始 NeRF 进行更新和改进，从而实现三维一致性视图生成。

    Jan, 2024

  • 无需重新训练的基于文本的 3D 场景编辑

    我们引入了一种名为 DN2N 的文本驱动编辑方法，使用现成的基于文本的图像编辑模型修改 3D 场景图片，并提出了一种去除噪声扰动的训练数据生成方法，以及交叉视图正则化项来帮助泛化 NeRF 模型，实现了友好、直观和实用的用户编辑体验，并实现了多种编辑类型的效果。

    Sep, 2023

  • OR-NeRF：由多视角分割指导的神经辐射场，用于删除 3D 场景中的对象

    本文提出了一种名为 OR-NeRF 的新型对象移除流水线，它可以在单个视图上通过点或文本提示从 3D 场景中移除对象，并在更短的时间内实现更好的性能。

    May, 2023