Jun, 2024

NeRFDeformer: 通过3D场景流实现从单个视角到NeRF的转换

HTML
PDF
TL;DR提出一种基于单个非刚性变换版本的观察自动修改 NeRF 表示的方法，并通过加权线性融合定义变换为 3D 流，使用对表面上定义的 3D 锚点的刚体变换进行融合。引入了一种新的对应算法，首先匹配基于 RGB 的配对，然后利用多视角信息和 3D 重投影来强大地过滤误报，通过单个观察深入研究了 NeRF 场景修改问题，并展示了优于 NeRF 编辑方法和基于扩散的方法的性能，并探索了不同的对应过滤方法。
发现论文，激发创造
  • NeRF融合：基于NeRF的大规模场景表示

    本文介绍了一种名为NeRFuser的架构，它可以在不需要访问大量用于生成它们的图像集的情况下，对NeRF（神经辐射场）进行注册和混合。NeRFuser使用re-rendering技术进行注册，提出了基于采样的反距离加权进行混合，经实验证明具有鲁棒性。

    May, 2023

  • 基于语义掩模和扩散模型的 NeRF 编辑

    本文提出了一种新颖的框架，可以利用扩散模型实现对神经场景中的3D内容进行编辑，此方法可以有效地改善NeRF的可编辑性、多样性和应用范围，验证结果表明在不同的文本提示下，该算法对NeRF中的3D目标具有改进的效果。

    Jun, 2023

  • Blended-NeRF: 在现有的神经辐射场中生成和混合零样本目标

    Blended-NeRF是一种基于文本提示或图像贴片及3D ROI盒子的方法，利用预训练的语言-图像模型来操纵合成并混合一个新对象到现有的NeRF场景中实现对现有场景感兴趣区域的编辑，使用新颖的容积混合技术进行无痕混合。

    Jun, 2023

  • 增强 NeRF 类似于增强 LLMs：具有混合视图专家的通用 NeRF Transformer

    使用大规模语言模型中的Mixture-of-Experts (MoE)方法来增强一种称为GNT的NeRF模型，建立了一种能够合成未见场景新视角的跨场景可泛化的NeRF模型，称为GNT with Mixture-of-View-Experts (GNT-MOVE)。实验表明，该模型在迁移到未见场景时展现出卓越的泛化能力，在零样本和少样本的设置中都取得了最新的结果。

    Aug, 2023

  • C-NERF:基于方向一致性差异的场景变化表示

    该研究论文提出了一种基于神经辐射场 (NeRF) 的方向一致性差异的场景变化检测方法，通过对两个时间戳拍摄的场景图像进行空间对齐和方向一致性约束，能够有效地生成指定视角的变化地图。实验证明，该方法在2D变化检测和基于NeRF的方法方面显著超越了现有最先进的方法。

    Dec, 2023

  • 基于Nerf的3D场景编辑技术的探索与改进

    本研究综述了近年来学者们在NeRF场景或对象编辑领域的初步探索，并通过将GaN和Transformer等残差模型与NeRF相结合，进一步扩展了NeRF场景编辑的泛化能力，其中包括实现实时新视角编辑反馈、文本合成的多模编辑、4D合成性能，以及在光影编辑方面的深入探索，首次实现了复杂场景中间接触编辑和细节表达的优化。然而，在处理更复杂或更大的3D场景时，很难在准确性、广度、效率和质量之间取得平衡，克服这些挑战可能成为未来NeRF 3D场景编辑技术的方向。

    Jan, 2024

  • 基于快速稀疏视角引导的对象重构 NeRF 更新

    我们开发了第一个用于NeRF更新的方法，可通过只提供少量新的图像来更新预训练的NeRF，以便适应物理变化，而无需耗时的数据重新捕获和重新训练。我们使用辅助的第二个NeRF来学习场景的局部几何和外观变化，用于准确重建稀疏视角下未遮挡物体区域。该方法比从头开始重新训练NeRF快一个数量级，并且具有相当甚至更好的性能。

    Mar, 2024

  • 知识 NeRF：动态关节物体的少样例新视点合成

    通过利用 Knowledge NeRF 模型和仅有少量观测状态，在动态场景中成功重建 3D 场景并生成新视角。

    Mar, 2024

  • NeRF-Insert：基于多模态控制信号的三维局部编辑

    我们提出了一种NeRF编辑框架NeRF-Insert，允许用户以灵活的控制水平进行高质量的本地编辑。与先前依赖于图像到图像模型的工作不同，我们将场景编辑视为一种修补问题，鼓励保持全局结构的场景。此外，尽管大多数现有方法仅使用文本提示来调整编辑，我们的框架接受不同模态的输入组合作为参考，包括图像、CAD模型和二进制图像掩码来指定一个3D区域。我们使用通用图像生成模型从多个视点修复场景，并将本地编辑提升为与原始NeRF保持一致的3D编辑。与先前方法相比，我们的结果表现出更好的视觉质量，并与原始NeRF保持更强的一致性。

    Apr, 2024

  • MVIP-NeRF：通过扩散先验进行NeRF场景的多视图3D修复

    提出了一种名为MVIP-NeRF的新方法，通过使用扩散先验来进行NeRF修复，解决了外观和几何方面的问题，实现了多视图共同修复和对齐。实验证明，与先前的NeRF修复方法相比，该方法在外观和几何恢复方面效果更好。

    May, 2024