Freditor:基于频率分解的高保真可迁移 NeRF 编辑
本文提出通过蒸馏出自监督的 2D 图像特征提取器的知识,优化一种针对 NeRF 的 3D 特征场,从而实现语义场景分解以及针对局部区域的查询式编辑,从而实现结构编辑的目的。通过实验证明,3D 特征场可以将最近在 2D 视觉和语言基础模型中取得的进展应用于 3D 场景表示,从而实现令人信服的 3D 分割和选择性编辑。
May, 2022
本文介绍了一种新的生成方法 FDNeRF,可以从单个图像重建高质量的 3D 面孔,并具有语义编辑和改变灯光等功能,相比现有的 2D 编辑方法,FDNeRF 取得了更加逼真的结果和前所未有的灵活性。
Jun, 2023
本论文提出了一个统一的神经辐射场(NeRF)框架,以有效地进行场景分解和合成,用于建模现实世界场景,通过学习不同对象的解耦 3D 表示进行场景编辑,同时为新颖视角合成建模整个场景表示。
Aug, 2023
本研究综述了近年来学者们在 NeRF 场景或对象编辑领域的初步探索,并通过将 GaN 和 Transformer 等残差模型与 NeRF 相结合,进一步扩展了 NeRF 场景编辑的泛化能力,其中包括实现实时新视角编辑反馈、文本合成的多模编辑、4D 合成性能,以及在光影编辑方面的深入探索,首次实现了复杂场景中间接触编辑和细节表达的优化。然而,在处理更复杂或更大的 3D 场景时,很难在准确性、广度、效率和质量之间取得平衡,克服这些挑战可能成为未来 NeRF 3D 场景编辑技术的方向。
Jan, 2024
本文提出了一个基于动态人脸 GAN-NeRF 结构的新型人脸视频编辑架构,通过利用视频序列来恢复潜在编码和三维人脸几何信息,实现多视角一致性和时序一致性的人脸视频编辑,成为先驱性的 4D 人脸视频编辑器,并在性能上超过现有的基于 2D 或 3D 的方法。
Jan, 2024
利用拓展到神经辐射场(NeRF)的编辑技术来编辑场景是复杂的,本文提出了利用 NeRF 场景的几何信息作为桥梁来整合 2D 编辑的方法,并引入了一种填充方法来确保对不同图像的 2D 编辑具有鲁棒性。结果表明,该方法比现有的文本驱动 NeRF 场景编辑方法实现了更加一致、逼真和详细的编辑效果。
Apr, 2024
我们介绍了一种名为 ED-NeRF 的创新的三维 NeRF 编辑方法,通过将真实场景嵌入潜变扩散模型的潜入空间中,通过独特的细化层,实现了更快速和更易编辑的 NeRF 骨干,同时我们提出了一种改进的针对编辑的损失函数,这一损失函数在编辑目的上优于传统的得分扩散采样损失。实验结果表明,ED-NeRF 在更快的编辑速度和更好的输出质量方面胜过现有的最先进的三维编辑模型。
Oct, 2023
本文提出了一种新颖的框架,可以利用扩散模型实现对神经场景中的 3D 内容进行编辑,此方法可以有效地改善 NeRF 的可编辑性、多样性和应用范围,验证结果表明在不同的文本提示下,该算法对 NeRF 中的 3D 目标具有改进的效果。
Jun, 2023
本文提出了一种适用于新视角合成的有效的点云渲染管道,其中包括自适应频率调制模块,用以提供更丰富的频率支持并改善网络性能,并支持高保真度交互式编辑。实验结果也表明本方法在性能表现方面优于现有最先进技术。
Mar, 2023