Jan, 2024

FED-NeRF：在动态 NeRF 上实现高度 3D 一致性和时间连贯性的人脸视频编辑

PDF
TL;DR本文提出了一个基于动态人脸 GAN-NeRF 结构的新型人脸视频编辑架构，通过利用视频序列来恢复潜在编码和三维人脸几何信息，实现多视角一致性和时序一致性的人脸视频编辑，成为先驱性的 4D 人脸视频编辑器，并在性能上超过现有的基于 2D 或 3D 的方法。
gan-nerfface video editingmulti-view consistencytemporal coherence4d face video editor
发现论文，激发创造
  • FDNeRF: 基于扩散模型的面部语义驱动重建、提示编辑和重照

    本文介绍了一种新的生成方法 FDNeRF，可以从单个图像重建高质量的 3D 面孔，并具有语义编辑和改变灯光等功能，相比现有的 2D 编辑方法，FDNeRF 取得了更加逼真的结果和前所未有的灵活性。

    Jun, 2023

  • DynVideo-E: 大规模运动和视角变化人为中心视频编辑中的动态 NeRF 应用

    引入动态神经辐射场（NeRF）作为人物中心视频表示，将视频编辑问题简化为三维空间编辑任务，通过变形场在整个视频上进行编辑。

    Oct, 2023

  • FENeRF: 神经辐射场中的人脸编辑

    使用 FENeRF 三维图像生成器，为了在保持视觉一致性的同时生成本地可编辑的肖像图像，我们提出了一种方法。

    Nov, 2021

  • Sync-NeRF: 将动态 NeRF 推广到异步视频

    利用时间偏移量优化神经辐射场（NeRF）算法来实现对动态场景的重建，解决了单一潜在嵌入对非同步视频帧的不适应性，并在不同基线上取得了显著的改进。

    Oct, 2023

  • SceNeRFlow: 时间一致的普适动态场景重建

    利用 SceNeRFlow 提出了一种基于 dynamic-NeRF 方法的时间一致的方式来重建非刚性场景，通过将形状和外观的变形分解成粗糙和微弱的两个组成部分，使得该方法可以处理大范围的运动，并且可以重建大规模运动场景。

    Aug, 2023

  • 时光缝合：基于 GAN 的真实视频面部编辑

    本文提出了一种基于对生成对抗网络的理解和神经网络学习低频功能的能力，使用 StyleGAN 对视频中的面部进行语义编辑，提高了当前最先进技术水平，实现了有意义的面部操作，保持了更高程度的时间连贯性，并可应用于高质量的 Talking Head 视频中。

    Jan, 2022

  • NOFA：基于 NeRF 的一次性面部头像重建

    提出了一种只需要一张源图像就能重建高保真度的三维面部角色建模方法，通过使用 3D GAN 的生成先验和有效的编码器 - 解码器网络来重建源图像的规范神经体积，同时使用补偿网络来补充面部细节，并引入变形场来对面部表情进行精细控制。与多种先进方法相比，实验结果显示合成效果更加优越。

    Jul, 2023

  • 使用分层神经表示的可编辑自由视角视频

    本文提出了一种可编辑的逼真的自由视角视频生成方法，通过使用只有 16 个稀疏摄像头，将大规模动态场景中的每个动态实体表示为连续函数，并采用新的分层神经表示方法进行支持感知和逼真操作，并提出使用场景解析 4D 标签地图追踪和连续变形模块隐式分离时间运动，同时采用面向对象的体积渲染方案进行了再组装所有神经层，并采用新颖的分层损失和运动感知射线采样策略，实现了大规模动态场景的高效训练，并支持各种编辑功能，显示了该方法生成高质量的可编辑的自由视角视频。

    Apr, 2021

  • G-NeRF: 单视图图像的几何增强新视角合成

    通过使用 Geometry-enhanced NeRF (G-NeRF) 方法，在 novel view synthesis 中增强几何先验，通过几何引导的多视角合成方法和深度感知型训练，解决了多视角数据不足和单视角图像几何先验提取问题，并通过定剪方法和深度感知鉴别器进一步提高了几何品质。实验证明了我们方法在定量和定性结果上的有效性。

    Apr, 2024

  • 基于 Nerf 的 3D 场景编辑技术的探索与改进

    本研究综述了近年来学者们在 NeRF 场景或对象编辑领域的初步探索，并通过将 GaN 和 Transformer 等残差模型与 NeRF 相结合，进一步扩展了 NeRF 场景编辑的泛化能力，其中包括实现实时新视角编辑反馈、文本合成的多模编辑、4D 合成性能，以及在光影编辑方面的深入探索，首次实现了复杂场景中间接触编辑和细节表达的优化。然而，在处理更复杂或更大的 3D 场景时，很难在准确性、广度、效率和质量之间取得平衡，克服这些挑战可能成为未来 NeRF 3D 场景编辑技术的方向。

    Jan, 2024