CVPRDec, 2022

扩散视频自编码器：通过分离视频编码实现时态一致的人脸视频编辑

PDF
TL;DR本文提出了一种基于扩散自编码器的全新的人脸视频编辑框架，该框架能够成功地从给定的视频中提取分解特征 - 首次作为人脸视频编辑模型 - 并且允许我们通过简单地操纵时间不变的特征来实现视频编辑，以解决在编辑帧之间的时间一致性等问题。该模型还具有重建和编辑能力，能够处理野外人脸视频中的极端情况，例如遮挡的人脸。
face video editingtemporal consistencydiffusion autoencodersidentitymotion
发现论文，激发创造
  • 使用图像扩散模型编辑具有时间一致性的视频

    通过建立一个优雅而高效的 TCVE（Temporal-Consistent Video Editing）方法，本研究在大规模文本到图像（T2I）扩散模型的基础上，解决了文本引导视频编辑中的时间不连贯问题，取得了视频时序一致性和编辑能力方面的最新突破，并超越了该领域的现有基准。

    Aug, 2023

  • DiffusionAct：可控的一次性人脸仿真的扩散自编码器

    DiffusionAct 是一种利用扩散模型的照片级真实图像生成来进行神经脸部再现的新方法，能够编辑输入图像的脸部姿势，实现一次性、自我和跨主体再现，并展示了优于甚至与 GAN、StyleGAN2 和扩散方法相媲美的再现性能。

    Mar, 2024

  • StableVideo: 基于文本的一致性感知扩散视频编辑

    通过引入时态依赖于现有的文本驱动扩散模型，使其能够生成一致的编辑对象外观，我们解决了扩散模型在自然视频编辑中编辑现有对象时难以保持其外观随时间稳定的问题。通过开发一种新颖的帧间传播机制，利用分层表示的概念将相邻帧的外观信息传播到下一帧，并基于该机制构建了一个名为 StableVideo 的文本驱动视频编辑框架，可以实现一致感知的视频编辑。广泛的实验证明了我们方法的强大编辑能力。与最先进的视频编辑方法相比，我们方法展示了卓越的定性和定量结果。

    Aug, 2023

  • 双向时间扩散模型 —— 用于保持时间连续的人物动画

    本文提出了一种通过使用双向时间建模的去噪扩散模型生成与真实人类动画高度相似的方法。

    Jul, 2023

  • 时光缝合：基于 GAN 的真实视频面部编辑

    本文提出了一种基于对生成对抗网络的理解和神经网络学习低频功能的能力，使用 StyleGAN 对视频中的面部进行语义编辑，提高了当前最先进技术水平，实现了有意义的面部操作，保持了更高程度的时间连贯性，并可应用于高质量的 Talking Head 视频中。

    Jan, 2022

  • TokenFlow：一致扩散特征用于一致视频编辑

    基于文本驱动的视频编辑，我们介绍了一个利用文本到图像扩散模型的框架，生成高质量视频的同时保留输入视频的空间布局和运动，实现编辑视频的一致性。

    Jul, 2023

  • 视频自编码器：静态三维结构和运动的自我监督解缠

    本论文提出了一个自监督学习的视频自编码器，能够从视频中学习出 3D 结构和相机姿态的解耦表示，通过重组这些表示来实现诸如新视角合成、相机姿态估计以及运动跟踪的任务。

    Oct, 2021

  • 使用扩展的注意力实现视频中的时态一致的对象编辑

    使用预训练的图像修复扩散模型，通过替换自注意力模块以创建帧级依赖关系，我们提出了一种编辑视频的方法，以确保编辑信息在所有视频帧中保持一致，从而在对象重定向、对象替换和对象移除等多个视频编辑任务中展示了该策略的卓越性能。

    Jun, 2024

  • 揭示 Deepfakes：蒙面自编码时空转换器用于加强视频伪造检测

    提出了一种新颖的方法来检测深度伪造视频，使用一对通过自监督屏蔽自编码设置预训练的视觉转换器。

    Jun, 2023

  • MagicAnimate: 使用扩散模型的时间一致人体图像动画

    这篇论文研究了人物图像动画任务，提出了一种基于扩散的框架 MagicAnimate，旨在提高动画的时间一致性、保持参考图像的准确性和提升动画质量。通过引入视频扩散模型、新颖的外观编码器和简单的视频融合技术，该方法在两个基准测试中表现出卓越的性能，其中在具有挑战性的 TikTok 舞蹈数据集上，视频保真度比最强基线方法提高了 38% 以上。

    Nov, 2023