Jan, 2022

时光缝合：基于 GAN 的真实视频面部编辑

PDF
TL;DR本文提出了一种基于对生成对抗网络的理解和神经网络学习低频功能的能力，使用 StyleGAN 对视频中的面部进行语义编辑，提高了当前最先进技术水平，实现了有意义的面部操作，保持了更高程度的时间连贯性，并可应用于高质量的 Talking Head 视频中。
发现论文，激发创造
  • 时间上一致的语义视频编辑

    本文提出一种简单而有效的方法来实现一致性视频编辑，通过优化潜在编码和预先训练的生成器，减少时间光度不一致，并在不同领域和 GAN 逆推技术上得到了有利的结果。

    Jun, 2022

  • StyleVideoGAN: 使用预训练 StyleGAN 的时间生成模型

    本研究提出了一种新的视频合成方法，通过将空间域和时间域分离，利用预训练的 StyleGAN 网络的潜在空间进行训练，成功地生成了高质量的人像视频，并显著降低了所需训练数据和资源的数量。

    Jul, 2021

  • 视频到视频合成

    本文提出了一种基于生成对抗学习框架、伴随有空间–时间对抗性目标的视频生成方法，可高效地从语义分割掩膜、素描和姿势等多种输入格式生成 2K 分辨率、30 秒长的逼真视觉效果的视频，此方法成功优化了视频生成技术的最新发展状态，并被应用于未来视频预测。

    Aug, 2018

  • 从字幕生成视频：创造您所说的话

    本文中，我们提出了一个新颖的基于标题的时序生成对抗网络（TGANs-C）来生成视频，该网络结合了数据的语义和时间上的一致性。我们通过定性和定量实验验证了我们的提议，并展示了在给定标题的情况下生成逼真视频的能力。

    Apr, 2018

  • EditGAN: 高精度语义图像编辑

    提出一种新的方法 EditGAN，通过修改高分辨率部分分割掩码来实现高质量、高精度的语义图像编辑，同时利用生成对抗网络和条件潜空间优化来实现编辑。

    Nov, 2021

  • 扩散视频自编码器：通过分离视频编码实现时态一致的人脸视频编辑

    本文提出了一种基于扩散自编码器的全新的人脸视频编辑框架，该框架能够成功地从给定的视频中提取分解特征 - 首次作为人脸视频编辑模型 - 并且允许我们通过简单地操纵时间不变的特征来实现视频编辑，以解决在编辑帧之间的时间一致性等问题。该模型还具有重建和编辑能力，能够处理野外人脸视频中的极端情况，例如遮挡的人脸。

    Dec, 2022

  • FED-NeRF：在动态 NeRF 上实现高度 3D 一致性和时间连贯性的人脸视频编辑

    本文提出了一个基于动态人脸 GAN-NeRF 结构的新型人脸视频编辑架构，通过利用视频序列来恢复潜在编码和三维人脸几何信息，实现多视角一致性和时序一致性的人脸视频编辑，成为先驱性的 4D 人脸视频编辑器，并在性能上超过现有的基于 2D 或 3D 的方法。

    Jan, 2024

  • 利用语义引导的生成对抗网络提高序列修复的一致性和正确性

    使用语义条件生成对抗网络（GAN）进行序列修复，以在维护图像手势和场景语义的同时实现修复一致性和正确性，产生更具吸引力的图像。

    Nov, 2017

  • 面部图像和视频的解缩聚变换器

    本研究提出通过 StyleGAN 生成器的潜在空间编辑面部属性，通过训练专门的潜在空间转换网络并在损失函数中添加显式的分离和身份保存项来控制和保护身份，并介绍了一个将面部编辑推广到视频的流程。在真实图像和视频方面表现出出色的性能。

    Jun, 2021

  • 从单个视频生成多样化视频

    本文提出了非参数基线方法来解决单个视频生成及操作任务，相较于传统的基于 GAN 的方法能提供更高的性能和更快的运行速度，并且在视频类比和时空重新定位等方面表现突出。

    May, 2022