CVPRDec, 2021

StyleGAN-V：具备 StyleGAN2 的价格、图像质量和特点的连续视频生成器

PDF
TL;DR本文基于神经表示方法设计了一个连续时间视频生成器，提出了基于位置嵌入设计连续运动表示的思想，构建了一个聚合时间信息的完整判别器，使用该方法可以以更少的训练成本直接训练 1024x1024 的视频，并取得了优于其他同类工作的生成效果。
发现论文，激发创造
  • StyleVideoGAN: 使用预训练 StyleGAN 的时间生成模型

    本研究提出了一种新的视频合成方法，通过将空间域和时间域分离，利用预训练的 StyleGAN 网络的潜在空间进行训练，成功地生成了高质量的人像视频，并显著降低了所需训练数据和资源的数量。

    Jul, 2021

  • 基于无时间感知 VQGAN 和时间敏感 Transformer 的长视频生成

    本文提出了一种利用 3D-VQGAN 和 transformers 生成长视频的方法，并通过 UCF-101、Sky Time-lapse 和 Taichi-HD 数据集的 16 帧视频剪辑进行了验证，同时还展示了结合文本和音频等条件扩展的方法。

    Apr, 2022

  • MoStGAN-V: 带有时间运动风格的视频生成

    通过引入一种 MoStAtt 机制，该研究提出了一种基于运动风格的视频生成模型，以增强帧的生动动态效果，并在四个条件下进行了使用大量跨帧的 256 × 256 合成视频，表现出了最先进的性能。

    Apr, 2023

  • 生成视频所需的仅一种风格

    本文提出了一种基于风格条件的视频生成模型，其中引入了一种基于学习的正弦基的新颖时态生成器，学习到的动态表示独立于图像内容，可以在不同的演员之间进行传递。除了显著提高视频质量相比普遍方法外，我们还证明了解离的动态和内容使它们能够进行独立操作，以及通过时态 GAN 反演从一个内容或身份中提取和传递视频动作而无需进一步的预处理，如关键点。

    Oct, 2023

  • StreamingT2V：基于文本的一致、动态、可扩展长视频生成

    通过 StreamingT2V 方法，可以实现高质量的长视频生成，该方法采用文本到视频扩散模型并引入条件注意模块，具有一致性和高运动量。

    Mar, 2024

  • I2VGen-XL: 通过级联扩散模型实现高质量图像到视频的合成

    提出了 I2VGen-XL 的级联方法，通过将两个因素解耦并利用静态图像作为关键指导，能够同时提高模型的语义准确性、细节的连续性和视频的清晰度。

    Nov, 2023

  • StyleHEAT：使用预训练的 StyleGAN 一次性生成高分辨率可编辑的说话人脸

    本文提出了一种基于预训练 StyleGAN 的统一框架，实现高分辨率视频生成、驱动视频或音频的解耦控制和灵活的面部编辑，通过视频生成模块和音频生成模块预测动作来进行视觉动画，并通过校准网络和领域损失来补偿转换失真，并且允许两种类型的面部编辑，在控制性、灵活性和可编辑性方面表现优于现有技术。

    Mar, 2022

  • StyleInV: 无条件视频生成的时态风格调制反演网络

    我们介绍了一种新颖的基于学习的倒置网络的运动生成器设计，通过将边缘图像编码为潜在变量，再通过指导初始帧的倒置编码器，使我们的方法能够生成平滑的未来潜在变量，从而实现了生成长时间和高分辨率视频的优势。

    Aug, 2023

  • 视频到视频合成

    本文提出了一种基于生成对抗学习框架、伴随有空间–时间对抗性目标的视频生成方法，可高效地从语义分割掩膜、素描和姿势等多种输入格式生成 2K 分辨率、30 秒长的逼真视觉效果的视频，此方法成功优化了视频生成技术的最新发展状态，并被应用于未来视频预测。

    Aug, 2018

  • 生成动态场景的长视频

    本研究提出了一种视频生成模型，通过重新设计时域隐变量表示和学习长期一致性并进行长时间分辨率分别为低和高的两阶段训练策略来优化生成视频的时序一致性，所得的模型经过新的基准数据集的测试，取得了良好的效果。

    Jun, 2022