Dec, 2017

动态转移 GAN: 通过从源视频传输任意时间动态到单个目标图像来生成视频

HTML
PDF
TL;DR提出了一种新的基于生成对抗学习的方法Dynamics Transfer GAN，用于生成空间时间连续且具有目标图像的视觉特征的视频序列。通过两个鉴别器对所生成的视频序列进行验证，实验结果表明该方法成功地将源视频序列的任意动态特征转移到了目标图像上，同时保持了目标图像的时空连贯性和外观。
发现论文，激发创造
  • 生成具有场景动态的视频

    利用大量未标记的视频来学习场景动态的模型，提出了一种具有时空卷积结构的生成对抗网络来生成视频，该模型能够更好地预测静态图像的合理未来，并且能够识别动作的有用特征，这表明场景动态是表示学习的一个有前途的信号。

    Sep, 2016

  • 利用多阶段动态生成对抗网络学习生成时间变换视频

    该研究基于GAN，介绍了一种生成逼真的高分辨率时间流视频的方法，第一阶段生成真实内容的视频，第二阶段利用Gram矩阵提高了运动动态和最后生成视频的逼真性。实验证明，该方法优于现有的最新模型。

    Sep, 2017

  • Mocycle-GAN：无配对视频到视频的转换

    本文提出了一个新的基于运动引导的循环一致性生成对抗网络，称为Mocycle-GAN，该网络将运动估计集成到无配对视频翻译器中，可用于视频合成。通过对视频到标签和标签到视频的翻译进行广泛的实验，与最先进的方法相比，我们报告了卓越的结果。更明显地，我们定性地演示了我们的Mocycle-GAN在花朵和环境条件转移中的应用。

    Aug, 2019

  • 生成对抗网络用于图像和视频合成：算法和应用

    本文文献是关于生成对抗网络（GAN）框架及其在视觉合成领域的应用和算法进行概述，包括图像翻译、处理、合成高分辨率照片等，并讨论其在内容创作中的应用。

    Aug, 2020

  • StyleVideoGAN: 使用预训练 StyleGAN 的时间生成模型

    本研究提出了一种新的视频合成方法，通过将空间域和时间域分离，利用预训练的StyleGAN网络的潜在空间进行训练，成功地生成了高质量的人像视频，并显著降低了所需训练数据和资源的数量。

    Jul, 2021

  • 动态感知隐式生成对抗网络生成视频

    本文提出了一种深度生成对抗网络（DIGAN），其利用隐性神经表示的视频生成，通过操作空间和时间坐标的不同方式来改善运动动力学，有效地缓解视频生成的问题。在多个数据集上，DIGAN的性能均优于现有最先进的方法，可以生成更长的视频序列，并实现自然运动和非自回归视频生成等多种特性。

    Feb, 2022

  • 从一段视频中复制动作生成虚假动作视频

    本文采用人工智能技术生成目标人物的视频，并提出了三个方面的挑战：将每个视频帧解构成前景和背景，提出一种理论驱动的Gromov-Wasserstein损失，对面部特征进行几何引导并使用本地GANs细化脸部、脚部和手部。实验结果表明，我们的方法能够生成具有逼真的目标人物的视频，忠实地复制源人物的复杂动作。

    May, 2022

  • StyleInV: 无条件视频生成的时态风格调制反演网络

    我们介绍了一种新颖的基于学习的倒置网络的运动生成器设计，通过将边缘图像编码为潜在变量，再通过指导初始帧的倒置编码器，使我们的方法能够生成平滑的未来潜在变量，从而实现了生成长时间和高分辨率视频的优势。

    Aug, 2023

  • 生成视频所需的仅一种风格

    本文提出了一种基于风格条件的视频生成模型，其中引入了一种基于学习的正弦基的新颖时态生成器，学习到的动态表示独立于图像内容，可以在不同的演员之间进行传递。除了显著提高视频质量相比普遍方法外，我们还证明了解离的动态和内容使它们能够进行独立操作，以及通过时态GAN反演从一个内容或身份中提取和传递视频动作而无需进一步的预处理，如关键点。

    Oct, 2023

  • 基于策略梯度的少样本学习视频到视频生成对抗网络

    本研究解决了视频到视频合成中有限标记数据的问题。提出了一种基于增强学习的新方法RL-V2V-GAN，旨在从源视频域学习到目标视频域的映射，同时保持源视频的独特风格。实验表明该方法在少样本学习下能够生成时序一致的视频结果，具有显著的潜在影响。

    Oct, 2024