Jul, 2019

复杂数据集上的对抗性视频生成

PDF
TL;DR本文提出了一种名为 DVD-GAN 的新模型，在复杂的 Kinetics-600 数据集上训练了大量生成对抗网络，成功地生成了高度复杂和逼真的视频图像。该模型通过对其鉴别器进行计算上的简化，可以扩展到更长和更高分辨率的视频中，并且在视频合成和预测方面取得了最新的最先进技术。
generative modelsvideo modelinggenerative adversarial networkskinetics-600 datasetvideo synthesis
发现论文，激发创造
  • 基于变换的大规模数据对抗性视频预测

    本文通过对辩别器分解的系统实证研究，提出了一种结构，使得其收敛速度和性能都优于之前的方法，并分析了生成器中的循环单元，提出了一种新的循环单元，可以根据预测的动态特征转换其过去的隐藏状态，包括处理去除、场景改变等复杂行为，最终的模型在大规模的 Kinetics-600 数据集上，获得了卓越的性能。

    Mar, 2020

  • 动态感知隐式生成对抗网络生成视频

    本文提出了一种深度生成对抗网络（DIGAN），其利用隐性神经表示的视频生成，通过操作空间和时间坐标的不同方式来改善运动动力学，有效地缓解视频生成的问题。在多个数据集上，DIGAN 的性能均优于现有最先进的方法，可以生成更长的视频序列，并实现自然运动和非自回归视频生成等多种特性。

    Feb, 2022

  • 构建准确的视频生成模型：一项新的度量标准和挑战

    近年来，深度生成模型在图像合成方面取得了可观的进展，但在视频领域的学习则更为困难，需要模型同时捕获场景的时间动态和对象的视觉呈现。该研究提出了用于评价视频生成模型的新评价度量 - Fréchet Video Distance，并提供了基于 StarCraft 2 的新的视频生成模型挑战基准进行了大规模的人体研究和初始基准结果。

    Dec, 2018

  • 三维感知视频生成

    本文探讨了生成对抗网络 (GANs)，将神经隐式表示与时间感知区别器相结合，发展了一种 GAN 框架，仅用单目视频合成了 3D 视频，能够学习可分解的 3D 结构和运动的丰富嵌入，实现了新的时空渲染视觉效果，同时也能产生与现有 3D 或视频 GANs 相媲美的图像质量。

    Jun, 2022

  • 区分任意伪造视频：释放大规模数据和动作特征的力量

    本文介绍了用于 AI 生成视频检测的广泛视频数据集 GenVidDet 和一种创新有效的方法 Dual-Branch 3D Transformer，该方法能够以 96.77% 的准确率区分真实视频和生成视频内容，并对未知类型具有较强的泛化能力。

    May, 2024

  • 生成具有场景动态的视频

    利用大量未标记的视频来学习场景动态的模型，提出了一种具有时空卷积结构的生成对抗网络来生成视频，该模型能够更好地预测静态图像的合理未来，并且能够识别动作的有用特征，这表明场景动态是表示学习的一个有前途的信号。

    Sep, 2016

  • 大规模 GAN 训练的高保真自然图像合成

    本文介绍了使用生成式对抗网络和正交正则化训练的大规模条件图片生成方法，并提出了一种截断技巧来控制生成器输入方差，从而在生成高保真度和多样化样本方面实现平衡。该方法应用于 ImageNet 数据集上，在 128x128 分辨率下，IS（Inception Score）为 166.5，FID（Frechet Inception Distance）为 7.4，表现超过之前的方法。

    Sep, 2018

  • 自回归视频模型的扩展

    通过在 Kinetics 数据集上训练基于三维自注意机制的自回归视频生成模型，我们展示了这种概念简单的方法在产生高保真、逼真度更高的视频方面具有竞争力。

    Jun, 2019

  • 用于生成高保真长视频的潜在视频扩散模型

    该论文提出了一种基于轻量级视觉扩散模型和层级扩散概念的视频生成框架，可在有限的计算预算下生成更真实、更长的视频，同时提供了大规模文本到视频生成的扩展应用。

    Nov, 2022

  • 生成敌对网络用于视频到视频的域自适应

    本文提出了一种名为 VideoGAN 的生成对抗网络，用于跨不同域传输基于视频的数据，并通过对结肠镜数据的实验验证，表明我们的 VideoGAN 可以显著提高多中心数据集上结直肠息肉分割的精度，并可用于将图像从阴天转换为晴天的任务。

    Apr, 2020