ICLRApr, 2021

高分辨率视频合成需要优秀的图像生成器

PDF
TL;DR本研究提出一种利用现代图像生成器解决高分辨率视频合成问题的框架，并引入一种新的跨领域视频合成任务，实现数据不连续情况下动态物体的生成。该框架具有高效率和灵活性，能够操作内容和动作以及生成质量和分辨率。
image synthesisvideo synthesishigh-resolution videosmotion generatorcross-domain video synthesis
发现论文，激发创造
  • 高分辨率图像合成的加速框架

    本文提出了一种两阶段的框架，用于加速合成高分辩率图像的训练过程，其通过已训练好的编码器和解码器网络将高分辨率图像变换为小编码，并通过训练一种编码生成网络学习潜在编码的分布，生成器只学习生成小的潜在编码，最后通过解码器网络将生成的潜在编码转化为图像空间，提高了合成样本的质量，并在可用硬件资源的限制下大幅缩短了训练时间。

    Sep, 2019

  • 视频到视频合成

    本文提出了一种基于生成对抗学习框架、伴随有空间–时间对抗性目标的视频生成方法，可高效地从语义分割掩膜、素描和姿势等多种输入格式生成 2K 分辨率、30 秒长的逼真视觉效果的视频，此方法成功优化了视频生成技术的最新发展状态，并被应用于未来视频预测。

    Aug, 2018

  • 用变换生成从单个图像中的视频想象

    该论文提出了一个新的框架，可以通过转换生成多个虚构视频，经过测量其输出质量可以达到良好的效果。

    Jun, 2017

  • 基于无时间感知 VQGAN 和时间敏感 Transformer 的长视频生成

    本文提出了一种利用 3D-VQGAN 和 transformers 生成长视频的方法，并通过 UCF-101、Sky Time-lapse 和 Taichi-HD 数据集的 16 帧视频剪辑进行了验证，同时还展示了结合文本和音频等条件扩展的方法。

    Apr, 2022

  • 图像视频：扩散模型生成高清晰度视频

    基于级联的视频扩散模型，Imagen Video 是一种文本有条件的视频生成系统，它使用基础视频生成模型和序列的交错空间和时间视频超分辨率模型生成高清视频。该系统可扩展为高清文本到视频模型，具有高度的可控性和世界知识，包括生成各种艺术风格的多样化视频和文本动画以及 3D 对象理解。

    Oct, 2022

  • DiffuseHigh: 基于结构引导的无训练渐进式高分辨率图像合成

    现有大规模扩散模型受限于生成 1K 分辨率图像，本文提出基于渐进方法的创新研究，在不增加额外训练成本的情况下，利用低分辨率图像辅助生成高分辨率图像，实现了对生成模型超越原有能力的探索和验证。

    Jun, 2024

  • 神奇修复：通过观察动态视频简化照片编辑

    我们提出了一个生成模型，根据粗略编辑的图片合成一个遵循预定布局的逼真输出，并从原始图像中转移细节，同时保留其部分的身份信息，并将其调整到由新布局定义的光照和上下文。

    Mar, 2024

  • 学习预测和优化残差运动用于图像生成视频

    本文提出了一个两阶段的生成框架来解决图像到视频转换的问题，其中视频从结构生成并通过时间信号进行调整。通过在面部表情重定位和人体姿势预测这两个任务中取得比现有方法优秀的结果，证明了我们方法的有效性。

    Jul, 2018

  • I2VGen-XL: 通过级联扩散模型实现高质量图像到视频的合成

    提出了 I2VGen-XL 的级联方法，通过将两个因素解耦并利用静态图像作为关键指导，能够同时提高模型的语义准确性、细节的连续性和视频的清晰度。

    Nov, 2023

  • 视频扩散模型

    本研究通过提出扩展图像扩散结构的扩散模型，使得可以自然地对图像和视频数据进行联合训练以生成高保真度的时空连续的视频，并引入一种更好的有条件采样技术，得到了在文本条件视频生成任务及视频预测和无条件视频生成方面的最先进结果。

    Apr, 2022