Sep, 2024

OSV：一步即可生成高质量图像到视频

HTML
PDF
TL;DR本研究解决了视频扩散模型在生成高质量视频时面临的计算和时间开销问题。通过提出一种将一致性蒸馏与GAN训练有效结合的两阶段训练框架，以及一种新的视频鉴别器设计，研究展示了模型只需一步即可生成高质量视频，并且在OpenWebVid-1M基准测试中显著超越现有方法。该模型开启了视频生成的新篇章，展现出更高的效率和性能。
发现论文，激发创造
  • 视频扩散模型

    本研究通过提出扩展图像扩散结构的扩散模型，使得可以自然地对图像和视频数据进行联合训练以生成高保真度的时空连续的视频，并引入一种更好的有条件采样技术，得到了在文本条件视频生成任务及视频预测和无条件视频生成方面的最先进结果。

    Apr, 2022

  • 图像视频：扩散模型生成高清晰度视频

    基于级联的视频扩散模型，Imagen Video是一种文本有条件的视频生成系统，它使用基础视频生成模型和序列的交错空间和时间视频超分辨率模型生成高清视频。该系统可扩展为高清文本到视频模型，具有高度的可控性和世界知识，包括生成各种艺术风格的多样化视频和文本动画以及3D对象理解。

    Oct, 2022

  • 用于生成高保真长视频的潜在视频扩散模型

    该论文提出了一种基于轻量级视觉扩散模型和层级扩散概念的视频生成框架，可在有限的计算预算下生成更真实、更长的视频，同时提供了大规模文本到视频生成的扩展应用。

    Nov, 2022

  • VIDM: 视频隐式扩散模型

    该研究提出基于扩散模型的视频生成方法，通过隐式条件建模来模拟运动效果，并提出多种策略来优化生成视频的质量。实验证明，该方法在FVD得分和视觉质量方面明显优于现有的以生成对抗网络为基础的方法。

    Dec, 2022

  • 视频传播模型调查

    近期AI生成内容(AIGC)的浪潮在计算机视觉领域取得了巨大的成功，其中扩散模型在这一成就中发挥了至关重要的作用。本文在AIGC时代提供了对视频扩散模型的全面回顾，包括视频生成、视频编辑和其他视频理解任务的研究概述，并讨论了该领域面临的挑战以及未来的发展趋势。

    Oct, 2023

  • 稳定的视频扩散：将潜在视频扩散模型扩展到大型数据集

    我们提出了稳定的视频扩散-一种用于高分辨率的文本到视频和图像到视频生成的潜在视频扩散模型。

    Nov, 2023

  • AnimateDiff-Lightning：跨模型扩散蒸馏

    通过使用渐进式对抗传播扩散调制，我们提出了AnimateDiff-Lightning模型用于快速生成视频，达到了最新的有限步视频生成技术。我们在该文中探讨了为适应视频模态所做的修改。此外，我们提出了同时精馏多个基础传播模型的概率流，从而获得具有更广泛风格兼容性的单一精馏运动模块。我们很高兴为社区发布我们的精馏AnimateDiff-Lightning模型供使用。

    Mar, 2024

  • 通过内容-帧运动-潜变分解实现高效视频扩散模型

    该研究提出了一种内容-动态潜在扩散模型 (CMD)，它是针对视频生成的预训练图像扩散模型的一种高效扩展。CMD通过使用预训练图像扩散模型生成内容帧和训练轻量级扩散模型生成动态潜在表征，实现了更高质量的视频生成和降低的计算成本。

    Mar, 2024

  • SF-V：单向视频生成模型

    通过对预训练的视频扩散模型进行对抗训练，我们提出了一种新颖的方法，通过单步合成高质量视频来获得单步视频生成模型，捕捉视频数据中的时间和空间依赖关系，从而大大减少计算成本，为实时视频合成和编辑铺平了道路。

    Jun, 2024

  • 动作一致性模型：使用解耦的运动-外观蒸馏加速视频扩散

    运用图像扩散提炼高保真生成的方法对视频扩散应用直接导致了公开视频数据集中视觉质量有限的帧质量不尽如人意的问题。研究旨在利用丰富的高质量图像数据提高视频扩散提炼的品质，同时改进帧外观。提出了一种称为运动一致模型 （MCM）的单阶段视频扩散提炼方法，通过分离运动和外观学习来改善视频扩散提炼。MCM包括一个可以从视频教师模型中提炼运动的视频一致性模型和一种增强帧外观以匹配高质量图像数据的图像鉴别器。通过引入分离化的运动提炼和混合轨迹提炼来解决两个挑战：冲突的帧学习目标以及由于训练和推断中使用的视频样本质量不同而产生的训练-推断偏差。大量实验结果表明，MCM达到了最先进的视频扩散提炼性能，并且方法可提高视频扩散模型的帧质量，能够生成具有高美感得分或特定风格的帧，而无需相应的视频数据。

    Jun, 2024