MoVideo:使用扩散模型的运动感知视频生成
该研究提出基于扩散模型的视频生成方法,通过隐式条件建模来模拟运动效果,并提出多种策略来优化生成视频的质量。实验证明,该方法在 FVD 得分和视觉质量方面明显优于现有的以生成对抗网络为基础的方法。
Dec, 2022
提出了一种基于 Motion Generation 的视频生成方法,通过 Latent Motion Generation 和 Video Reconstruction 实现视频生成的可控性,采用了 LaMD 框架,包括 Motion-decomposed Video Autoencoder 和 Diffusion-based Motion Generator 两部分,实现了高质量、宽泛的运动生成,并在多个基准数据集上创造了新的最先进的性能。
Apr, 2023
本研究通过主成分分析 (PC) 分析,揭示了视频扩散模型中稳健的运动感知特征,并通过提出的运动特征 (MOFT) 实现了无需训练的视频运动控制框架,为生成自然逼真的运动提供了竞争性能、架构无关的见解以及在各种下游任务中的适用性。
May, 2024
该研究提出了一种基于视频扩散模型的图像和视频编辑方法,利用时序信息和高分辨率信息生成与指导文本匹配的视频,并以完全时间关注和时间关注掩码联合完成模型的微调,实现了较好的编辑效果。
Feb, 2023
提出了一种新的零样本视频生成器 MotionCraft,通过应用来自物理模拟的光流对图像扩散模型(如稳定扩散)的噪声潜空间进行变形,从而实现基于物理的和逼真的视频生成,以生成具有复杂运动动力学的视频。与现有方法相比,实现了定性和定量改进,证明了该方法的有效性。
May, 2024
通过使用导向梯度的扩散模型生成图像,我们提出了一种零样本技术 —— 运动导向,它允许用户指定复杂的运动场并精确编辑图像中对象的布局、位置、姿态和形状。通过同时从扩散模型中采样和引导样本以实现低导向损失,我们可以获得经过运动编辑的高质量图像。
Jan, 2024
我们提出了一种新颖的 4D 生成管道,名为 4Diffusion,旨在从单目视频中生成空间时间一致的 4D 内容。通过将可学习的运动模块与冻结的 3D 感知扩散模型结合,我们设计了一个为多视图视频生成量身定制的统一扩散模型,以捕捉多视图空间时间相关性。通过在精心策划的数据集上训练,我们的扩散模型获得了合理的时间一致性,并固有地保留了 3D 感知扩散模型的泛化性和空间一致性。随后,我们提出了基于我们的多视图视频扩散模型的 4D 感知得分蒸馏采样损失,以优化由动态 NeRF 参数化的 4D 表示,从而消除多个扩散模型引起的差异,实现生成空间时间一致的 4D 内容。此外,我们设计了一个锚点损失,以增强外观细节并促进动态 NeRF 的学习。广泛的定性和定量实验证明,我们的方法相比之前的方法具有更好的性能。
May, 2024
提出了一种基于文本引导的视频风格化方法,通过同步多帧扩散框架来维持视觉细节和时间一致性,实现了视觉细节和时间一致性的生成高质量和多样性的结果。
Nov, 2023
通过引入分解运动建模 (MoMo) 的扩散式方法进行视频帧插值,聚焦于中间运动建模,以增强视觉质量。我们提出了分解的两阶段训练过程,首先训练一个帧合成模型生成输入对及其光流的帧,然后采用我们的扩散 U-Net 架构的运动扩散模型在帧之间生成双向光流。与像素空间的生成建模方法相比,通过利用更简单的低频运动表示,我们的方法在感知性能度量上取得了优越的效果和较低的计算要求。在各个基准测试中,我们的方法超越了最先进的方法,展示了其在视频帧插值中的效力和高效性。
Jun, 2024