提出了一种基于 Motion Generation 的视频生成方法，通过 Latent Motion Generation 和 Video Reconstruction 实现视频生成的可控性，采用了 LaMD 框架，包括 Motion-decomposed Video Autoencoder 和 Diffusion-based Motion Generator 两部分，实现了高质量、宽泛的运动生成，并在多个基准数据集上创造了新的最先进的性能。

Apr, 2023

运动扩散模型通过运动潜变量的一致性训练提高运动生成性能，使用概率流常微分方程表达扩散过程，引入量化约束优化运动潜变量表示，提出条件生成方法并节省大量时间成本，实验结果表明该模型具有最先进的性能和较低的时间成本。

May, 2024

该研究介绍了 MoDiff，它是一个基于自回归概率扩散模型的运动序列生成模型，其结合了跨模式 Transformer 编码器和基于 Transformer 的解码器，以生成控制时序依赖性的动作。该模型在运动合成方面表现优异，并通过数据丢弃方法来提高数据表示和运动合成的鲁棒性。

Apr, 2023

提出一种新的运动感知视频生成 (MoVideo) 框架，从视频深度和光流两个方面考虑运动，并通过稀疏 - 时间扩散模型生成视频深度和光流，然后在潜在空间中生成视频，最后利用光流对不同帧进行对齐和细化，实现了文本到视频和图像到视频生成中最先进的结果。

Nov, 2023

我们通过集成演示学习（LfD）到运动生成过程中，在复杂环境中（包括障碍物、通过点等）解决了高自由度机械臂的运动生成问题。我们通过在大规模模拟轨迹数据集上训练一个基于条件变分自动编码器变压器的结构，学习了关键的运动生成技能，并将其适应辅助任务和约束条件。我们的自回归方法实现了来自物理系统的实时反馈整合，增强了运动生成的适应性和效率。我们表明，我们的模型可以从初始点和目标点生成运动，同时也能够适应复杂任务的轨迹规划，包括障碍物避让、通过点和速度、加速度限制，在多种平台上实现。

Mar, 2024

基于扩散模型，我们提出了一种新型的基于文本到视频生成网络结构，名为增加扰动的潜在噪声与对抗训练（APLA）。该方法仅需要一个视频作为输入，并建立在预训练的稳定扩散网络上。我们引入了一个名为视频生成变换器（VGT）的辅助组件，用于从输入中提取扰动，从而在时间预测过程中改善不一致的像素。我们利用变换器和卷积的混合架构来弥补时间上的复杂性，从而提高视频内不同帧之间的一致性。实验证明，在生成的视频的一致性方面，我们取得了明显的定量和定性改进。

Aug, 2023

本研究通过主成分分析 (PC) 分析，揭示了视频扩散模型中稳健的运动感知特征，并通过提出的运动特征 (MOFT) 实现了无需训练的视频运动控制框架，为生成自然逼真的运动提供了竞争性能、架构无关的见解以及在各种下游任务中的适用性。

May, 2024

该研究提出基于扩散模型的视频生成方法，通过隐式条件建模来模拟运动效果，并提出多种策略来优化生成视频的质量。实验证明，该方法在 FVD 得分和视觉质量方面明显优于现有的以生成对抗网络为基础的方法。

Dec, 2022

本研究介绍了一种基于文本的图像编辑方法，利用最新的扩散模型对一些基于文本主题的地方图像进行编辑，通过结合扩散模型的速度和 Blended Diffusion，提高了编辑的效率，并通过优化方法来解决扩散模型无法完美重建图像的问题，实现了比当前方法更高的精度和速度

Jun, 2022

基于 MotionLCM 模型，作者提出了一种能够实时生成可控运动的方法，通过引入运动潜在一致性模型（MotionLCM）和使用运动控制网络，实现了对文本和控制信号的实时生成和控制，在保持运行效率的同时展现出了出色的生成和控制能力。

Apr, 2024