在考虑了相机运动或动作作为观察图像状态的一部分，并将图像和动作建模在多模态学习框架内的基础上，我们提出了三个模型：VG-LeAP 使用变分推断学习图像 - 动作潜在先验并将图像 - 动作对作为单一潜在随机过程生成的扩展状态；Causal-LeAP 建立了动作与观察到的图像帧之间的因果关系，学习基于观察到的图像状态的动作先验；RAFI 将增强的图像 - 动作状态概念与扩散生成过程中的流匹配相结合，证明了这种动作条件下的图像生成概念可以扩展到其他基于扩散的模型。通过对我们的新视频动作数据集 RoAM 进行详细的实证研究，我们强调了多模态训练在部分可观察视频生成问题中的重要性。

Jun, 2024

提出一种通过两个控制点 (起始和结束帧) 控制生成过程的视频生成方法，采用跳帧训练策略并最大化修改的条件数据似然下限，实验结果表明该方法在动态长度生成等多个场景下具有显著的潜力和优点。

Apr, 2019

在这篇论文中，我们提出了一个通用的两阶段深度框架，以生成人体动作视频并统一解决了视频生成，视频预测和视频完成等三种问题。我们在第一阶段训练了一个深度生成模型，用于从随机噪声生成人体姿势序列。在第二阶段，我们训练了一个骨架图像网络，用于生成完整的人体动作视频。通过引入两阶段策略，我们成功地解决了原始的难解问题，并在视频生成、预测和完成方面取得了最先进的结果。

Nov, 2017

通过引入一种 MoStAtt 机制，该研究提出了一种基于运动风格的视频生成模型，以增强帧的生动动态效果，并在四个条件下进行了使用大量跨帧的 256 × 256 合成视频，表现出了最先进的性能。

Apr, 2023

通过在 Kinetics 数据集上训练基于三维自注意机制的自回归视频生成模型，我们展示了这种概念简单的方法在产生高保真、逼真度更高的视频方面具有竞争力。

Jun, 2019

本文研究在外部时间过程的影响下的马尔可夫决策过程，提出了一个策略迭代算法来解决这个问题，并对其性能进行了理论分析。

May, 2023

本文提出了一种基于过程生成、物理模型和现代游戏引擎组件的人体运动视频生成方法，它可以生成一个包含 39,982 个视频的数据集，其中包括 35 个不同的动作类别。通过结合小的真实数据集，我们的方法可以显著提高视频行为识别性能，即使这些数据集的动作类别不同。

Oct, 2019

本文研究了一种在非 Markov 决策过程下进行深度生成建模的模型，在无法观察到动作的情况下进行模仿学习和决策制定。

Jun, 2023

该研究提出了一种针对 MDP 的决策学习与规划框架，其中决策制定者执行的动作有 $m$ 步的延迟，研究表明使用非恒定的马尔科夫策略，可以在非常大的延迟下实现最大化奖励，并介绍了一种无需状态增强即可解决延迟执行任务的 Q-learning 风格模型。

Jan, 2021

该研究提出基于扩散模型的视频生成方法，通过隐式条件建模来模拟运动效果，并提出多种策略来优化生成视频的质量。实验证明，该方法在 FVD 得分和视觉质量方面明显优于现有的以生成对抗网络为基础的方法。

Dec, 2022