本文提出了一种分层可控的视频生成方法，其中用户可以通过简单操作前景掩码来控制视频生成过程，以此实现对视频生成的更加精细的控制。该方法采用两阶段学习，第一阶段通过前景尺寸先验和 VQ-VAE 生成器学习如何将帧分离为前景和背景层，并在这些层的条件下生成下一帧；第二阶段通过拟合参数化控制，微调网络以预测后续帧中的 MASK 情况。实验表明，该方法拥有更好的控制效果，同时在两个基准数据集上实现了最先进的性能。

Nov, 2021

我们通过使用去噪扩散方法和注意力模块来提取零件属性之间的相关性，以期缩放和直接控制地生成符合用户约束的物体的几何形状和运动参数，其中 3D 关节物体的建模通常通过繁琐的手动创作或难以扩展和直接控制的先前方法实现。实验结果表明，我们的方法在生成关节物体方面优于现有技术，在产生更逼真的物体同时更好地符合用户约束。

Dec, 2023

本文提出了一种基于混合形状几何、动态纹理和神经渲染的照片级头部模型的文本 / 语音驱动动画的新方法，该动画方法基于有条件的 CNN 将文本或语音转换为一系列动画参数。

Jun, 2023

该论文讲述了一种利用无监督学习，通过编码器 - 解码器架构、动作标签以及重构损失的方法，生成可控制的视频的框架，其在多个数据集上得到了验证。

Jan, 2021

本论文提出了一种基于生成对抗网络的条件生成模型，通过无监督学习实现在没有多视角、3D 和姿态监督的情况下进行从单一图像到新视角的合成。

Feb, 2021

该论文介绍了一种利用生成对抗网络的思想进行自动视频摘要的新的无监督方法，消除了鉴别器，使用简单的损失函数，并将模型的不同部分训练分离。采用迭代式训练策略，交替训练重构器和帧选择器多次迭代。此外，该方法在训练和评估期间添加了一个可训练的掩码向量到模型中进行摘要生成。在两个公共数据集 (SumMe 和 TVSum) 和四个我们创建的数据集 (Soccer、LoL、MLB 和 ShortMLB) 上的实验证明了每个组件在模型性能上的有效性，特别是迭代式训练策略。与最先进的方法进行的评估和比较突出了该方法在性能、稳定性和训练效率上的优势。

Nov, 2023

本文首次提出 Action Graph 结构来实现多协调及可能同时进行的时间动作相关视频的生成方式，通过 AG2Vid 模型实现了运动和外观特征的分离，并引入了调度机制以协助视频生成，经过对 CATER 和 Something-Something V2 数据集的训练和评估，证明与基线相比，所生成的视频具有更好的视觉质量和语义一致性。同时，该模型还展现了零样本能力，在生成已学习动作的新组合等方面表现出良好的效果。

Jun, 2020

提出了一种统一的多模态视频生成系统，能够处理基于文本和图像模态的多个视频生成任务，其中高自由度视频生成采用多条件交叉注意力对齐输入图像或文本的语义，低自由度视频生成引入偏置高斯噪声以更好地保留输入条件的内容，该方法在 MSR-VTT 公共学术基准中取得了最低的 Fréchet 视频距离（FVD），在人类评估中超过了当前的开源方法，并与当前的闭源方法 Gen2 持平。

Jan, 2024

本文探讨了生成对抗网络 (GANs)，将神经隐式表示与时间感知区别器相结合，发展了一种 GAN 框架，仅用单目视频合成了 3D 视频，能够学习可分解的 3D 结构和运动的丰富嵌入，实现了新的时空渲染视觉效果，同时也能产生与现有 3D 或视频 GANs 相媲美的图像质量。

Jun, 2022

提出了一种使用现有短视频合成视觉讲述视频的技术，该技术基于查询文本描述运动结构，在结构引导和外观指导下生成基于情节的视频，并通过概念个性化方法保证视频的视觉一致性。

Jul, 2023