通过引入 UniAnimate 框架，我们解决了人类图像动画技术中的两个限制，实现了高效和长期的视频生成，具备了优于现有技术的合成结果。

Jun, 2024

通过在冻结的文本到图像模型中插入一个新初始化的动态建模模块并对其进行视频剪辑训练，我们提出了一个实用的框架，一劳永逸地使大多数现有的个性化文本到图像模型都能够生成多样化和个性化的动态图像。

Jul, 2023

在计算机视觉中，从静态图像生成逼真的动画视频是一个重要的研究领域。本文介绍了一种基于运动先验和视频扩散模型的开放领域可控图像动画方法，能够实现对可移动区域的运动方向和速度的精确控制，同时在保持内容、场景和动作协调一致性的同时生成长度超过 100 帧的长时间视频。

May, 2024

通过扩展训练数据，我们提出了一种针对角色动画的新型框架，使用扩散模型来保持细节特征的一致性，通过空间注意力合并细节特征，引入高效的姿势指导器来控制角色运动，并采用有效的时间建模方法来实现视频帧之间的流畅过渡，相比其他图像到视频方法，在角色动画领域取得了卓越的结果。此外，我们在时尚视频和人类舞蹈合成基准上评估了我们的方法，取得了最先进的结果。

Nov, 2023

通过解耦视频为特定外观与相应动作的图像动画，我们提出了 AnimateZero 来揭示预训练的文本到视频扩散模型 AnimateDiff，并为其提供更精确的外观和动作控制能力。Anima teZero 无需进一步训练即可成功控制生成进程，对于给定图像，还可以实现多种新应用，包括交互式视频生成和真实图像动画。详细实验表明，该方法在 T2V 和相关应用中具有有效性。

Dec, 2023

这篇论文研究了人物图像动画任务，提出了一种基于扩散的框架 MagicAnimate，旨在提高动画的时间一致性、保持参考图像的准确性和提升动画质量。通过引入视频扩散模型、新颖的外观编码器和简单的视频融合技术，该方法在两个基准测试中表现出卓越的性能，其中在具有挑战性的 TikTok 舞蹈数据集上，视频保真度比最强基线方法提高了 38% 以上。

Nov, 2023

本文提出了一种通过使用双向时间建模的去噪扩散模型生成与真实人类动画高度相似的方法。

Jul, 2023

本文介绍了一种全自动方法来将一张静态图像转换为具有连续流体运动的逼真动画循环视频。该方法依赖于单变量特征场的欧拉运动描述，并使用图像到图像的翻译网络来编码自然场景的运动先验，并通过深度扭曲技术，使用产生的运动来动画化图像，从而实现连续流畅的循环视频纹理。

Nov, 2020

我们提出了一种名为 ExVideo 的新型视频合成模型后调优方法，该方法可以增强当前视频合成模型的能力，使其在更长的时间范围内生成内容，并降低培训成本。

Jun, 2024

本研究介绍了通过在连续视频流中训练扩散模型的可行性，并通过引入两个新的持续视频生成建模基准数据集 —— 终身弹跳球和 Windows 95 迷宫屏幕保护程序，证明了扩散模型可以通过经验重放在线有效地训练，其性能与使用相同梯度步数训练的独立同分布样本的模型相当。

Jun, 2024