VividPose: 提升稳定视频扩散以实现逼真的人体图像动画

May, 2024

VividPose: 提升稳定视频扩散以实现逼真的人体图像动画

VividPose: Advancing Stable Video Diffusion for Realistic Human Image Animation

Qilin Wang, Zhengkai Jiang, Chengming Xu, Jiangning Zhang, Yabiao Wang...

TL;DR通过使用稳定的视频扩散 (SVD)、面部信息集成、准确对齐人体姿态和形状的控制器，VividPose 通过保持人物身份，并提供一个能处理多种身体形状和动态手部运动的坚实框架，实现了最先进的性能，并展示出在我们提出的野外数据集上的出色泛化能力。

Abstract

human image animation involves generating a video from a static image by following a specified pose sequence. Current approaches typically adopt a multi-stage pipeline that separately learns appearance and motion, which often leads to appearance degradation and temporal inconsistencies

human image animation vividpose stable video diffusion identity-aware appearance controller geometry-aware pose controller

发现论文，激发创造

DreamPose: 通过稳定扩散进行时装图像到视频合成

DreamPose 是一种基于扩散的方法，用于从静止图像生成动画时装视频，通过使用一组新颖的微调策略、建筑变化和技术来实现姿势与图像引导的视频合成模型，并鼓励时间的一致性，通过对 UBC 时尚数据集的时装视频进行微调来对我们的方法进行评估，证明我们的方法在时装视频动画方面取得了最先进的效果。

Apr, 2023

舞动的阿凡达：基于姿势和文本引导的人体动作视频合成与图像扩散模型

提出了一种名为 “Dancing Avatar” 的方法，通过文本和姿势驱动，利用训练良好的 T2I 扩散模型生成逐帧人体运动视频，同时保持上下文相关性、人物外观一致性和背景连续性，实现生成具有出色质量的人类视频。

Aug, 2023

稳定姿态：利用变形金刚进行姿态引导的文本到图像生成

通过引入粗糙到精细的注意掩蔽策略到视觉 Transformer (ViT) 中，我们提出了一个新的适配器模型 Stable-Pose，以在生成图像时获得准确的姿势指导，并通过层级方式从粗糙到精细的过渡来提供一种对齐姿势表示的优化方式。

Jun, 2024

基于扩散的人体姿态和形状编辑

人物图像中的姿势和身体形状编辑一直受到越来越多的关注。然而，当前的方法在处理大幅度编辑时往往受到数据集偏见的困扰，导致逼真度和人物身份的退化。我们提出了一种一次性方法，可以实现大幅度编辑并保留身份信息。为了实现大幅度编辑，我们使用一个 3D 人体模型进行拟合，将输入图像投影到 3D 模型上，并改变人体的姿态和形状。由于初始纹理身体模型存在由于遮挡和不准确的身体形状引起的伪影，渲染图像经历了一种基于扩散的细化过程，在这个过程中，强噪声破坏了身体结构和身份，而不充分的噪声并没有起到帮助作用。因此，我们提出了一种迭代细化方法，首先对整个身体进行弱噪声处理，然后对脸部进行细化。通过自监督学习进一步增强了真实感，通过微调文本嵌入。我们的定量和定性评估表明，我们的方法在各种数据集上优于其他现有方法。

Jan, 2024

MagicDance: 逼真的人类舞蹈视频生成与动作及面部表情迁移

我们提出了一种基于扩散的模型 MagicDance，用于处理具有挑战性的人类舞蹈视频中的 2D 人体动作和面部表情转换。通过预训练外观控制块和微调外观 - 姿势 - 关节点控制块的两阶段训练策略，我们旨在在保持身份不变的同时生成任何目标身份驱动的人类舞蹈视频。

Nov, 2023

3D 控制合成运动人物

利用扩散模型为给定目标 3D 动作序列中的人物从单个图像创建动画的框架，包括学习关于人体和服装不可见部分的先验知识以及呈现适当的身体姿势和纹理的新姿态。

Jan, 2024

MagicAnimate: 使用扩散模型的时间一致人体图像动画

这篇论文研究了人物图像动画任务，提出了一种基于扩散的框架 MagicAnimate，旨在提高动画的时间一致性、保持参考图像的准确性和提升动画质量。通过引入视频扩散模型、新颖的外观编码器和简单的视频融合技术，该方法在两个基准测试中表现出卓越的性能，其中在具有挑战性的 TikTok 舞蹈数据集上，视频保真度比最强基线方法提高了 38% 以上。

Nov, 2023

姿势引导的人体视频生成

本文提出了一种基于姿态引导的方法来以可分离的方式合成人类视频：可信的运动预测和协调的外观生成，旨在探索并掌握视频合成中人体姿态的本质动态和诠释能力，并在保持外观连贯性的同时处理异常和嘈杂数据，实验证明其优于现有技术。

Jul, 2018

UniAnimate: 统一视频扩散模型驯服一致人类形象动画

通过引入 UniAnimate 框架，我们解决了人类图像动画技术中的两个限制，实现了高效和长期的视频生成，具备了优于现有技术的合成结果。

Jun, 2024

人体视频生成中增强逼真度的前景与背景动作解耦

通过采用不同的运动表示方法，我们引入了一种可同时学习前景和背景动力学的技术，该技术通过把它们的运动分离开来。我们的模型在真实世界的视频训练中生成了前景和背景动作之间协调的视频，并通过引入全局特征来扩展视频生成到更长的序列，以确保平滑的连续性。这种方法在产生展示前景动作和反应背景动态的视频方面优于之前的方法。

May, 2024