本研究提出一种新的双阶段训练方法，可利用易获得的数据集和预训练的 text-to-image（T2I）模型，生成可编辑和姿态可控的字符视频。这种方法成功地生成了连续的姿态可控字符视频，同时保持了预训练 T2I 模型的编辑和概念构成能力。

Apr, 2023

从单张图片生成视频序列的 PoseAnimate 是一种新颖的零样本人物动画框架，通过将多样化的姿势信号整合到条件嵌入中以保持人物独立内容并维持动作的精确对齐，增强了时序一致性、保留了人物身份特征和复杂背景细节以及通过解耦角色和背景改善动画精度。实验结果表明，该方法在人物一致性和细节保真度方面优于现有的基于训练的方法，并且在所生成动画中始终保持较高水平的时序一致性。

Apr, 2024

通过引入粗糙到精细的注意掩蔽策略到视觉 Transformer (ViT) 中，我们提出了一个新的适配器模型 Stable-Pose，以在生成图像时获得准确的姿势指导，并通过层级方式从粗糙到精细的过渡来提供一种对齐姿势表示的优化方式。

Jun, 2024

通过扩展训练数据，我们提出了一种针对角色动画的新型框架，使用扩散模型来保持细节特征的一致性，通过空间注意力合并细节特征，引入高效的姿势指导器来控制角色运动，并采用有效的时间建模方法来实现视频帧之间的流畅过渡，相比其他图像到视频方法，在角色动画领域取得了卓越的结果。此外，我们在时尚视频和人类舞蹈合成基准上评估了我们的方法，取得了最先进的结果。

Nov, 2023

本文提出了一种新的姿态转换方法，通过使用组合神经网络，预测人的轮廓，服装标签和纹理，并在推理时利用训练有素的网络生成一个外观及其标签的统一表示，以对姿势变化做出响应，并使用背景完成外观的呈现，从而实现保留人物身份和外观，具有时间上的一致性和泛化能力。

Dec, 2020

本文提出了一种基于姿态引导的方法来以可分离的方式合成人类视频：可信的运动预测和协调的外观生成，旨在探索并掌握视频合成中人体姿态的本质动态和诠释能力，并在保持外观连贯性的同时处理异常和嘈杂数据，实验证明其优于现有技术。

Jul, 2018

在数字内容创作领域中，从单张图像生成高质量的 3D 角色是具有挑战性的，本文介绍了 CharacterGen 框架，该框架通过图像条件的多视角扩散模型和基于转换器的稀疏视角重建模型高效地生成 3D 角色。通过定量和定性实验证明该方法能够生成具有高质量形状和纹理的 3D 角色，可用于后续的蒙皮和动画应用。

Feb, 2024

提出了一种可控的视频生成框架 MimicMotion，通过引入自信姿势引导、基于姿势置信度的区域损失放大和渐进式潜在融合策略，实现了生成任意长度高质量视频的目标，并在各个方面显示出与之前方法相比的显著改进。

Jun, 2024

人体运动复制是人工智能和计算机视觉中一个有趣且具有挑战性的任务，本研究通过在生成过程中引入感知损失、理论驱动的 Gromov-Wasserstein 损失和时域一致性，以及使用记忆模块，优化关键身体部位，从而实现模仿源视频中的运动并生成逼真的目标视频。实验结果表明，该方法在 PSNR 和 FID 方面的表现明显优于现有的方法，分别提升了 7.2% 和 12.4%。

Jun, 2024

提出了一种名为 “Dancing Avatar” 的方法，通过文本和姿势驱动，利用训练良好的 T2I 扩散模型生成逐帧人体运动视频，同时保持上下文相关性、人物外观一致性和背景连续性，实现生成具有出色质量的人类视频。

Aug, 2023