Apr, 2024

PoseAnimate: 零样本高保真度姿势可控角色动画

PDF
TL;DR从单张图片生成视频序列的 PoseAnimate 是一种新颖的零样本人物动画框架，通过将多样化的姿势信号整合到条件嵌入中以保持人物独立内容并维持动作的精确对齐，增强了时序一致性、保留了人物身份特征和复杂背景细节以及通过解耦角色和背景改善动画精度。实验结果表明，该方法在人物一致性和细节保真度方面优于现有的基于训练的方法，并且在所生成动画中始终保持较高水平的时序一致性。
image-to-video generationposeanimatecharacter animationtemporal coherencedetail fidelity
发现论文，激发创造
  • 跟随你的姿势：使用无姿态视频进行姿势引导的文本到视频生成

    本研究提出一种新的双阶段训练方法，可利用易获得的数据集和预训练的 text-to-image（T2I）模型，生成可编辑和姿态可控的字符视频。这种方法成功地生成了连续的姿态可控字符视频，同时保持了预训练 T2I 模型的编辑和概念构成能力。

    Apr, 2023

  • Follow-Your-Pose v2: 稳定姿态控制的多条件引导角色图像动画

    提出了一个实用而稳健的框架 Follow-Your-Pose v2，它可以在互联网上易于获取的噪声数据集进行训练，并通过设计多条件引导器解决背景稳定性、多角色生成中的身体遮挡以及角色外貌的一致性等问题。通过对接近 4000 帧的新基准进行广泛实验，表明我们的方法在两个数据集和 7 个度量标准上比最先进的方法提高了 35% 以上。同时，定性评估表明我们的方法在生成复杂背景和多角色身体遮挡的场景中显著改善了生成视频的质量，表明了我们方法的优越性。

    Jun, 2024

  • 实现动画的任何人：一致且可控的角色动画图像到视频的合成

    通过扩展训练数据，我们提出了一种针对角色动画的新型框架，使用扩散模型来保持细节特征的一致性，通过空间注意力合并细节特征，引入高效的姿势指导器来控制角色运动，并采用有效的时间建模方法来实现视频帧之间的流畅过渡，相比其他图像到视频方法，在角色动画领域取得了卓越的结果。此外，我们在时尚视频和人类舞蹈合成基准上评估了我们的方法，取得了最先进的结果。

    Nov, 2023

  • Motion-I2V: 显式运动建模的一致且可控的图像到视频生成

    Motion-I2V 是一个用于生成一致且可控的图像到视频的新型框架，通过显式的运动建模将图像到视频分解为两个阶段。

    Jan, 2024

  • Text2AC-Zero：使用 2D 扩散一致合成动画角色

    我们提出了一种零样本方法，基于预训练的文本到图像扩散模型实现一致的文本到动画角色合成。通过利用现有的基于文本的动作扩散模型生成多样的动作，并使用其指导文本到图像模型，我们成功地在不需要训练或微调的情况下生成了具有不同动作和风格的时序一致的视频，优于现有的零样本文本到视频方法在像素一致性和用户偏好方面。

    Dec, 2023

  • 可控的图像描述生成视频技术

    提出了一种名为 TI2V 的新的视频生成任务，即从静态图像和文本描述生成视频。介绍了一种名为 MAGE 的视频生成器，其中包含一种创新的运动锚（MA）结构，以存储外观 - 运动对齐表示，通过三维轴向变压器与给定图像交互，支持可控性和多样性。两个新的视频 - 文本匹配数据集验证了 MAGE 的有效性并展示了 TI2V 的潜力。

    Dec, 2021

  • AnimateZero：视频扩散模型能进行零样动画生成

    通过解耦视频为特定外观与相应动作的图像动画，我们提出了 AnimateZero 来揭示预训练的文本到视频扩散模型 AnimateDiff，并为其提供更精确的外观和动作控制能力。Anima teZero 无需进一步训练即可成功控制生成进程，对于给定图像，还可以实现多种新应用，包括交互式视频生成和真实图像动画。详细实验表明，该方法在 T2V 和相关应用中具有有效性。

    Dec, 2023

  • 可控肖像图像动画的 3D GAN 反向推导

    本文提出了一种基于新开发的三维生成对抗网络（GANs）的画像图像动画的技术，该技术允许对图像主体的姿态进行明确控制，并展示了该方法在图像质量，身份保护和姿态转移等方面胜过先前的方法，同时支持属性修改。

    Mar, 2022

  • VividPose: 提升稳定视频扩散以实现逼真的人体图像动画

    通过使用稳定的视频扩散 (SVD)、面部信息集成、准确对齐人体姿态和形状的控制器，VividPose 通过保持人物身份，并提供一个能处理多种身体形状和动态手部运动的坚实框架，实现了最先进的性能，并展示出在我们提出的野外数据集上的出色泛化能力。

    May, 2024

  • 从野外单张图像中的姿势引导的人类动画

    本文提出了一种新的姿态转换方法，通过使用组合神经网络，预测人的轮廓，服装标签和纹理，并在推理时利用训练有素的网络生成一个外观及其标签的统一表示，以对姿势变化做出响应，并使用背景完成外观的呈现，从而实现保留人物身份和外观，具有时间上的一致性和泛化能力。

    Dec, 2020