Jun, 2024

稳定姿态：利用变形金刚进行姿态引导的文本到图像生成

PDF
TL;DR通过引入粗糙到精细的注意掩蔽策略到视觉 Transformer (ViT) 中，我们提出了一个新的适配器模型 Stable-Pose，以在生成图像时获得准确的姿势指导，并通过层级方式从粗糙到精细的过渡来提供一种对齐姿势表示的优化方式。
t2i diffusion modelsskeleton human posesstable-posevision transformerimage synthesis
发现论文，激发创造
  • 跟随你的姿势：使用无姿态视频进行姿势引导的文本到视频生成

    本研究提出一种新的双阶段训练方法，可利用易获得的数据集和预训练的 text-to-image（T2I）模型，生成可编辑和姿态可控的字符视频。这种方法成功地生成了连续的姿态可控字符视频，同时保持了预训练 T2I 模型的编辑和概念构成能力。

    Apr, 2023

  • VividPose: 提升稳定视频扩散以实现逼真的人体图像动画

    通过使用稳定的视频扩散 (SVD)、面部信息集成、准确对齐人体姿态和形状的控制器，VividPose 通过保持人物身份，并提供一个能处理多种身体形状和动态手部运动的坚实框架，实现了最先进的性能，并展示出在我们提出的野外数据集上的出色泛化能力。

    May, 2024

  • TIPS: 文本驱动的姿势合成

    本研究提出了一种三步走的文本姿势转移方法，解决了现有姿势转移算法的缺陷，并在 DeepFashion 数据集上新增了姿势注释，通过实验得出了显著的定量和定性分数。

    Jul, 2022

  • DreamPose: 通过稳定扩散进行时装图像到视频合成

    DreamPose 是一种基于扩散的方法，用于从静止图像生成动画时装视频，通过使用一组新颖的微调策略、建筑变化和技术来实现姿势与图像引导的视频合成模型，并鼓励时间的一致性，通过对 UBC 时尚数据集的时装视频进行微调来对我们的方法进行评估，证明我们的方法在时装视频动画方面取得了最先进的效果。

    Apr, 2023

  • ViTPose: 用于人体姿势估计的简单视觉 Transformer 基线模型

    本文通过一个名为 ViTPose 的基础模型展示了纯视觉 Transformer 在姿态估计任务中的潜力，该模型结构简单、可扩展、训练方式灵活，并在多关键点检测中取得了优异的性能，其中大模型最高精度达到当前最佳水平。

    Apr, 2022

  • Follow-Your-Pose v2: 稳定姿态控制的多条件引导角色图像动画

    提出了一个实用而稳健的框架 Follow-Your-Pose v2，它可以在互联网上易于获取的噪声数据集进行训练，并通过设计多条件引导器解决背景稳定性、多角色生成中的身体遮挡以及角色外貌的一致性等问题。通过对接近 4000 帧的新基准进行广泛实验，表明我们的方法在两个数据集和 7 个度量标准上比最先进的方法提高了 35% 以上。同时，定性评估表明我们的方法在生成复杂背景和多角色身体遮挡的场景中显著改善了生成视频的质量，表明了我们方法的优越性。

    Jun, 2024

  • 从野外单张图像中的姿势引导的人类动画

    本文提出了一种新的姿态转换方法，通过使用组合神经网络，预测人的轮廓，服装标签和纹理，并在推理时利用训练有素的网络生成一个外观及其标签的统一表示，以对姿势变化做出响应，并使用背景完成外观的呈现，从而实现保留人物身份和外观，具有时间上的一致性和泛化能力。

    Dec, 2020

  • 基于文本指导的人物图像合成

    本论文提出了一种新颖的方法，根据自然语言描述操纵人物图像的视觉外观和姿态，并进行了广泛的实验以证明该方法的有效性。

    Apr, 2019

  • Poseur：基于 Transformer 的直接人体姿势回归

    提出了一种基于 Transformer 网络的 2D 人体姿势估计方法，直接将图像转换为坐标进行回归预测，并利用自适应注意力机制来提高关键点坐标预测精度，实现了在 MS-COCO 数据集上超越同类方法的目标。

    Jan, 2022

  • 多透视 空时关系变换的精确 3D 人体姿势估计

    我们提出了一个多阶段的 3D 序列到序列人体姿势检测框架，利用变压器的自注意力机制从多视角视频数据中捕捉空间 - 时间相关性，实验结果表明我们的方法在 Human3.6M 数据集上表现出色。

    Jan, 2024