Apr, 2023

UPGPT: 人物图像生成、编辑和姿态转移的通用扩散模型

PDF
TL;DR提出了一种统一的扩散模型 UPGPT，以实现所有人物图像任务 —— 生成，姿势转移和编辑，具有精细的多模态和分离能力，无需信号分割掩模即可对图像的生成和编辑过程进行精细控制。同时，在姿势引导人物图像生成方面，率先采用了参数化身体 SMPL 模型，展示了同时进行姿势和相机视角插值而保持人物外观的新能力。在基准 DeepFashion 数据集上的结果表明，UPGPT 是新的最先进技术，同时在人类图像生成中开拓了新的编辑和姿势转移能力。
person image generative modelspose transfereditingfine-grained multimodalityparameterized body smpl model
发现论文，激发创造
  • 姿势引导的人像图像生成

    本论文提出了新颖的姿势引导人物生成网络（PG2），该网络可以基于人的图像和新颖的姿态来合成人体图像。PG2 的生成框架明确利用了姿势信息，并包含两个关键阶段：姿势整合和图像细化。实验表明，该模型可以生成高质量、具有令人信服细节的人体图像。

    May, 2017

  • MUST-GAN: 自主驾驶人物图像生成的多层统计转移

    提出一种新颖的多层次统计转移模型，通过注意力机制和属性统计学习最优的外貌表示，将其传输到姿势引导生成器进行外貌和姿势的重构，从而实现自主驱动的人物图像生成，实验证明该方法在 DeepFashion 数据集上表现出色。

    Nov, 2020

  • 基于去噪扩散模型的人物图像合成

    使用去噪扩散模型，我们提出了一种名为 PIDM 的人体图像扩散模型，解决了复杂的转换问题，并展示了在两个大型基准测试中的显着结果，以及如何在下游任务中使用生成的图像。

    Nov, 2022

  • 逐步姿态注意力转移用于人像生成

    提出了一种新的生成式对抗网络，用于姿势转移，其生成器由一系列姿势注意传输块组成，可以生成具有更好外观一致性和形状一致性的图像，此方法能够为人物重新识别生成训练图像，并提高具体实现的效率和有效性。

    Apr, 2019

  • 基于语义解析变换的无监督人物图像生成

    本文提出了一种无监督学习的姿态引导的人物图像生成方法，通过将生成人体的硬映射分解为语义解析和外貌生成两个子任务的形式，实现了人体的变形生成。

    Apr, 2019

  • PoseGPT：关于三维人体姿势的对话

    PoseGPT 是一个框架，利用大型语言模型（LLMs）从图像或文本描述中理解和推理出 3D 人体姿势。它通过嵌入 SMPL 姿势作为多模态 LLM 中的独立信号标记来解决传统人体姿势估计方法的局限性，不仅简化了姿势预测，而且赋予了 LLMs 在推理人体姿势方面应用它们的世界知识的能力，从而在姿势估计上进行推理，创造了两项先进任务：姿势的假设生成和姿势估计的推理。PoseGPT 在这些新提出的任务上优于现有的多模态 LLMs 和特定任务的方法，并开辟了人体姿势分析的新方向。

    Nov, 2023

  • 姿势引导的人体图像合成的粗细潜扩散

    提出了一种新的粗粒度到细粒度潜在扩散方法，用于姿势引导的人物图像合成，并在 DeepFashion 基准上展示了其优越性。

    Feb, 2024

  • 使用深度生成模型进行姿势引导的时尚图像合成

    本文提出了一种基于新颖的深度生成模型的图像迁移方法，可以在保持服装一致的情况下将一个人的图像从一个给定的姿势转移至一个新的姿势，使用图像编码器、姿势编码器和解码器的结构，同时利用两个鉴别器来指导产生过程。经过严格的实验，在两个数据集上定量和定性地验证了该方法的效果。

    Jun, 2019

  • 区域自适应规范化在语义人像生成中的应用

    提出了一种新的两阶段框架来处理姿势和外观的转化，通过区域自适应规范化，利用区域风格指导目标外观生成，生成更语义化、一致性和逼真的结果。

    Apr, 2021

  • 利用姿势分解和语义相关性实现结构感知的人像生成

    本文介绍了一种基于结构感知流的方法，利用语义部分将人体分解，来应对人物姿态变换并生成高质量图像，网络模块能够有效地捕捉人体局部和全局语义特征，实验结果表明，该方法在生成高质量图像方面胜过其他方法。

    Feb, 2021