基于去噪扩散模型的人物图像合成

CVPRNov, 2022

基于去噪扩散模型的人物图像合成

Person Image Synthesis via Denoising Diffusion Model

Ankan Kumar Bhunia, Salman Khan, Hisham Cholakkal, Rao Muhammad Anwer, Jorma Laaksonen...

TL;DR使用去噪扩散模型，我们提出了一种名为 PIDM 的人体图像扩散模型，解决了复杂的转换问题，并展示了在两个大型基准测试中的显着结果，以及如何在下游任务中使用生成的图像。

Abstract

The pose-guided person image generation task requires synthesizing photorealistic images of humans in arbitrary poses. The existing approaches use generative adversarial networks that do not necessarily maintain realistic textures or need dense correspondences that struggle to handle c

pose-guided person image generation diffusion models person image synthesis texture diffusion module disentangled classifier-free guidance

发现论文，激发创造

高保真人物中心的主体到图像合成

人物为中心的图像生成方法由于对常规预训练扩散进行微调导致训练不平衡，同时学习场景和人物生成会降低质量。本文提出了 Face-diffuser，一个协作生成管道，通过专门的预训练扩散模型和新颖的机制 (SNF) 消除训练不平衡并提高生成质量。

Nov, 2023

利用渐进条件扩散模型推动姿势引导的图像合成

该研究论文提出了一种渐进条件扩散模型（PCDMs），通过三个阶段逐渐弥合目标姿势和源姿势下的人像之间的差距，并生成高质量、高保真的综合图像。

Oct, 2023

针对风格化行走合成的去噪扩散概率模型

本文提出了一种使用去噪扩散概率模型（DDPM）生成风格化人体运动的框架，将两个任务集成到一个管道中，与传统运动合成方法相比，具有更高的风格多样性，实验结果表明，该系统可以生成高质量且多样化的行走动作。

Sep, 2022

利用去噪扩散概率模型统一人类动作合成和风格传递

本文提出了一种针对数字人运动合成的解决方案，使用 Denoising Diffusion Probabilistic Model 中的扩散模型和多任务架构来表示不同类别的动作内容和不同内部类别行为的样式，并使用对抗性和物理规则来实现全局引导。实验结果表明，该方法能够产生高质量、逼真的人体运动，并有效验证了多任务架构的有效性。

Dec, 2022

姿势引导的人体图像合成的粗细潜扩散

提出了一种新的粗粒度到细粒度潜在扩散方法，用于姿势引导的人物图像合成，并在 DeepFashion 基准上展示了其优越性。

Feb, 2024

IIDM：语义图像合成的图像到图像扩散模型

本文提出了一种基于图像扩散模型的语义图像合成方法，通过引入随机噪声和逐渐去噪的方式，以分割掩模为指导生成高质量图像，并进一步通过细化、颜色转移和模型集成等技术提高合成质量。大量实验证明本方法在性能上明显超越了现有的最先进方法。

Mar, 2024

通过扩散模型实现语义图像合成

本篇论文提出了一种基于 DDPM 的新型框架，用于语义图像合成，通过条件扩散模型来处理语义布局与噪声图像，而引入分类器自由的引导采样策略来进一步提高了生成质量和语义可解释性。

Jun, 2022

通过自适应嵌入和集成激发图像去噪扩散模型

图像降噪是计算摄影中的一个基本问题，要求在低畸变的情况下实现高质量的感知性能。最近，新兴的扩散模型在各种任务中实现了最先进的性能，在图像降噪方面显示了巨大的潜力。然而，为图像降噪刺激扩散模型并不直接，需要解决几个关键问题。我们提出了一种名为 “图像降噪扩散模型（DMID）” 的新策略，通过从降噪的角度理解和重新思考扩散模型来解决这些问题。我们的 DMID 策略在所有基于畸变和感知度量的高斯和真实图像降噪任务中实现了最先进的性能。

Jul, 2023

高保真虚拟试穿的纹理保持扩散模型

在虚拟试衣领域，我们提出了一种基于纹理保持扩散（TPD）模型的新方法，通过利用空间维度上人体图片和参考服装图片的连接输入扩散模型的去噪 UNet，实现了高效准确的纹理迁移，并预测精确的修补掩膜，将掩膜预测和图像合成整合于单一紧凑模型中，显著优于流行的 VITON、VITON-HD 数据库上的最先进方法。

Apr, 2024

基于扩散的人体姿态和形状编辑

人物图像中的姿势和身体形状编辑一直受到越来越多的关注。然而，当前的方法在处理大幅度编辑时往往受到数据集偏见的困扰，导致逼真度和人物身份的退化。我们提出了一种一次性方法，可以实现大幅度编辑并保留身份信息。为了实现大幅度编辑，我们使用一个 3D 人体模型进行拟合，将输入图像投影到 3D 模型上，并改变人体的姿态和形状。由于初始纹理身体模型存在由于遮挡和不准确的身体形状引起的伪影，渲染图像经历了一种基于扩散的细化过程，在这个过程中，强噪声破坏了身体结构和身份，而不充分的噪声并没有起到帮助作用。因此，我们提出了一种迭代细化方法，首先对整个身体进行弱噪声处理，然后对脸部进行细化。通过自监督学习进一步增强了真实感，通过微调文本嵌入。我们的定量和定性评估表明，我们的方法在各种数据集上优于其他现有方法。

Jan, 2024