基于去噪扩散模型的人物图像合成
本文提出了一种使用生成式对抗学习的新方法,用于综合产生任意姿势的具有照片级真实感的人物图像。研究通过无监督的方式来处理此问题,并且将其分解成两个主要子任务,一是姿势条件的双向生成器,二是定义一个新型的损失函数,包含内容和风格项,旨在生成高感知质量的图像,可以在DeepFashion数据集上进行广泛的实验验证。
Sep, 2018
本研究旨在通过限定人体的粗略轮廓并控制特定服装类型实现真实人体图像的完整生成建模。我们提出了一种端到端可训练的生成式对抗网络架构,它提供了细节控制来生成具有高逼真度的图片,同时无需成对的训练数据,不必拟合 3D 姿势到 2D 图像的困难问题。该模型允许对基于目标领域的图像或标记特定的类别样式(例如 T 恤)进行条件生成。我们对该架构和每个独立要素的贡献进行了充分的实验评估,并通过大规模知觉研究表明,我们的方法可以生成逼真的图像,并且如果面部被模糊化,参与者很难识别真实的图片和虚假的图片之间的区别。
Jan, 2019
本研究设计了一种人类图像生成的生成模型,能够控制姿势,不同身体局部的外貌以及服装风格,能够生成高逼真度的图像,并在不同方面表现出色,如姿态控制、部位和服装转移以及关节采样。
Mar, 2021
该研究论文提出了一种渐进条件扩散模型(PCDMs),通过三个阶段逐渐弥合目标姿势和源姿势下的人像之间的差距,并生成高质量、高保真的综合图像。
Oct, 2023
本研究提出了一种基于循环姿态对齐和梯度引导的方法,可以生成具有真实外观和无瑕疵姿态转移的人物图像。经过广泛的实验证明,该方法能够在复杂场景下生成具有真实感的姿态转移,并且通过人工评测证明了其有效性。
Oct, 2023
通过将高容量的二维扩散模型与形状引导扩散相结合并利用逆渲染技术,从单一图像中逐步合成多个视角的完全纹理化高分辨率三维网格,实现了广泛的服装人物360度合成的照片级别结果。
Nov, 2023
X-MDPT是一种新颖的扩散模型,用于姿势引导的人体图像生成,采用了基于掩模的扩散变换器,通过对潜在补丁的操作,与现有作品中常用的Unet结构有所不同。该模型包括三个关键模块:去噪扩散变换器,将条件整合成单一向量进行扩散过程的聚合网络,以及通过参考图像中的语义信息增强表示学习的掩模交叉预测模块。X-MDPT在更大模型下展示了可扩展性,在DeepFashion数据集上优于现有方法,并在训练参数、训练时间和推理速度方面表现出高效性。我们的33MB紧凑模型在FID为7.42时超过了使用11倍少参数的先前Unet潜在扩散方法(FID 8.07)。我们的最佳模型相比像素级扩散使用了2/3的参数,并实现了5.43倍的更快推理。
Feb, 2024
DiffHuman是一种基于概率的方法,通过一个单一的RGB图像实现逼真的三维人体重建。与确定性方法不同,DiffHuman根据二维图像预测三维重建的概率分布,可以生成与图像一致的多个详细的三维人体模型。此外,DiffHuman还引入了一个生成器神经网络,可以以大幅减少的运行时间进行渲染,从而实现了一种新颖的双分支扩散框架。在实验中,DiffHuman在重建可见表面方面与现有技术不相上下,并且可以对输入图像中未见或不确定的部分生成多样且详细的重建结果。
Mar, 2024