Feb, 2024

跨视角掩蔽扩散变压器用于人物图像合成

HTML
PDF
TL;DRX-MDPT是一种新颖的扩散模型，用于姿势引导的人体图像生成，采用了基于掩模的扩散变换器，通过对潜在补丁的操作，与现有作品中常用的Unet结构有所不同。该模型包括三个关键模块：去噪扩散变换器，将条件整合成单一向量进行扩散过程的聚合网络，以及通过参考图像中的语义信息增强表示学习的掩模交叉预测模块。X-MDPT在更大模型下展示了可扩展性，在DeepFashion数据集上优于现有方法，并在训练参数、训练时间和推理速度方面表现出高效性。我们的33MB紧凑模型在FID为7.42时超过了使用11倍少参数的先前Unet潜在扩散方法（FID 8.07）。我们的最佳模型相比像素级扩散使用了2/3的参数，并实现了5.43倍的更快推理。
发现论文，激发创造
  • 使用潜在扩散模型进行高分辨率图像合成

    通过在预训练的自编码器的潜在空间中应用扩散模型，引入交叉注意力层到模型体系结构中，以更少的计算要求取得接近最优的性能，实现高分辨率合成，缩小像素级DMs对计算资源的需求。

    Dec, 2021

  • 视觉中的扩散模型：一项调研

    本综述为关于应用于计算机视觉的去噪扩散模型文章提供了全面的回顾，包括在领域中的理论和实际贡献，提供了三种通用扩散建模框架，并介绍了扩散模型与其他深度生成模型之间的关系，并引入了在计算机视觉中应用扩散模型的多个视角分类，最后，我们说明了离散模型的当前限制并预见了未来研究的一些有趣方向。

    Sep, 2022

  • 基于去噪扩散模型的人物图像合成

    使用去噪扩散模型，我们提出了一种名为PIDM的人体图像扩散模型，解决了复杂的转换问题，并展示了在两个大型基准测试中的显着结果，以及如何在下游任务中使用生成的图像。

    Nov, 2022

  • 掩蔽变换器应用于扩散模型快速训练

    本论文提出了一种使用掩码Transformer训练大型扩散模型的高效方法，实现了在不牺牲生成性能的情况下，仅使用31％的训练时间达到与最先进的扩散变压器模型相同性能的效果。

    Jun, 2023

  • 利用渐进条件扩散模型推动姿势引导的图像合成

    该研究论文提出了一种渐进条件扩散模型（PCDMs），通过三个阶段逐渐弥合目标姿势和源姿势下的人像之间的差距，并生成高质量、高保真的综合图像。

    Oct, 2023

  • 姿势引导的人体图像合成的粗细潜扩散

    提出了一种新的粗粒度到细粒度潜在扩散方法，用于姿势引导的人物图像合成，并在DeepFashion基准上展示了其优越性。

    Feb, 2024

  • 大数据训练的扩散模型具有可迁移的视觉模型

    通过使用预训练的 UNet（或transformer）扩散模型仅需适量的目标数据（甚至只有合成数据），在基础视觉感知任务中能够实现出色的可传递性表现，包括单眼深度、表面法线、图像分割、抠图、人体姿势估计等。

    Mar, 2024

  • 离散数据的简化和推广掩码扩散

    掩蔽扩散模型是生成离散数据的自回归模型的替代选择，本论文提出了一个简单且通用的框架，解锁了掩蔽扩散模型的全部潜力，并在OpenWebText数据集上训练的模型在困惑度上超过了GPT-2模型，并在5个零-shot语言建模任务中展现出卓越性能，在像素级图像建模中也超过了之前的离散扩散模型。

    Jun, 2024

  • 扩散模型需要视觉先验进行图像生成

    本研究解决了传统类引导扩散模型在细节纹理生成上的不足，指出依赖粗略的类先验信息限制了模型性能。提出的“扩散上的扩散”（DoD）框架通过从先前生成的样本中提取视觉先验，提供丰富的引导信息，显著降低训练成本，同时提升生成图像的质量和细节。研究结果表明，DoD-XL模型在有限的训练步骤下，获得的FID-50K评分显著优于其他最先进的方法。

    Oct, 2024

  • 灵感来自类人素描的高效扩散变换器框架EDT

    本研究针对基于变换器的扩散预测模型在计算资源上的需求过高这一问题，提出了高效扩散变换器（EDT）框架。该框架通过轻量化设计的扩散模型架构和模仿人类素描的训练无关的注意力调节矩阵，显著降低了训练和推理成本，同时在图像合成性能上超越现有模型，显示出显著的整体提升。

    Oct, 2024