CVPRMar, 2024

文本为基础的人类图像生成中人本先验在扩散模型中的有效应用

PDF
TL;DR该研究论文探索将人类中心先验直接整合到模型微调阶段，通过人类中心对齐损失强化文本提示中的人类相关信息，以及通过扩散过程中的比例感知和逐步约束确保语义详细性和人类结构准确性，从而提高了合成基于用户编写提示的高质量人类图像的方法。
text-to-image diffusion modelshuman imagesanatomieshuman-centric priorsfine-tuning
发现论文，激发创造
  • 扩散模型中与模型无关的人类偏好反转

    提出一种新的采样设计方法，通过优化噪音分布以满足人类偏好，而不需要微调扩散模型，从而实现高质量的一步图像生成；实验证明，定制的噪音分布显著提高图像质量，并在计算成本仅略微增加的情况下取得了重要的突破，同时凸显了噪音优化的重要性，为高效和高质量的文本到图像合成铺平了道路。

    Apr, 2024

  • 潜在扩散模型的人类对齐分析

    在这项工作中，我们分析了大规模数据训练的扩散模型对于三选一任务中人类响应的表示对齐情况，发现尽管其与人类响应的对齐程度与仅在 ImageNet-1k 上训练的模型相当，但去噪 U-Net 的对齐层主要为中间层而非瓶颈层，而且文本条件对于高噪声水平下的对齐显著改善，暗示了抽象文本信息的重要性，尤其是在生成的早期阶段。

    Mar, 2024

  • HumanNorm：高质量和逼真的 3D 人体生成的正常扩散模型学习

    通过使用法线贴图对文本到图像传播模型进行微调，使其能够适应文本到法线传播模型，从而提高对三维几何体的二维感知，同时保留从大规模数据集中学习到的先验知识，从而实现高质量和逼真的三维人体生成。

    Oct, 2023

  • 超人类：具有潜在结构扩散的超逼真人类生成

    通过建立大规模人体数据集 HumanVerse，结合深度学习模型和结构引导生成器，我们提出了 HyperHuman 方法，实现了生成真实自然的人体图像。

    Oct, 2023

  • 从文本到掩码：使用文本 - 图像扩散模型的注意力定位实体

    本研究揭示了扩散模型中隐藏的丰富多模态知识的一种新方法，用于分割任务。

    Sep, 2023

  • 利用生成扩散先验想象进行人体修复

    人体复原技术在各种与人体相关的应用中起着至关重要的作用。本研究提出了一种新颖的方法，通过构建人体感知扩散模型，利用领域特定知识来提高性能。通过预训练的身体注意模块来引导扩散模型在前景上的聚焦，解决主体和背景之间的混合问题。同时，通过无缝地结合文本提示来改善表面纹理质量和额外的服装和配饰细节。此外，引入了一个专门针对细粒度人体部位的扩散采样器，利用本地语义信息来修复肢体扭曲。最后，我们收集了一个全面的数据集，用于评估和推进人体复原领域的发展。大量实验证实了我们的方法在定量和定性方面的优越性。

    Apr, 2024

  • ConceptLab：使用扩散先验约束的创造性生成

    这篇论文介绍了创造性文本到图像生成的任务，并使用未经研究的扩散先验模型来解决此问题，同时通过一个问题回答模型来逐渐发现越来越独特的创作，最后展示了先验约束不仅作为强大的混合机制，还能引入更多的灵活性。

    Aug, 2023

  • 提高人脸生成质量及配套使用合成字幕

    通过引入一种无需训练的流程，从人脸图像生成真实的外貌描述，进而改进了文本到图像扩散模型的能力，并提高了其遵循给定提示的能力。

    May, 2024

  • 使用扩散模型进行无偏面部合成：我们已经达到目标了吗？

    利用定性和定量指标以及用户研究，本论文主要研究了生成模型在面部图像生成中的有效性和不足之处，并提出了一个框架来审核生成的面部图像的特征。通过对最先进的文本到图像扩散模型生成的面部进行应用，我们发现面部图像生成存在的限制包括对文本提示的忠实度、人口统计不平衡和分布偏移。此外，我们还提出了一种分析模型，以了解训练数据选择如何影响生成模型的性能。

    Sep, 2023

  • SweetDreamer：对齐 2D 扩散中的几何先验以实现一致性的文本到 3D

    通过将 2D 扩散模型中的几何先验与定义良好的 3D 形状进行对齐，我们提高了一致性，解决了多视角不一致问题，并获得了新的最先进性能，85% 以上的一致性率，远高于以前的方法。

    Oct, 2023