Jul, 2023

主题扩散：无需测试时间微调的开放领域个性化文本到图像生成

PDF
TL;DR我们提出了一种新的开放域个性化图像生成模型 Subject-Diffusion，它不需要测试时微调，只需要一个参考图像就能在任何领域中支持个性化生成单一或多个主体。我们通过构建自动数据标注工具和使用 LAION-Aesthetics 数据集，构建了一个包含 7600 万图像及其对应主体检测边界框、分割掩模和文本描述的大规模数据集。我们设计了一个新的统一框架，通过融合文本和图像语义，并结合粗粒度位置和细粒度参考图像控制，以最大化主体的准确性和一般化能力。此外，我们还采用了一种注意力控制机制来支持多主体生成。大量的定性和定量结果表明，我们的方法在单一、多个和人类定制的图像生成方面优于其他最先进的框架。请参考我们的项目页面。
发现论文，激发创造
  • DreamBooth: 针对主题驱动生成的 Fine Tuning 文字到图像扩散模型

    提出了一种新的 text-to-image 模型的个性化方法，该方法能够通过少量输入的图像，fine-tune 预训练的 text-to-image 模型，使其能够将唯一标识符绑定到特定主题上，并能够综合场景、姿态、观点和光照中出现的主题的新颖的高清图像。

    Aug, 2022

  • MS-Diffusion：基于布局引导的多主体零样本图像个性化

    我们的研究引入了 MS-Diffusion 框架，用于基于布局指导的零样本图像个性化处理多主题，融合了引用令牌和特征重采样以保持细节的准确性，并通过跨主题注意力来实现各自主题条件对特定区域的影响，通过全面的定量和定性实验，证明该方法在图像和文本的准确性方面优于现有模型，推动个性化的文本到图像生成的发展。

    Jun, 2024

  • 孤立扩散：多概念文本到图像生成的优化 —— 在自由训练中使用孤立扩散引导

    通过单独的扩散过程和修订方法，本研究提出了一种针对大规模文本到图像扩散模型的通用方法，以解决复杂场景中不同主题及其附件之间的相互干扰，追求更好的文本图像一致性。

    Mar, 2024

  • 从文本到掩码：使用文本 - 图像扩散模型的注意力定位实体

    本研究揭示了扩散模型中隐藏的丰富多模态知识的一种新方法，用于分割任务。

    Sep, 2023

  • 根据文本到图像扩散模型，在领域和类别间调整任意图像分类器

    通过使用现代的文本到图像扩散模型，利用生成的合成图像作为源数据的替代，以及利用域自适应的方法来传输以任务为导向的图像分类器中的知识，我们证明了使用一种生成模型和相应的目标数据可以适应世界上的任何事物。

    Oct, 2023

  • DomainStudio: 使用有限数据对领域驱动图像生成的扩散模型进行微调

    本文提出了一种 DomainStudio 方法，用于将在大规模源数据集上预先训练的 DDPMs 调整到目标域，以在目标域中生成高质量且具有多样性的样本，从而实现无条件少样本图像生成。

    Jun, 2023

  • 基于扩散的感知的文本图像对齐

    扩散模型是具有令人印象深刻的文本到图像合成能力的生成模型，对于传统机器学习任务产生了一系列创新方法。然而，如何运用这些生成模型的感知知识来进行视觉任务仍然是一个未解之谜。本研究发现，自动生成的描述能够改善文本图像对齐，并显著提升模型的交叉注意力图，从而提高知觉性能。我们的方法在 ADE20K 数据集上改进了当前最先进的基于扩散的语义分割模型，并在 NYUv2 数据集上改进了当前最先进的深度估计模型。此外，我们的方法适用于跨领域环境；我们使用模型个性化和标题修改来将模型与目标域对齐，并改善了非对齐基准的性能。我们的目标检测模型，在 Pascal VOC 数据集上训练，实现了 Watercolor2K 数据集上的最佳结果。我们的分割方法，在 Cityscapes 数据集上训练，实现了 Dark Zurich-val 和 Nighttime Driving 数据集上的最佳结果。

    Sep, 2023

  • 高保真人物中心的主体到图像合成

    人物为中心的图像生成方法由于对常规预训练扩散进行微调导致训练不平衡，同时学习场景和人物生成会降低质量。本文提出了 Face-diffuser，一个协作生成管道，通过专门的预训练扩散模型和新颖的机制 (SNF) 消除训练不平衡并提高生成质量。

    Nov, 2023

  • 刷字：通过扩散模型在图像上合成任意场景文本

    提出了 Diff-Text，它是一个训练免费的场景文本生成框架，能够以任何语言的文本和场景的文本描述为输入，输出逼真的照片。通过引入局部化的注意力约束和对比度图像级提示，实现了场景文本的准确生成，并在文本识别准确性和前景背景融合的自然度方面优于现有方法。

    Dec, 2023

  • 基于文本的图像到图像翻译的即插即用扩散特征

    研究使用空间特征和自我关注来实现生成图片结构的微调，并将其用于文本到图像合成中，从而实现图像到图像转换。

    Nov, 2022