CVPRMay, 2024

FreeCustom：无需调整参数的多概念组合定制图像生成

PDF
TL;DR提出一种基于参考概念的无需微调的方法生成多概念组合的定制图像，仅需每个概念一幅图像作为输入。通过引入多参考自注意力机制和加权蒙版策略，产生与给定概念一致且更好地与输入文本对齐的图像。与其他基于训练的方法相比，在多概念组合和单概念定制方面，方法表现优秀且更简单。
pre-trained text-to-image generative modelscustomized image generationmulti-concept compositionreference conceptsmulti-reference self-attention
发现论文，激发创造
  • 基于图像和文本引导的无需调参图像定制

    通过无需调整的方法，本文提出了一种同时利用文本和图像指导的图像定制方法，允许在几秒钟内精确编辑特定图像区域，通过创新的注意力混合策略，本方法在图像定制中表现优异，是一种高效的解决方案。

    Mar, 2024

  • MC$^2$：定制多概念生成的多概念引导

    MC^2 introduces Multi-concept guidance for Multi-concept customization, improving flexibility and fidelity in customized text-to-image generation while surpassing previous methods and elevating compositional capabilities.

    Apr, 2024

  • 文本到图像扩散的多概念自定义

    本文介绍了一种基于 Custom Diffusion 的文本到图像生成模型，只需少量优化参数即可表示新概念并实现快速调整，还可以通过约束优化共同训练多个概念或组合多个微调模型，并在新颖的环境中将多个概念无缝组合生成，此方法在记忆和计算效能方面都占有优势。

    Dec, 2022

  • 文本与图像个性化解耦的注意力校准

    我们提出了一种关注力校准机制，名为 DisenDiff，通过学习可学习的修饰符来捕捉单个图像中的多个概念，并生成具有学习概念的新颖定制图像。我们展示了该方法在定性和定量评估上表现优于当前的最佳方法。此外，我们的技术还与 LoRA 和修复管道兼容，实现更多交互体验。

    Mar, 2024

  • 快速个性化的文本到图像合成与注意力注入

    我们提出了一种有效且快速的方法，可在不进行任何微调的情况下生成个性化图像，并保持扩散模型内在的文本到图像生成能力。通过操作原始扩散模型的交叉注意力和自注意力层，将自定义概念合并到生成图像中，以生成与文本描述相匹配的个性化图像。综合实验突出了我们方法的优越性。

    Mar, 2024

  • AttenCraft: 文本图像定制中基于注意力引导的多概念解耦

    使用 AttenCraft 方法，我们提出了一种基于注意力引导的多概念解缠方法，它使用了自注意力和交叉注意力图来生成精确的概念掩模，并在训练过程中应用于每个目标概念的交叉注意力激活，从而在图像对齐方面优于基线模型，并在文本对齐方面表现相当。

    May, 2024

  • 文本到图片生成的定制助手

    建立基于预训练大型语言模型和扩散模型的定制助手，能够在无需微调的情况下进行自定义生成，实现与用户的更友好交互。

    Dec, 2023

  • 基于视觉概念驱动的文字到图像扩散模型的图像生成

    我们提出了一个概念驱动的文本到图像（TTI）个性化框架，通过学习用户提供的图像示例中的概念，以及一种交替优化过程，进一步改进了现有的 TTI 模型，使其能够生成具有多个交互概念的图像。

    Feb, 2024

  • 文本定位：为主题驱动的文本到图像生成分解多概念图像

    利用主题驱动的文本到图像扩散模型，用户可以根据少量示例图像来定制模型来处理预训练数据集中不存在的新概念。然而，现有的主题驱动模型主要依赖于单一概念的输入图像，在处理多概念输入图像时面临着目标概念的指定困难。为此，我们引入了一种文本本地化的文本到图像模型（Texual Localization）来处理多概念输入图像。在微调过程中，我们的方法采用了一种新颖的交叉注意力引导方法，分解多个概念，在文本提示中建立目标概念的视觉表示与标识符令牌之间的明确连接。实验结果表明，在多概念输入图像上，我们的方法在图像保真度和图像文本对齐方面优于或相当于基准模型。与自定义扩散方法相比，我们的方法通过硬引导实现了单一概念生成的 CLIP-I 得分相对提高 7.04％，8.13％，多概念生成的 CLIP-T 得分相对提高 2.22％，5.85％。值得注意的是，我们的方法能够生成与生成图像中目标概念一致的交叉注意力映射，这是现有模型所没有的能力。

    Feb, 2024

  • 从一张图像中提取多个概念

    本文提出了一种文本场景分解任务，并介绍了一种基于掩模增强的输入方法和一个新颖的两阶段自定义过程，用于针对生成图像中的特定概念进行微调，并使用多种自动度量标准和用户研究，验证了该方法的有效性。

    May, 2023