Apr, 2024

预防定制文本到图像扩散过拟合的注入方法

PDF
TL;DR通过分析过拟合问题，我们提出了一种名为 Infusion 的 T2I 个性化方法，使学习目标概念不受训练模态的限制，同时保留非个性化知识，且仅需要 11KB 的训练参数。大量实验证明，我们的方法在单概念和多概念个性化生成方面都优于现有技术。
text-to-image customizationconcept overfittinginfusiontarget conceptscustomized generation
发现论文，激发创造
  • 文本到图像扩散的多概念自定义

    本文介绍了一种基于 Custom Diffusion 的文本到图像生成模型，只需少量优化参数即可表示新概念并实现快速调整，还可以通过约束优化共同训练多个概念或组合多个微调模型，并在新颖的环境中将多个概念无缝组合生成，此方法在记忆和计算效能方面都占有优势。

    Dec, 2022

  • 多概念 T2I-Zero：仅调整文本嵌入，不涉及其他部分

    通过对预训练文本到图像扩散模型中的文本嵌入进行微调，我们设计了一种低成本的解决方案，实现自然多概念文本到图像生成，并在扩散步骤中不增加附加的训练或推理成本。我们的方法通过收集与最相似的令牌的语义特征来定位贡献，并应用交叉令牌非极大值抑制来避免不同概念之间的特征混合，从而在文本到图像、图像操作和个性化任务中优于以前的方法。

    Oct, 2023

  • 基于视觉概念驱动的文字到图像扩散模型的图像生成

    我们提出了一个概念驱动的文本到图像（TTI）个性化框架，通过学习用户提供的图像示例中的概念，以及一种交替优化过程，进一步改进了现有的 TTI 模型，使其能够生成具有多个交互概念的图像。

    Feb, 2024

  • 文本图像个性化的锁定关键排名一编辑

    该研究提出 Perfusion 方法，通过动态的 rank-1 更新 T2I 模型，引入新机制将新概念的交叉注意力键锁定到超级类别中，使其能够平衡视觉保真度和文本对齐度，并超越传统方法的表现，实现个性化的对象交互。

    May, 2023

  • 基于直接一致性优化的文本到图像个性化

    通过最大化与参考图像的一致性并惩罚与预训练模型的偏差，我们提出了一种通过最小程度微调预训练模型以实现一致性的 T2I 扩散模型的新型训练目标，称为 “直接一致性优化”。我们的方法不仅简单而且显著提高了个性化 T2I 模型的组合能力，并引入了一种控制图像保真度和提示保真度权衡的抽样方法。最后，我们强调必须使用详尽的标题作为参考图像，以进一步增强图像和文本的对齐。我们证明了所提方法在 T2I 主题、风格或两者个性化方面的有效性。生成的示例和代码可在我们的项目页面（this https URL）中找到。

    Feb, 2024

  • 扩散模型中定制概念的非混淆生成

    通过文本引导的扩散模型解决了组合概念生成中的常见挑战 —— 概念之间的视觉混淆，并针对定制概念的生成提出了一种简单有效的解决方案 CLIF：对比图像 - 语言微调，实验证明其在防止多定制概念生成中的混淆方面非常有效。

    May, 2024

  • 孤立扩散：多概念文本到图像生成的优化 —— 在自由训练中使用孤立扩散引导

    通过单独的扩散过程和修订方法，本研究提出了一种针对大规模文本到图像扩散模型的通用方法，以解决复杂场景中不同主题及其附件之间的相互干扰，追求更好的文本图像一致性。

    Mar, 2024

  • 快速个性化的文本到图像合成与注意力注入

    我们提出了一种有效且快速的方法，可在不进行任何微调的情况下生成个性化图像，并保持扩散模型内在的文本到图像生成能力。通过操作原始扩散模型的交叉注意力和自注意力层，将自定义概念合并到生成图像中，以生成与文本描述相匹配的个性化图像。综合实验突出了我们方法的优越性。

    Mar, 2024

  • 文本倒装用于概念审查的后门技术

    通过在 Textual Inversion 嵌入式中注入后门技术，实现概念审查，以防止个人化技术被恶意用户滥用。

    Aug, 2023

  • 文本与图像个性化解耦的注意力校准

    我们提出了一种关注力校准机制，名为 DisenDiff，通过学习可学习的修饰符来捕捉单个图像中的多个概念，并生成具有学习概念的新颖定制图像。我们展示了该方法在定性和定量评估上表现优于当前的最佳方法。此外，我们的技术还与 LoRA 和修复管道兼容，实现更多交互体验。

    Mar, 2024