Mar, 2024

利用可学习的提示在文本到图像生成模型中去除不需要的概念

PDF
TL;DR我们提出了一种新的方法，通过将可学习提示引入交叉注意力模块，从文本到图像生成模型中去除不良概念。这种可学习提示作为额外的记忆来传递不良概念的知识，并减少这些概念对模型参数和对应文本输入的依赖。通过这种知识传递，擦除这些不良概念更稳定，并对其他概念的负面影响较小。我们在稳定扩散模型上展示了我们方法的有效性，展示了它在去除不良内容同时保留其他无关元素方面的优越性。
发现论文，激发创造
  • 用少样本反学习从文本到图像扩散模型中消除概念

    通过更新文本编码器使用少量真实图像，我们提出了一种新颖的概念擦除方法，可以在 10 秒内擦除概念，实现了比当前方法快数十到数百倍的概念擦除，隐含地过渡到相关概念，实现更自然的概念擦除。

    May, 2024

  • 绕过文本到图像生成模型的概念消除方法

    从文本到图像生成模型到 AI 安全的概念消除方法，这篇论文研究了五种最近提出的概念消除方法，并展示了这些方法中没有一个能完全抹除目标概念，并通过利用特殊的学习词嵌入证明了目标概念可以从消除后的模型中找回，这突显了事后概念消除方法的脆弱性，并对其在 AI 安全算法工具箱中的使用产生了质疑。

    Aug, 2023

  • 文本到图像模型的最佳提示及其发现方法

    本研究使用基因算法，结合人类反馈，学习组合最有用的提示关键字，以改善使用描述生成艺术图像的美感。

    Sep, 2022

  • Prompt-Free Diffusion: Taking "Text" out of Text-to-Image Diffusion Models

    此篇论文提出了一种名为 Prompt-Free Diffusion 的图像合成框架，该框架基于仅视觉输入，不需要文本提示就能生成新图像，其核心架构是语义上下文编码器 (SeeCoder)，该框架在图像合成方面表现出色，不仅在基于示例的合成方法方面优于先前的方法，在遵循最佳实践的提示下，也能与最先进的 T2I 模型相媲美。

    May, 2023

  • 抽象概念理解的文本到图像扩散模型的优化器

    这篇论文介绍了一种名为 POAC 的新方法，旨在增强从抽象概念中解释和生成图像的文本到图像扩散模型的性能。它提出了一个 Prompt Language Model (PLM) 的框架，通过优化的提示来对生成的图像进行对齐，通过大量实验证明，POAC 显著提高了生成图像的准确性和美学质量，尤其是在描述抽象概念和优化提示方面。

    Apr, 2024

  • 提示硬或几乎不提示：用于文本到图像扩散模型的 Prompt 反转

    通过使生成的图像内容与用户意图一致的提示，该方法利用扩散模型进行串行优化得到直观的语言提示，从而产生具有相似内容的多样化图像。

    Dec, 2023

  • 扩散模型中的强鲁棒概念擦除修剪

    通过选择性修剪与要移除的概念相关的关键参数，改进了概念擦除技术的稳健性，并通过抵抗对抗性输入的实验结果证明了显著改进

    May, 2024

  • 图像标题是文本到图像模型的自然提示

    论文理论分析了合成数据的训练效果和提示诱导的合成数据分布之间的关系，并相应地提出了一种简单而有效的方法，通过图像字幕和类名来提示生成模型，从而合成更具信息性和多样性的训练数据。实验证明，该方法显着提高了在合成训练数据上训练的模型的表现。

    Jul, 2023

  • 对比提示改善文本到图像扩散模型中的解缠

    通过对分类器的自由引导的简单修改，该论文展示了 Contrastive Guidance 方法可以帮助在文本到图像模型中解开图像因素，从而提供对图像因素更精细的控制。该方法的关键思想是使用两个仅在最小标记上有差异的提示对所需的因素进行描述，其中正面提示描述待合成的图像，基准提示作为 “基准” 以解开其他因素。这种方法在三个场景下的优势体现为：（1）指导在对象类上训练的领域特定扩散模型，（2）为文本到图像生成提供连续的、类似骨骼的控制，以及（3）提高零 - shot 图像编辑器的性能。

    Feb, 2024

  • 获取你想要的，而不是你不想要的：用于文本到图像扩展模型的图像内容抑制

    利用 $ extit {软加权正则化}$ 和 $ extit {推理时文本嵌入优化}$ 的方法，本论文通过分析如何操作文本嵌入，并从中消除不需要的内容，解决了最近文本到图像扩散模型无法有效抑制生成不需要的内容的问题。并通过量化和定性的实验证明了该方法的有效性，适用于像素空间扩散模型和潜空间扩散模型。

    Feb, 2024