Dec, 2023

提示硬或几乎不提示：用于文本到图像扩散模型的 Prompt 反转

PDF
TL;DR通过使生成的图像内容与用户意图一致的提示，该方法利用扩散模型进行串行优化得到直观的语言提示，从而产生具有相似内容的多样化图像。
prompt engineeringtext-to-image diffusion modelsembedding inversioninterpretable language promptsdiffusion process
发现论文，激发创造
  • 使用扩散模型进行文本驱动图像编辑的 Prompt Tuning Inversion

    本文提出了一种基于 Prompt Tuning Inversion 的精确快速反演技术，用于文本驱动的图像编辑，能够在保留输入图像高准确度的同时进行灵活的编辑，实验证明该方法在 ImageNet 数据集上的表现优于现有技术。

    May, 2023

  • 关于扩散模型离散提示优化的研究

    该论文介绍了一个基于梯度的文本到图像扩散模型中的提示优化框架，通过在语言空间上将提示工程化为离散优化问题，并通过解决文本梯度困难和庞大的域空间挑战来提供主要技术贡献，该方法在多个来源的提示上经验验证表明它可以显著提高或破坏文本到图像扩散模型生成图像的可信度。

    Jun, 2024

  • 寻找咒语：通过提示工程实现精确的文本到图像扩散合成

    通过 prompt 学习，我们提出了一种学习扩散模型适当文本描述的框架，通过利用预训练扩散模型导出的质量指导和语义指导，我们的方法可以有效地学习提示，从而提高输入文本和生成图像之间的匹配。通过广泛的实验和分析，验证了所提方法的有效性。

    Jan, 2024

  • 反向稳定扩散：生成此图像所使用的提示是什么？

    预测生成式扩散模型所生成图像的文本提示，采用联合回归和多标签词汇分类目标的新型学习框架，结合白盒和黑盒模型解决生成文本提示的问题，并通过课程学习和领域自适应核学习方法进一步改进。实验结果表明，该学习框架在预测文本提示任务上取得了出色的结果，尤其在白盒模型上应用时效果最好，并发现在生成文本到图像时将该模型用于回收训练能够使生成的图像与输入提示更好地对齐。

    Aug, 2023

  • 稳定扩散提示的嵌入操纵

    我们提出并分析了一种直接改变提示嵌入而非提示文本的方法，将生成的文本到图像模型视为一个连续函数，并在图像空间和提示嵌入空间之间传递梯度，通过解决不同的用户交互问题，应用于优化图像空间的度量、在创造性任务中帮助用户导航图像空间以及包含用户在特定种子中看到但难以在提示中描述的信息等三种场景。实验证明了所描述方法的可行性。

    Aug, 2023

  • 基于扩散模型的源提示解缠的图像可编辑性增强

    使用文本驱动扩散模型改进图像编辑性能，通过源提示的逆变将原始图像转化为与目标文本提示无关的潜在噪声代码，实现图像编辑的可操作性。

    Mar, 2024

  • 适用于逆问题的激发调整潜在扩散模型

    我们提出了一种使用文本到图像潜在扩散模型作为通用先验来解决图像逆问题的新方法。我们引入了一种 prompt 调整方法，通过在运行反向扩散过程时动态优化文本嵌入，使得我们能够生成更符合扩散先验的图像。此外，我们提出了一种投影方法，以保持潜在变量在编码器的范围空间内的演化，从而有助于减少图像伪影问题。我们的综合方法 P2L 在各种任务（如超分辨率、去模糊和修复缺失部分）上优于基于图像和潜在扩散模型的逆问题求解器。

    Oct, 2023

  • 使用引导扩散模型编辑真实图像的无文本倒置技术

    本文介绍了一种精确的图片逆向生成技术，实现了基于文本的图片编辑，通过引入 Pivotal inversion 和 NULL-text optimization 技术，以条件嵌入为导向，避免了模型权重的繁琐调整，并在真实照片上进行了高保真度编辑。

    Nov, 2022

  • 负样本翻转：基于文本引导扩散模型的快速图像编辑

    本文提出一种负激励反演方法，通过前向传播实现等效重建来加速处理图像编辑中的扩散模型，实验证明与现有方法相比，我们的方法的重建质量是可比的，更快，可用于改善扩散模型的重建质量。

    May, 2023

  • Prompt-Free Diffusion: Taking "Text" out of Text-to-Image Diffusion Models

    此篇论文提出了一种名为 Prompt-Free Diffusion 的图像合成框架，该框架基于仅视觉输入，不需要文本提示就能生成新图像，其核心架构是语义上下文编码器 (SeeCoder)，该框架在图像合成方面表现出色，不仅在基于示例的合成方法方面优于先前的方法，在遵循最佳实践的提示下，也能与最先进的 T2I 模型相媲美。

    May, 2023