Jan, 2024

寻找咒语：通过提示工程实现精确的文本到图像扩散合成

PDF
TL;DR通过 prompt 学习，我们提出了一种学习扩散模型适当文本描述的框架，通过利用预训练扩散模型导出的质量指导和语义指导，我们的方法可以有效地学习提示，从而提高输入文本和生成图像之间的匹配。通过广泛的实验和分析，验证了所提方法的有效性。
text-to-image synthesisdiffusion modelsprompt learningtextual descriptionsgenerated images
发现论文，激发创造
  • 基于文本的图像到图像翻译的即插即用扩散特征

    研究使用空间特征和自我关注来实现生成图片结构的微调，并将其用于文本到图像合成中，从而实现图像到图像转换。

    Nov, 2022

  • 刷字：通过扩散模型在图像上合成任意场景文本

    提出了 Diff-Text，它是一个训练免费的场景文本生成框架，能够以任何语言的文本和场景的文本描述为输入，输出逼真的照片。通过引入局部化的注意力约束和对比度图像级提示，实现了场景文本的准确生成，并在文本识别准确性和前景背景融合的自然度方面优于现有方法。

    Dec, 2023

  • 使用扩散模型增强场景文本检测器的真实文本图像合成

    通过扩充背景与前景文字的整合，Diffusion Model based Text Generator (DiffText) 创造了一种能生成真实文本图像并优化文本探测器性能的新型合成数据集方法。

    Nov, 2023

  • Prompt-Free Diffusion: Taking "Text" out of Text-to-Image Diffusion Models

    此篇论文提出了一种名为 Prompt-Free Diffusion 的图像合成框架，该框架基于仅视觉输入，不需要文本提示就能生成新图像，其核心架构是语义上下文编码器 (SeeCoder)，该框架在图像合成方面表现出色，不仅在基于示例的合成方法方面优于先前的方法，在遵循最佳实践的提示下，也能与最先进的 T2I 模型相媲美。

    May, 2023

  • 文本到图像扩散模型的语义引导调整

    最近的文本到图像 (T2I) 扩散模型的进展在生成具有零样本泛化能力的高质量图像方面取得了令人印象深刻的成功。然而，当前的模型在紧密遵循提示语义方面存在困难，通常会误代或忽视特定属性。为了解决这个问题，我们提出了一种简单的、无需训练的方法，在推理过程中调节扩散模型的引导方向。我们首先将提示语义分解为一组概念，并监控与每个概念相关的引导轨迹。我们的关键观察是，模型在遵循提示语义方面的偏离与引导从一个或多个概念偏离的差异高度相关。基于这一观察，我们设计了一种技术，将引导方向引导至模型偏离的任何概念。广泛的实验验证了我们的方法可以改善扩散模型对提示的语义对齐。项目页面可在此链接上找到: this https URL

    Dec, 2023

  • 利用扩散模型和元提示进行视觉感知

    通过引入可学习的嵌入（元提示）来利用扩散模型解决视觉感知任务，我们的方法在深度估计和语义分割任务上取得了新的性能记录，并在 ADE20K 的语义分割和 COCO 数据集的姿态估计等方面达到了与最先进方法相媲美的结果，展示了其稳健性和多功能性。

    Dec, 2023

  • 扩散模型中的提示工程研究

    本论文提出了使用文本转图片模型（比如 DALL-E 2、Imagen、Mid Journey 和 Stable Diffusion）时遇到的一个问题：如何选择正确的提示词以达到预期的艺术输出效果。作者提出了一种衡量提示词效果的技术，并给出了选择提示词以实现预期效果的指导（见附录）。

    Nov, 2022

  • 生成 AI 中的文本与图像扩散模型：一项调查

    本文综述了文本到图像扩散模型的发展现状及其在生成任务中的应用；此外，介绍了文本条件下图像合成、文本引导的创意生成和图像编辑，并探讨了当前的挑战和未来方向。

    Mar, 2023

  • 基于无条件扩散模型的实时文本驱动图像操作

    该论文研究了基于扩散模型的无条件文本驱动图像编辑方法的效率，并开发了一种新算法，可以快速学习和应用图像操作，从而提高实现应用的潜力。

    Apr, 2023

  • 提示硬或几乎不提示：用于文本到图像扩散模型的 Prompt 反转

    通过使生成的图像内容与用户意图一致的提示，该方法利用扩散模型进行串行优化得到直观的语言提示，从而产生具有相似内容的多样化图像。

    Dec, 2023