Jun, 2024

批量指导梯度用于提示演化：增强文本到图像综合的系统性提示优化

PDF
TL;DR通过多代理框架和迭代过程，基于高质量的初始查询和动态指令优化的图文生成模型，提供了改进用户输入提示设计的机制。
text-to-image modelsprompt designmulti-agent frameworkinstruction modifieriterative process
发现论文，激发创造
  • 文本到图像生成的提示优化

    该研究提出了一种文本生成图像的自适应提示适配框架，该框架使用预训练语言模型进行有监督的微调，再使用强化学习探索更好的提示，通过奖励函数鼓励策略生成更具美感的图像，实验结果表明，自适应提示适配方法优于手动人工优化提示工程，预训练检查点已经公开发布。

    Dec, 2022

  • 神经引导：优化文本到图像生成的自适应框架

    通过使用预先训练的语言模型生成与人类专家设计相似的提示语，NeuroPrompts 自适应框架可以改善文本到图像模型生成结果的质量，并提供用户对风格特征的控制。研究通过创建一个与 Stable Diffusion 相关的互动应用程序，展示了该框架的实用性。此外，通过利用大型数据集的人工设计提示，在文本到图像生成过程中，自动产生的改进提示可获得更高质量的图像。

    Nov, 2023

  • 自适应文本到图像生成的提示扩展

    本论文介绍了一种 Prompt Expansion 框架，它帮助用户生成高质量多样化的图像，通过优化扩展了的文本提示，以便生成更吸引人的图像，并通过人类评估研究证明，使用 Prompt Expansion 生成的图像比基准方法生成的图像更美观多样。

    Dec, 2023

  • BeautifulPrompt: 文本到图像合成的自动提示工程化

    我们提出了 BeautifulPrompt，这是一个深度生成模型，可以从非常简单的原始描述中生成高质量的提示，从而使基于扩散模型生成更美丽的图像。我们使用视觉 AI 反馈的强化学习技术来进一步优化模型，以提高生成的提示和图像的质量，并将 BeautifulPrompt 集成到云原生 AI 平台，提供更好的云端文本到图像生成服务。

    Nov, 2023

  • 关于扩散模型离散提示优化的研究

    该论文介绍了一个基于梯度的文本到图像扩散模型中的提示优化框架，通过在语言空间上将提示工程化为离散优化问题，并通过解决文本梯度困难和庞大的域空间挑战来提供主要技术贡献，该方法在多个来源的提示上经验验证表明它可以显著提高或破坏文本到图像扩散模型生成图像的可信度。

    Jun, 2024

  • 文本到图像模型的最佳提示及其发现方法

    本研究使用基因算法，结合人类反馈，学习组合最有用的提示关键字，以改善使用描述生成艺术图像的美感。

    Sep, 2022

  • PromptCharm：多模态提示和精炼的文本到图像生成

    通过混合倡议的多模态提示工程和细化，PromptCharm 系统支持初学者用户在生成图像和优化载体过程中的生成式 AI 领域的最新进展，并通过可视化模型注意力值进行模型解释和反馈循环以提高生成图像的质量和用户期望的符合度。

    Mar, 2024

  • 文本到图像合成中生成模型首选提示的用户友好框架

    通过构建 Coarse-Fine Granularity Prompts 数据集和 User-Friendly Fine-Grained Text Generation 框架，该研究提出了一种自动化提示优化方法，能够以更高的准确度生成视觉吸引力和多样性更强的图像。

    Feb, 2024

  • 文本到图像生成的动态提示优化

    通过引入 Prompt Auto-Editing (PAE) 方法，我们改进了文本生成图像的初衷，进一步采用在线加强学习策略来探索每个词的权重和注入时间步长，从而实现了动态的精细控制提示。实验结果表明，我们的方法在改善原始提示的同时生成了视觉更吸引人的图像，并保持了语义的一致性。

    Apr, 2024

  • 硬提示变得容易：基于梯度的离散优化用于提示调整和发现

    本文介绍了一种针对文本生成模型的优化方法，通过梯度下降优化生成 “hard” 文本提示，该方法可在文本生成到图像和文本生成到文本的应用中使用，提高了模型的分类准确率和混合搭配图像概念的功能。

    Feb, 2023