Mar, 2024

优化负面提示以提升文本到图像生成中的美观和真实度

PDF
TL;DR通过使用负向提示，优化负向提示生成方法，可以显著提高图像生成质量。与其他方法相比，该方法在万能评分上提高了 25%，超过了测试集中的参考负向提示。此外，我们可以根据需求有针对性地优化最重要的指标，并构建了一个负向提示数据集。
发现论文，激发创造
  • 文本到图像生成的提示优化

    该研究提出了一种文本生成图像的自适应提示适配框架，该框架使用预训练语言模型进行有监督的微调，再使用强化学习探索更好的提示，通过奖励函数鼓励策略生成更具美感的图像，实验结果表明，自适应提示适配方法优于手动人工优化提示工程，预训练检查点已经公开发布。

    Dec, 2022

  • 通过自动提示优化提升文本到图像的一致性

    通过利用大型语言模型，在文本到图像的生成模型中改善提示 - 图像的一致性，我们的方法能够提高一致性得分、保持图像质量和提高生成图像与真实数据之间的相似度，为构建可靠且强大的文本到图像模型铺平了道路。

    Mar, 2024

  • 神经引导：优化文本到图像生成的自适应框架

    通过使用预先训练的语言模型生成与人类专家设计相似的提示语，NeuroPrompts 自适应框架可以改善文本到图像模型生成结果的质量，并提供用户对风格特征的控制。研究通过创建一个与 Stable Diffusion 相关的互动应用程序，展示了该框架的实用性。此外，通过利用大型数据集的人工设计提示，在文本到图像生成过程中，自动产生的改进提示可获得更高质量的图像。

    Nov, 2023

  • 文本到图像模型的最佳提示及其发现方法

    本研究使用基因算法，结合人类反馈，学习组合最有用的提示关键字，以改善使用描述生成艺术图像的美感。

    Sep, 2022

  • 学习可转移的负提示用于超出分布检测

    通过负面提示学习，在 ID 和 OOD 图像之间界定边界，以解决存在于开放词汇学习场景中的高误报率，超越了现有的基于提示学习的 OOD 检测方法，并在闭合和开放词汇分类场景中保持了一致优势。

    Apr, 2024

  • 安全文本到图像生成的通用提示优化器

    我们提出了第一个用于黑盒情况下安全 T2I 生成的通用提示优化器，通过构建毒性 - 清洁提示对数据集，设计奖励函数衡量生成图像的毒性和文本对齐度来训练优化器，实验证明我们的方法可以显著减少不当图像的生成概率，并且对文本对齐没有明显影响，同时与其他方法相结合能够取得更好的性能。

    Feb, 2024

  • 批量指导梯度用于提示演化：增强文本到图像综合的系统性提示优化

    通过多代理框架和迭代过程，基于高质量的初始查询和动态指令优化的图文生成模型，提供了改进用户输入提示设计的机制。

    Jun, 2024

  • BeautifulPrompt: 文本到图像合成的自动提示工程化

    我们提出了 BeautifulPrompt，这是一个深度生成模型，可以从非常简单的原始描述中生成高质量的提示，从而使基于扩散模型生成更美丽的图像。我们使用视觉 AI 反馈的强化学习技术来进一步优化模型，以提高生成的提示和图像的质量，并将 BeautifulPrompt 集成到云原生 AI 平台，提供更好的云端文本到图像生成服务。

    Nov, 2023

  • 情绪条件下的文本生成通过自动提示优化

    我们提出了首个自动提示优化方法，用于以情绪为条件的文本生成，使用一个迭代的优化过程通过添加、删除或替换标记来改变提示。通过将生成的文本中的情感条件的实现度量作为目标函数，我们将该方法应用于以情绪为条件的文本生成，并将其与手动设计的提示进行比较。优化的提示在实现情感条件方面达到了 0.75 的宏平均 F1，而手动设计的提示仅达到了 0.22 的宏平均 F1。

    Aug, 2023

  • 图像标题是文本到图像模型的自然提示

    论文理论分析了合成数据的训练效果和提示诱导的合成数据分布之间的关系，并相应地提出了一种简单而有效的方法，通过图像字幕和类名来提示生成模型，从而合成更具信息性和多样性的训练数据。实验证明，该方法显着提高了在合成训练数据上训练的模型的表现。

    Jul, 2023