Feb, 2023

硬提示变得容易：基于梯度的离散优化用于提示调整和发现

PDF
TL;DR本文介绍了一种针对文本生成模型的优化方法，通过梯度下降优化生成 “hard” 文本提示，该方法可在文本生成到图像和文本生成到文本的应用中使用，提高了模型的分类准确率和混合搭配图像概念的功能。
generative modelstext-based promptshard promptsoptimization methodstext-to-image and text-to-text applications
发现论文，激发创造
  • 关于扩散模型离散提示优化的研究

    该论文介绍了一个基于梯度的文本到图像扩散模型中的提示优化框架，通过在语言空间上将提示工程化为离散优化问题，并通过解决文本梯度困难和庞大的域空间挑战来提供主要技术贡献，该方法在多个来源的提示上经验验证表明它可以显著提高或破坏文本到图像扩散模型生成图像的可信度。

    Jun, 2024

  • 批量指导梯度用于提示演化：增强文本到图像综合的系统性提示优化

    通过多代理框架和迭代过程，基于高质量的初始查询和动态指令优化的图文生成模型，提供了改进用户输入提示设计的机制。

    Jun, 2024

  • 文本到图像生成的提示优化

    该研究提出了一种文本生成图像的自适应提示适配框架，该框架使用预训练语言模型进行有监督的微调，再使用强化学习探索更好的提示，通过奖励函数鼓励策略生成更具美感的图像，实验结果表明，自适应提示适配方法优于手动人工优化提示工程，预训练检查点已经公开发布。

    Dec, 2022

  • 提示硬或几乎不提示：用于文本到图像扩散模型的 Prompt 反转

    通过使生成的图像内容与用户意图一致的提示，该方法利用扩散模型进行串行优化得到直观的语言提示，从而产生具有相似内容的多样化图像。

    Dec, 2023

  • 文本到图像模型的最佳提示及其发现方法

    本研究使用基因算法，结合人类反馈，学习组合最有用的提示关键字，以改善使用描述生成艺术图像的美感。

    Sep, 2022

  • 双相加速提示优化

    通过采用良好设计的元指令，我们提出了一个双重阶段的方法来加速提示优化过程，以应对低收敛速度的挑战，并在句级别上迭代优化提示，利用之前的调优经验扩展提示候选并接受有效的候选。对八个数据集进行的大量实验证明了我们提出的方法的有效性，在少于五次优化步骤的情况下与基准模型相比实现了一致的准确率提升。

    Jun, 2024

  • 释放大语言模型作为启发优化器的潜力：一种与基于梯度的模型优化器的类比分析

    自动提示优化是改进大型语言模型性能的重要方法。本文提出了一种新颖的视角，通过与基于梯度的模型优化器进行类比，设计了改进的 LLM-based 提示优化器的策略。实验结果表明 GPO 具有有效性和高效性，并分别相对基准方法在 Big-Bench Hard 和 MMLU 上带来了多达 56.8% 和 55.3% 的额外改进。

    Feb, 2024

  • BeautifulPrompt: 文本到图像合成的自动提示工程化

    我们提出了 BeautifulPrompt，这是一个深度生成模型，可以从非常简单的原始描述中生成高质量的提示，从而使基于扩散模型生成更美丽的图像。我们使用视觉 AI 反馈的强化学习技术来进一步优化模型，以提高生成的提示和图像的质量，并将 BeautifulPrompt 集成到云原生 AI 平台，提供更好的云端文本到图像生成服务。

    Nov, 2023

  • 稳定扩散提示的嵌入操纵

    我们提出并分析了一种直接改变提示嵌入而非提示文本的方法，将生成的文本到图像模型视为一个连续函数，并在图像空间和提示嵌入空间之间传递梯度，通过解决不同的用户交互问题，应用于优化图像空间的度量、在创造性任务中帮助用户导航图像空间以及包含用户在特定种子中看到但难以在提示中描述的信息等三种场景。实验证明了所描述方法的可行性。

    Aug, 2023

  • 学会提问：使用软提示混合查询语言模型

    本文探讨了使用渐进式的梯度下降机制为先前的预训练语言模型 Fine-Tuning 提供含监听词库的句子造句模式，以从中提取模型对于文本特征的认知，并使用软词向量进行任务综合，将此方式与传统的任务方法进行对比，显示其在任务中的巨大性能提升，而随机初始化甚至可以代替详细的初始化方式，因此这种知识的提取可以廉价地实现。

    Apr, 2021