Aug, 2023

基于策略梯度的离散提示优化的对话式激励在小样本学习中的应用

PDF
TL;DR基于对话的基于策略梯度的离散提示优化方法通过多轮对话适应性策略生成可读性提示集，并提出了具有线性复杂度的高质量提示筛选度量和基于策略梯度的强化学习框架，优于四个开源数据集上平均 1.52％的最先进方法，在只使用少量的预训练语言模型参数进行学习的少样本设置中，$DP_2O$ 具有良好的通用性、稳健性和泛化能力。
prompt-based pre-trained language modelsdiscrete prompt optimizationreadability prompt set generationefficient prompt screening metricreinforcement learning framework
发现论文，激发创造
  • RLPrompt：使用强化学习优化离散文本提示

    该论文提出了一种基于强化学习的离散提示优化方法（RLPrompt），旨在有效地生成适合不同类型的预训练语言模型使用的离散提示，并在极少量的下游数据情况下表现出优异的表现。

    May, 2022

  • 释放大语言模型作为启发优化器的潜力：一种与基于梯度的模型优化器的类比分析

    自动提示优化是改进大型语言模型性能的重要方法。本文提出了一种新颖的视角，通过与基于梯度的模型优化器进行类比，设计了改进的 LLM-based 提示优化器的策略。实验结果表明 GPO 具有有效性和高效性，并分别相对基准方法在 Big-Bench Hard 和 MMLU 上带来了多达 56.8% 和 55.3% 的额外改进。

    Feb, 2024

  • 关于扩散模型离散提示优化的研究

    该论文介绍了一个基于梯度的文本到图像扩散模型中的提示优化框架，通过在语言空间上将提示工程化为离散优化问题，并通过解决文本梯度困难和庞大的域空间挑战来提供主要技术贡献，该方法在多个来源的提示上经验验证表明它可以显著提高或破坏文本到图像扩散模型生成图像的可信度。

    Jun, 2024

  • 双相加速提示优化

    通过采用良好设计的元指令，我们提出了一个双重阶段的方法来加速提示优化过程，以应对低收敛速度的挑战，并在句级别上迭代优化提示，利用之前的调优经验扩展提示候选并接受有效的候选。对八个数据集进行的大量实验证明了我们提出的方法的有效性，在少于五次优化步骤的情况下与基准模型相比实现了一致的准确率提升。

    Jun, 2024

  • 基于约束生成的离散提示优化用于零样本重排

    本研究旨在探索大规模语言模型用于信息检索的零 - shot 重排问题。我们提出了一种新颖的离散提示优化方法 Co-Prompt，并将其应用于零 - shot 重排任务中。实验表明，Co-Prompt 相对于基线有着卓越的重排表现，并且生成更易于人理解的提示。

    May, 2023

  • DP-OPT：隐私保护的大型语言模型优化器

    我们提出了一种名为 DP-OPT 的新解决方案，通过在客户端调整离散提示，然后应用到所需的云模型上，解决了将数据发送给模型提供者进行训练时面临的隐私问题，确保离散提示不泄露个人信息。

    Nov, 2023

  • 面向预训练语言模型的黑盒提示学习

    本文提出了一种针对预训练语言模型的黑盒离散提示学习方法，实现了在云端和边缘设备之间的高效协作，并在此基础上对各种数据大小、提示长度、训练预算、优化目标、提示可转移性和解释方面进行了深入的案例研究，证明了该算法在 8 个基准测试中取得了显著的改进。

    Jan, 2022

  • 硬提示变得容易：基于梯度的离散优化用于提示调整和发现

    本文介绍了一种针对文本生成模型的优化方法，通过梯度下降优化生成 “hard” 文本提示，该方法可在文本生成到图像和文本生成到文本的应用中使用，提高了模型的分类准确率和混合搭配图像概念的功能。

    Feb, 2023

  • 通过强化学习学习生成对话生成的提示

    本文提出了将 prompting 和 reinforcement learning 相结合的方法以控制 chatbot 生成的内容，并通过 multi-task learning 提高该方法的泛化能力和适应性，实验证明所提出的方法可以成功控制多个 SOTA Dialogue Models。

    Jun, 2022

  • 属性控制的对话提示

    该论文介绍了一种新颖的基于实例控制代码的提示调整算法来探索其对于对话生成的影响，该算法不同于传统的离散提示和连续提示，可以适应输入变化较大的任务，如开放领域对话生成，并在经典数据集上实验证明其比提示基线更好，而参数却只需用到总计量的 5-6%。

    Jul, 2023