Jun, 2024

任务特征学习：一种用于提示优化的结构化方法

PDF
TL;DR根据给定的训练样本和基本描述，我们将提示优化问题视为从训练样本集中学习任务的多个方面，并发现了提示优化问题中的结构，提出了 UniPrompt 算法，通过生成模型生成初始候选提示部分，并使用反馈机制将多个小批次的建议编辑聚合成一个概念描述，实验证明 UniPrompt 生成的提示比人工调优的提示和最先进方法的提示具有更高的准确性。
prompt optimizationlarge language modelalgorithmic approachesprompt sectionsuniprompt
发现论文，激发创造
  • 帮助语言模型学习更多知识：多维任务提示用于少样本调整

    通过提出多维任务提示学习方法（MTPrompt），将更多的任务相关信息嵌入提示中，以激发大型语言模型中嵌入的知识，从而实现在少样本和五个不同数据集上取得最佳结果，并在不同实验设置和削减实验中展示了该方法的有效性和稳定性。

    Dec, 2023

  • 多步任务中的智能提问优化：融合人类反馈和偏好对齐

    通过结合人类设计的反馈规则，采用基于遗传算法的大语言模型驱动的离散提示优化框架，实现了对多步任务中自动提示的改进，相比现有的方法，平均有 27.7% 和 28.2% 的改善效果。

    Feb, 2024

  • PromptWizard: 任务感知的代理驱动提示优化框架

    利用大型语言模型，PromptWizard 框架通过迭代合成和优化面向特定任务的提示信息，包括了指令和上下文示例的优化，提高了模型的性能。该框架在效率、数据量和小型语言模型上的适应性以及优于现有提示策略的实证评估中展现出优越性，呈现出良好的可行性和可扩展性。

    May, 2024

  • 大语言模型的公平指导少样本提示

    本文提出了一个度量标准，评估了一个固定提示对标签或给定属性的预测偏差，并提出了一种新的基于贪心搜索的搜索策略来确定最佳提示，以提高上下文学习的性能，并在多种下游任务中使用 GPT-3 等最先进的主流模型进行全面实验。结果表明，我们的方法可以有效提高模型的在上下文学习性能。

    Mar, 2023

  • 针对少样本文本分类的统一提示调整

    该论文提出了一种统一的 Prompt Tuning (UPT) 框架，通过从非目标自然语言处理数据集中明确捕获提示语义，使 BERT 风格模型在少样本文本分类方面取得更好的性能，该框架引入了一种新的编程范例 Prompt-Options-Verbalizer，强制 PLMs 捕获任务不变提示知识，经过多任务学习后，该模型可以更好地针对任何不同的低资源任务进行提示调整。

    May, 2022

  • 大型语言模型的自动提示选择

    自动选择给定输入的最佳提示，克服手动设计有效提示的挑战，通过聚类训练数据、生成候选提示、生成输入 - 提示 - 输出数据集以训练评估器，并使用评估器在测试时选择最佳提示来实现兼顾通用性和特异性的方法。在零 - shot 问答数据集上显示出竞争性性能。

    Apr, 2024

  • 通过模拟优化选择语言模型提示

    基于模拟优化，提出了一个两阶段框架以实现生成语言模型的提示选择，该框架能够在评估和选择阶段中构建代表提示的中等维度向量的得分模型，并证明了该框架中的顺序评估过程的一致性。数值实验证明了此框架的有效性，为实施提供了实际指导。

    Apr, 2024

  • 基于语言模型的战略规划实现专家级提示优化

    PromptAgent 是一个优化方法，可以自动产生与专家级相等质量的提示，基于蒙特卡罗树搜索实现了对专家级提示的策略性规划和精确的领域洞察。

    Oct, 2023

  • 通过统一模式提示来提高任务泛化能力

    该研究提出了一种名为 Unified Schema Prompt 的灵活可扩展的提示方法，通过利用每个任务的输入结构来自动自定义学习提示，以增强任务的泛化能力，并在一系列 NLP 任务中进行了实验验证。

    Aug, 2022

  • 基于大型语言模型的交互式和可视化提示工程，用于即席任务适应

    本文介绍了一种使用神经语言模型的 zero-shot prompting 方法，在不需要监督训练的情况下解决 ad-hoc 语言任务。我们提出了 PromptIDE 工具，该工具可以帮助用户实验不同的提示词选择，以达到任务指标的优化和数据量的扩展。该工具已在多个现实世界的案例中得到了应用。

    Aug, 2022