Aug, 2023

PREFER: 通过反馈 - 反思 - 优化进行提示集成学习

PDF
TL;DR通过反馈 - 反思 - 完善的 PREFER 方法，我们提出了一种简单、通用、自动的方法来改进大型语言模型的性能，通过无监督生成新的提示来解决现有方法中存在的问题，并通过前向和后向思考的新型提示集成方法提高性能评估的稳定性。
large language modelsprompt ensemblepreferweak learnersboosting
发现论文，激发创造
  • 大型语言模型的自动提示选择

    自动选择给定输入的最佳提示，克服手动设计有效提示的挑战，通过聚类训练数据、生成候选提示、生成输入 - 提示 - 输出数据集以训练评估器，并使用评估器在测试时选择最佳提示来实现兼顾通用性和特异性的方法。在零 - shot 问答数据集上显示出竞争性性能。

    Apr, 2024

  • 通过提示回归进行提示探索

    基于大规模语言模型的广泛使用，提出了一种用于预测提示组合效果的框架 PEPR，并提供了简单方法用于选择有效的提示。在不同任务上，利用不同规模的开源语言模型对该方法进行了评估。

    May, 2024

  • 大型语言模型是否擅长优化提示？

    通过细致研究 LLM-based Automatic Prompt Optimization 的机制，发现 LLM 优化器在自我反思时往往倾向于以自身的先验知识为偏见，难以正确识别错误的真正原因；此外，LLM 优化器在语义上有效的反思时，由于目标模型行为的难以预测性，往往在单次优化步骤中难以生成适当的提示。因此我们提出了 “Automatic Behavior Optimization” 新范式，以更可控的方式直接优化目标模型的行为，希望本研究能启发自动提示优化的新方向。

    Feb, 2024

  • 大型语言模型的增强型提示集成

    我们提出了一种基于提示集成的方法来进一步提高语言模型推理性能，并在 GSM8k 和 AQuA 数据集上的实验中验证了该方法的优越性。

    Apr, 2023

  • 新闻推荐的 Prompt 学习

    本文首次尝试运用 Prompt Learning 模型中的 cloze-style 任务，设计了 Prompt4NR 框架，包含了离散、连续和混合模板，并使用 Prompt Ensemble 方法，成功提升了新闻推荐效果，实验采用了 MIND 数据集进行验证。

    Apr, 2023

  • 通过人类反馈进行提示优化

    研究了使用用户偏好反馈的黑盒大语言模型优化问题，提出了自动化的 APOHF 算法，应用于多个任务，证明其可以高效地找到好的提示。

    May, 2024

  • 探究预训练语言模型的抽奖提示

    本文提出了一种基于逐个样例级别的 Prompt 搜索方法，然后使用 Prompt 集成方法将搜索到的强彩票 Prompts 推广到未见过的数据上。实验结果表明，该方法与其他无梯度、无优化基线方法相比能够取得可比的结果。

    May, 2023

  • PromptWizard: 任务感知的代理驱动提示优化框架

    利用大型语言模型，PromptWizard 框架通过迭代合成和优化面向特定任务的提示信息，包括了指令和上下文示例的优化，提高了模型的性能。该框架在效率、数据量和小型语言模型上的适应性以及优于现有提示策略的实证评估中展现出优越性，呈现出良好的可行性和可扩展性。

    May, 2024

  • 个性化文本生成的自动提示改写

    通过自动修订提示符来进行个性化文本生成的研究。

    Sep, 2023

  • 唤起：通过审阅作者提示编辑调动 LLM 的批判性思维能力

    LLMs 的潜力并未被常用的提示方法充分利用，我们提出了 Evoke，一种自动提示改进框架，通过作者 - 评论者反馈循环来确保每次迭代中的提示被优化，在数据选择方面进行了进一步的汇总，实验证明 Evoke 显著优于现有方法。

    Oct, 2023