大型语言模型的增强型提示集成

Apr, 2023

Boosted Prompt Ensembles for Large Language Models

Silviu Pitis, Michael R. Zhang, Andrew Wang, Jimmy Ba

TL;DR我们提出了一种基于提示集成的方法来进一步提高语言模型推理性能，并在 GSM8k 和 AQuA 数据集上的实验中验证了该方法的优越性。

Abstract

Methods such as chain-of-thought prompting and self-consistency have pushed the frontier of language model reasoning performance with no additional training. To further improve performance, we propose a prompt ensemblin

language model prompt ensembling few-shot learning performance improvement empirical study

发现论文，激发创造

大语言模型的公平指导少样本提示

本文提出了一个度量标准，评估了一个固定提示对标签或给定属性的预测偏差，并提出了一种新的基于贪心搜索的搜索策略来确定最佳提示，以提高上下文学习的性能，并在多种下游任务中使用 GPT-3 等最先进的主流模型进行全面实验。结果表明，我们的方法可以有效提高模型的在上下文学习性能。

Mar, 2023

大型语言模型的提示式编程：超越少样本范式

使用 GPT-3 模型分析得出少量样例引导更接近于已学习的任务，本文探讨使用自然语言编程来优化引导，提出元引导概念后能够生成更多的任务自然语言引导，展望这些方法如何应用于实践应用。

Feb, 2021

模型集成而非提示融合：针对少样本提示调整的样本特定知识迁移方法

本文关注于如何提高 Prompt tuning 在 few-shot learning 任务中的性能。作者们实现了带有多种 source prompts 的简单方法，通过进行模型输出的组合来达到更好的性能，并提出了 Sample-specific Ensemble of Source Models (SESoM) 方法。他们在八个 NLP 任务上进行了实验，通过一个大的优势超越了相同和大型参数规模的现有模型。

Oct, 2022

自我确信的激励机制：反复审视下的少样本问答

利用大规模预训练语言模型，通过迭代增强和定制提示来提升其在复杂任务中的性能。

Oct, 2023

语言模型中的理性增强集成

论文提出了使用基于 rationale 的 ensemble 模型来提升自然语言处理任务的性能和可解释性。

Jul, 2022

利用大语言模型优化小数据集的 Few-shot 推理表现

本研究提出了一种名为 Prompt Space 的新的有效方法，利用文本嵌入来获取基向量并构建表示所有提示的空间，成功解决当前方法缺乏理论基础的问题，取得了在十个公共推理基准上的显著优异表现，为在 LLMs 中进行简单而有效提示的选择提供了牢固而基本的理论框架。

Jun, 2023

探究预训练语言模型的抽奖提示

本文提出了一种基于逐个样例级别的 Prompt 搜索方法，然后使用 Prompt 集成方法将搜索到的强彩票 Prompts 推广到未见过的数据上。实验结果表明，该方法与其他无梯度、无优化基线方法相比能够取得可比的结果。