Mar, 2023

大语言模型的公平指导少样本提示

PDF
TL;DR本文提出了一个度量标准，评估了一个固定提示对标签或给定属性的预测偏差，并提出了一种新的基于贪心搜索的搜索策略来确定最佳提示，以提高上下文学习的性能，并在多种下游任务中使用 GPT-3 等最先进的主流模型进行全面实验。结果表明，我们的方法可以有效提高模型的在上下文学习性能。
发现论文，激发创造
  • 反演上下文学习：通过破坏理解提示

    通过对大语言模型进行随机组成的实验，研究了任务描述、示例输入、标签、行内指令等多个因素对模型性能的影响，发现重复文本、大型模型以及任务和行内指令对模型性能提升具有积极影响。

    Apr, 2024

  • 大型语言模型的提示式编程：超越少样本范式

    使用 GPT-3 模型分析得出少量样例引导更接近于已学习的任务，本文探讨使用自然语言编程来优化引导，提出元引导概念后能够生成更多的任务自然语言引导，展望这些方法如何应用于实践应用。

    Feb, 2021

  • 学习检索上下文学习提示

    本文提出了一种有效的方法，利用标注数据和语言模型（LM）检索 in-context learning 的提示，训练稠密的检索器并在三个序列到序列任务中发现它明显优于之前的工作和多个基线。

    Dec, 2021

  • 提示性模型是否无能？

    该论文研究了少样本提示模型是否也利用了表象线索，发现在 MNLI、SNLI、HANS 和 COPA 数据集上，尽管模型在表象线索实例上表现良好，但在没有表象线索的实例上的性能往往低于或仅略优于随机准确度。

    May, 2022

  • 对话场景外提示提升大型语言模型预测的公平性和鲁棒性

    通过利用因果关系作为一种工具来提高大型语言模型的可信度，我们提出了一种测试时解决方案 —— 利用开放背景提示来鼓励公平性和稳健性，以使模型在不同基准数据集上提供更可靠的预测。

    Jun, 2024

  • 小心提示偏见！研究和缓解事实知识提取中的提示偏见

    该研究量化了各种类型提示的偏差，并评估了其对不同基准测试的影响。通过提出一种基于表示的方法来缓解提示偏差，研究发现该方法不仅可以纠正由提示偏差引起的过拟合性能，还可以显著提高提示检索能力。

    Mar, 2024

  • 注意格式：实现对上下文学习改进的一致评估

    大语言模型在解决新任务方面表现出了非凡的能力。本研究在大语言模型的上下文学习性能中探究了输入示例的格式对模型性能的影响，并提出了使用多个模板进行模型预测的模板集成方法，以提高模型性能并减少模板选择的影响。

    Jan, 2024

  • 超级提示：利用模型无关的语境数据减少视觉常识任务中的数据注释需求

    本文研究如何使用 Prompt-based Fine-tuning 技术提高语言模型和多模式因果变换器模型的效果，结果表明使用只有 35%-40% 的训练数据集便能取得可比较的效果，从而达到显著的时间和费用节约。

    Apr, 2022

  • 大型语言模型的上下文忠实提示

    本文探讨了大型语言模型在知识获取任务中通过设计启示策略，特别是意见为基础的提示和反事实演示，有效提高了上下文的真实性，并在三个数据集上进行实验，结果表明在上下文中的忠实度有了显著提高。

    Mar, 2023

  • 基于提示的偏差校正以提升语言模型的零 / 小样本学习

    我们提出了一种空输入提示方法，通过使用来自 GPT-4 的多样化的空意义输入来为预训练语言模型的内在偏差校准提供基准，从而提高了零 / 少样本学习的性能。

    Feb, 2024