学习检索上下文学习提示

ACLDec, 2021

Learning To Retrieve Prompts for In-Context Learning

Ohad Rubin, Jonathan Herzig, Jonathan Berant

TL;DR本文提出了一种有效的方法，利用标注数据和语言模型（LM）检索 in-context learning 的提示，训练稠密的检索器并在三个序列到序列任务中发现它明显优于之前的工作和多个基线。

Abstract

in-context learning is a recent paradigm in natural language understanding, where a large pre-trained language model (LM) observes a test instance and a few →

in-context learning pre-trained language model training examples annotated data sequence-to-sequence tasks

发现论文，激发创造

大语言模型中上下文案例检索学习

本文提出了一种新的框架，通过训练密集检索器来识别高质量的上下文示例，进而提高大型语言模型（LLMs）的上下文学习表现。实验证明了该框架可以显著地提高在各种任务上的性能，而且具有良好的泛化能力。

Jul, 2023

上下文学习作为隐式贝叶斯推断的解释

本研究探讨了大语言模型中的上下文学习现象，并证明了基于长期相关性的预训练可以促进上下文学习。通过人工合成数据集，实验结果表明了模型规模对上下文学习的影响，以及例子顺序和零样本学习等现象。

Nov, 2021

大语言模型的公平指导少样本提示

本文提出了一个度量标准，评估了一个固定提示对标签或给定属性的预测偏差，并提出了一种新的基于贪心搜索的搜索策略来确定最佳提示，以提高上下文学习的性能，并在多种下游任务中使用 GPT-3 等最先进的主流模型进行全面实验。结果表明，我们的方法可以有效提高模型的在上下文学习性能。

Mar, 2023

上下文调整：为自然语言生成学习上下文化提示语

本文提出了一种新的连续提示方法，称为上下文调整，用于对预训练语言模型进行微调以进行自然语言生成，可以根据输入文本生成上下文化的提示，然后使用连续的反向提示来改进过程自然语言生成的过程。

Jan, 2022

EXnet：无数据文本分类的高效上下文学习

本文介绍 EXnet 模型，以进行上下文学习，通过提供例子来促进跨任务泛化，特别是针对文本分类任务。

May, 2023

寻找上下文学习的支持例子

本文提出了一种基于语言模型的支持性示例挑选方案，通过两阶段的方法解决了 NP-hard 组合优化问题并使用多样性引导的波束搜索方法优化选定示例的性能，进一步实验证明了我们方法的有效性和 “支持性示例” 和 “上下文学习” 的相关特征。

Feb, 2023

示范笔记本：从交互中找出最适合上下文学习示例

使用新颖的 “演示笔记本” 对象，通过从语言模型过去的交互中收集和重复使用信息来选择问题的适当示例，从而实现了自动演示构建和选择的方法，并在多个推理基准上取得了最先进的结果。同时，通过对演示的严格分析方法，揭示了不同问题类型之间演示的相关性，为问题的推理解决提供了有价值的见解。

Jun, 2024

利用答案反馈增强多段落问答的上下文学习

本文提出了一种新的提示策略，通过使用带有反馈的演示示例来提高大型语言模型（LLM）的上下文学习性能，该策略在三个多跨度问题回答数据集以及一个关键字提取数据集上进行实验证明了其一致的性能提高。

Jun, 2023

指示我更多！用于视觉背景学习的随机提示

通过引入可学习的扰动（提示），我们提出了一种名为 Instruct Me More（InMeMo）的方法，以增强视觉上下文学习的性能，对前景分割和单物体检测任务的 mIoU 分数分别提高了 7.35 和 15.13。

Nov, 2023

基于情境的场景理解

探索了一种简单的机制，即通过从带注释的特征提示中进行最近邻检索的上下文学习，并提出了一种新的预训练协议，利用图像内部和跨图像的注意力，使得 Hummingbird 模型在不修改的情况下能够执行各种场景理解任务，同时接近于为每个任务进行微调的专家的性能，并且可以更高效地配置 Hummingbird 模型以执行新任务，进一步提高了交互式助手模式下的场景理解的可能性。

Jun, 2023