在这篇论文中，研究人员提出了一种新的自适应上下文学习 (AICL) 方法，通过预测分类器的 Softmax 后验概率来动态调整在推断中使用的示例数，以提高文本分类任务的性能。

Mar, 2024

我们提出了一种新的方法，Adversarial In-Context Learning (adv-ICL)，通过使用一个 LLM 作为生成器，另一个作为鉴别器，以及第三个作为提示修改器来优化背景学习中的提示。我们表明，adv-ICL 在包括摘要、算术推理、机器翻译、数据生成和 MMLU 和 big-bench 难度基准等 11 个生成和分类任务上，相对于最先进的提示优化技术取得了显著的改进。此外，由于我们的方法使用预训练模型，并且仅更新提示而不是模型参数，它在计算上是高效的，易于扩展到任何 LLM 和任务，并且在资源有限的环境中是有效的。

Dec, 2023

通过在高质量的真实人类中文对话数据集上对大型语言模型（LLMs）在基于角色的对话生成中的上下文学习能力进行广泛实验，我们的工作填补了上下文学习研究在人类对话生成领域的空白。从实验结果中，我们得出了三个结论：1）调整提示指令是改善生成质量最直接、最有效、最经济的方法；2）随机检索演示（demos）可以取得最好的结果，可能是因为其更大的多样性和有效信息的数量；与查询上下文完全相同的检索演示的表现最差，与直觉相反；3）即使在演示中破坏了多轮关联和单轮语义，增加演示数量仍然可以提高对话性能，证明了 LLMs 可以从损坏的对话演示中进行学习。先前对 ICL 机制的解释，例如 $n$-gram 归纳头，不能完全解释这一现象。

Feb, 2024

通过动态调整演示数量，我们提出了一个动态演示控制器（D$^2$Controller），该控制器可以提高在十个数据集上的八种不同尺寸的大型语言模型（LLM）上的 In-Context Learning（ICL）性能，并在之前的 ICL 模型上取得了竞争性的结果。

Sep, 2023

该研究通过实验测量了几种不同的文本生成任务原始模型的表现，对比分析了几种参数有效的适应方法（如提示调整、上下文学习和指导性提示调整），并通过 IPT 探究了这些方法之间的交互作用和优缺点。

Feb, 2023

本文提出了一个度量标准，评估了一个固定提示对标签或给定属性的预测偏差，并提出了一种新的基于贪心搜索的搜索策略来确定最佳提示，以提高上下文学习的性能，并在多种下游任务中使用 GPT-3 等最先进的主流模型进行全面实验。结果表明，我们的方法可以有效提高模型的在上下文学习性能。

Mar, 2023

本文提出了一种有效的方法，利用标注数据和语言模型（LM）检索 in-context learning 的提示，训练稠密的检索器并在三个序列到序列任务中发现它明显优于之前的工作和多个基线。

Dec, 2021

通过引入可学习的扰动（提示），我们提出了一种名为 Instruct Me More（InMeMo）的方法，以增强视觉上下文学习的性能，对前景分割和单物体检测任务的 mIoU 分数分别提高了 7.35 和 15.13。

Nov, 2023

利用预训练的密集检索模型，我们在有限样本设置中的常见意图分类数据集上，以及特定情况下的细粒度情感分类中，优于微调性能。通过多个实验，我们分析了模型对于上下文示例和不同模型规模的利用情况，并展示了在不同领域中需要不同程度上下文示例的相似性、类名的语义内容和示例与标签之间的正确对应。

Sep, 2023

ICL 的框架 UniICL 通过一个冻结的 LLM 统一了演示选择、演示压缩和响应生成，并实现了有效的缩放，从 4-shot 到 64-shot 的 ICL 提高了 12 倍。

May, 2024