本文介绍了一种名为 Prompt-augmented Linear Probing (PALP) 的方法，它是一种线性探测和上下文学习 (ICL) 的混合体，利用这两种方法的最佳部分。PALP 通过将输入数据整理成更可理解的形式来使语言模型获得更有意义的表示，并提高输入表示的能力，缩小了 ICL 和 fine-tuning 之间的差距。

Dec, 2022

通过理论和实证研究，我们首次确定了上下文学习中的标签偏移现象，并提出了一种生成校准方法，通过调整标签边际分布来校准上下文预测分布，实验证明该方法在文本分类任务中显著且一致地优于其他校准方法，同时对于不同的提示配置也表现稳定。

Oct, 2023

现代自回归语言模型研究了在上下文学习中，如何在广泛数据上通过预测下一个令牌以最小化对数损失，以获得校准答案。通过大量实验，发现当增加模型大小、增加上下文学习示例以及使用指导、对话或强化学习等方法在精心策划的数据集上对模型进行微调时，性能和校准之间存在权衡，并且常用的重新校准技术在校准错误方面的改善有限，因此在期望模型可靠性的设置下，可能需要新的方法。

Dec, 2023

通过对现有校准方法的系统分析，我们提出了一种简单而直观的批量校准（BC）方法，它控制了批量输入的上下文偏差，统一了各种先前的方法，并有效解决了上述问题，这种方法是零 - shot、只有推理过程中存在，且额外成本极低。在少样本设置下，我们进一步扩展了 BC，使其能够从标记数据中学习上下文偏差，并且通过对 PaLM 2-(S, M, L) 和 CLIP 模型的验证，证明了 BC 的有效性，并在 10 多个自然语言理解和图像分类任务中展示了优于以往校准基线的最新表现。

Sep, 2023

该研究通过实验测量了几种不同的文本生成任务原始模型的表现，对比分析了几种参数有效的适应方法（如提示调整、上下文学习和指导性提示调整），并通过 IPT 探究了这些方法之间的交互作用和优缺点。

Feb, 2023

在自然语言处理领域中，GPT-3 的开发以来，上下文学习（ICL）在利用大型语言模型（LLM）方面发挥了重要作用。尽管 ICL 在 NLP 领域取得了成功，但鲜有工作探索了 ICL 在语音处理中的可能性。本研究提出了第一个探索 ICL 与语音语言模型在无文本监督下的结合的方法。通过提出的热启动训练方法，语音语言模型能够在未知任务上进行 ICL，而当前的语音语言模型不具备这种能力。我们通过在语音分类任务上验证了语音语言模型进行 ICL 的可行性。

Oct, 2023

在这篇论文中，我们首次从演示增强的角度来解决上下文学习的挑战，通过丰富演示的表示以及集成特定的统计特性，我们提出了一种简单但高效的方法，显著提高了各种预训练语言模型和任务的平均和最坏情况准确性，并有效减少了不同演示、排列和模板之间的性能差异，并且具备处理不平衡类别分布的能力。

Jun, 2024

本文研究了大型语言模型展示的 “上下文学习” 现象，并解释了预训练的 transformer 模型如何在合理的假设下执行上下文学习。我们推出了一种机制，使得 transformer 模型能够正确划分上下文，推断出稀疏线性回归假说，并应用此假说进行预测，在该学习框架中的样本复杂度保证。

May, 2023

引入了一种重新加权的算法 RICL（Reweighted In-context Learning），并提出了一种低成本重新加权算法 LARICL（Linear Approximation of Reweighted In-context Learning），这些算法通过有效地优化输入提示来改善大语言模型（LLMs）的性能。

Oct, 2023

研究注意力机制的神经网络 transformer 采用渐变流进行单个线性自注意层的训练，实现在新的预测任务中使用标记示例的测试提示时具有预测误差与测试提示分布上最佳线性预测器相竞争的能力，且在多种分布转换下具有鲁棒性。

Jun, 2023