语言模型能否从上下文中的解释中学习？
本文研究大型语言模型在上文环境学习中如何利用解释，通过研究计算跟踪和语言表达对影响解释的有效性，我们发现两种因素对于解释的有效性都起重要作用，同时提出了一种基于最大边际相关性的样本选择方法，以构建既相关又补充的样本集，成功提高了大型语言模型在多个真实世界任务上的上下文学习性能。
Nov, 2022
本文研究了将 GPT-3 等大型语言模型与说明相结合是否能够提高上下文学习效果，发现对于涉及文本推理的自然语言推理和问答任务，使用不同样式的说明对 OPT、GPT-3（davinci）和 InstructGPT（text-davinci-001）等四个 LLM 的性能仅会带来小至中等的准确性提高，而 text-davinci-002 能够带来更实质性的提高，并且 LLM 产生的说明可能不支持、甚至与模型预测不一致，但这些说明仍有助于验证模型的预测，在此观察基础上，文章通过训练校准器使用自动提取的评分评估说明的可靠性，从而在全部数据集上实现后处理性能的提高。
May, 2022
我们的研究证明了使用解释来进行微调以提高语言模型性能的显著效益。与提示相比，微调允许模型在训练阶段学习和更新参数。我们将微调应用于包含输出解释而非仅呈现答案的数据中的各种规模的语言模型。即使是具有 6000 万参数的较小语言模型也从该方法中获益良多。有趣的是，我们的结果表明详细解释对较小的模型比大模型更有益处，后者几乎从任何形式的解释中获得同样的优势，无论其长度是多少。此外，我们证明包含解释使模型能够解决无法在没有解释的情况下解决的任务。最后，我们认为尽管添加解释具有挑战性，但包含解释的样本不仅减少了训练所需的数据量，还促进了模型的更有效泛化。总之，我们的研究结果表明，使用解释进行微调显著增强了大型语言模型的性能。
Feb, 2024
本文提出了一种黑盒优化解释注入的提示方法，以提高文本推理任务的性能，在问题回答、数学推理和自然语言推理等四个文本推理任务中实现了有效的促进效果。
Feb, 2023
本研究分析显示：大型语言模型不需要准确的演示，而是通过演示提供的标签空间、输入文本的分布和序列的整体格式等方面驱动任务表现的提高。因此，揭示了语境学习的原理和作用方式，同时提出了新的问题，即能否仅仅通过推理来学习大型语言模型的更多内容。
Feb, 2022
该研究论文探讨了大型语言模型 (LLMs) 是否能够根据不同任务示例的上下文信号来解决新任务，并设计了一个跨任务提示设置，并表明 LLMs 在无需上下文提示的情况下能够获得显著的性能提升，同时展示了模型激活相似性与跨任务示例效果之间的强相关性。
May, 2024
在这篇论文中，我们通过对 16 个文本分类数据集进行大规模评估研究，比较了零样本和少样本的大型语言模型与微调较小语言模型在文本分类方面的表现。结果表明，更小且更高效的语言模型的微调仍然能胜过大型语言模型的少样本方法，在文本分类方面有改进的空间。
Mar, 2024
评估少量样本学习模型在没有未使用样本的情况下的表现，发现先前的工作对于 LM prompt 和超参数的选择方式大大低估了预训练语言模型在小样本学习方面的能力。
May, 2021