本文概述了大型语言模型的新范式——上下文学习，并探讨了训练策略和演示设计策略等高级技术，以及上下文学习所面临的挑战和未来方向。

Dec, 2022

通过研究大型语言模型，本文提出Large language models可以在面对语境示例时模拟核回归算法，并证明了在Context prompts上的贝叶斯推理可以被当作大样本上的核回归，并通过实证研究发现，LLMs中的注意力和隐藏特征与核回归的行为相匹配，这些为ICL领域中观察到的多种现象提供了见解。

May, 2023

在计算社会科学分类任务中，评估了ChatGPT和OpenAssistant两种公共可访问的LLM的零次效果，并研究了各种提示策略的影响。发现在零次设置下，当前LLMs无法与较小的经过微调的基线变压器模型（如BERT）的性能匹配。此外，发现不同的提示策略可以显着影响分类准确性，准确性和F1分数的差异超过10％。

May, 2023

通过对18个字段密集型任务进行全面实验，我们发现，针对这些任务，大规模语言模型在使用上下文学习的方法上存在三个主要问题：无法准确理解上下文、与人类任务模式理解不匹配、对长文本理解能力不足。然而，通过微调，大规模语言模型能够在这些任务上取得不错的表现，表明上下文学习的失败并非大规模语言模型本身的固有缺陷，而是现有对齐方法的局限性导致大规模语言模型无法通过上下文学习来处理这些复杂任务。我们希望本文的分析结果能促进对齐方法的发展，使大规模语言模型能够满足更加复杂的人类需求。

Nov, 2023

In this work, the relationship between In-Context Learning (ICL) and Instruction Tuning (IT) is explored by examining how the hidden states of Large Language Models (LLMs) change in these two paradigms, finding that ICL is implicit IT and the convergence is contingent upon factors related to the provided demonstrations.

Nov, 2023

三种常用方法，即监督微调、监督指令微调和上下文学习，是少样本学习的三种替代方法。本文对这三种方法进行了广泛而系统的比较，测试了六种高低资源语言、三种不同的NLU任务以及各种语言和领域设置。观察结果显示，监督指令微调在性能和资源需求方面具有最佳平衡性。此外，本文还分析了预训练LLM的目标语言适应性，并发现标准适应方法能在表面上提高目标语言生成能力，但经ICL引发的语言理解并未改善且受限，尤其是对于低资源语言而言，得分较低。

Mar, 2024

该研究探讨了大型语言模型的细调策略，发现可替代方法在领域外泛化方面与标准方法相媲美，强调了对有效提示的需求，并针对可用资源和任务适应性进行合适的细调方法选择。

May, 2024

通过对长文本 LLMs 进行多个 in-context 学习示例的贪婪选择，我们改进了 ICL 与 URIAL 的对齐效果，但仍未消除与指令微调之间的差距，进一步的削减研究揭示了 ICL 在指令调整的环境中的特殊性，从而推进了对 ICL 作为对齐技术的理解。

May, 2024

通过ICLEval基准测试，我们展示了不同大语言模型中ICL能力普遍存在，并且模型大小不是ICL功效的唯一决定因素。

Jun, 2024

本研究解决了计算社会科学领域中使用大语言模型（LLMs）的标准化最佳实践缺乏的问题。通过对23个社会知识任务的基准测试，发现三项最佳实践：选择具有更大词汇量和预训练语料库的模型；避免简单的零样本，而应优先使用AI增强提示；在任务特定数据上进行微调，并仅在训练数据丰富时考虑更复杂的指令微调形式。本研究为该领域提供了实用的指导。

Aug, 2024