在这篇论文中，我们通过对 16 个文本分类数据集进行大规模评估研究，比较了零样本和少样本的大型语言模型与微调较小语言模型在文本分类方面的表现。结果表明，更小且更高效的语言模型的微调仍然能胜过大型语言模型的少样本方法，在文本分类方面有改进的空间。
Mar, 2024
利用预训练的密集检索模型，我们在有限样本设置中的常见意图分类数据集上，以及特定情况下的细粒度情感分类中，优于微调性能。通过多个实验，我们分析了模型对于上下文示例和不同模型规模的利用情况，并展示了在不同领域中需要不同程度上下文示例的相似性、类名的语义内容和示例与标签之间的正确对应。
Sep, 2023
该研究论文探讨了大型语言模型 (LLMs) 是否能够根据不同任务示例的上下文信号来解决新任务，并设计了一个跨任务提示设置，并表明 LLMs 在无需上下文提示的情况下能够获得显著的性能提升，同时展示了模型激活相似性与跨任务示例效果之间的强相关性。
May, 2024
本文提出了一种有效的方法，利用标注数据和语言模型（LM）检索 in-context learning 的提示，训练稠密的检索器并在三个序列到序列任务中发现它明显优于之前的工作和多个基线。
Dec, 2021
本研究探讨了大语言模型中的上下文学习现象，并证明了基于长期相关性的预训练可以促进上下文学习。通过人工合成数据集，实验结果表明了模型规模对上下文学习的影响，以及例子顺序和零样本学习等现象。
Nov, 2021
我们提出了一种简单但有效的方法来将任务上下文化为特定的大语言模型，通过观察给定的大语言模型如何描述目标数据集，聚合大语言模型的开放式推理结果，并最终将聚合的元信息纳入实际任务中，我们展示了这种方法在文本聚类任务中的有效性，并通过上述过程的示例突出了上下文化的重要性。
Jun, 2024
本研究探讨了机器翻译中上下文例句的属性对于翻译质量的影响，其结论是单个优化的例句可以产生出色的效果，增加相似性的例句可以显著提高输出的翻译质量。
Dec, 2022
本文提出了一种基于最近邻校准框架的预训练语言模型（PLMs）的上下文学习方法，该方法获得了显著的改进，并在某些情感分析任务中实现了与基于调优的方法相当的性能。
本文提出了一种新的提示策略，通过使用带有反馈的演示示例来提高大型语言模型（LLM）的上下文学习性能，该策略在三个多跨度问题回答数据集以及一个关键字提取数据集上进行实验证明了其一致的性能提高。
Jun, 2023
本研究提出了基于高效 Transformer 机制的长程语言模型 EVALM，采用 8k 批处理行的方式进行训练，并可测试长度达到 256k 的上下文，实验结果显示，EVALM 平均精度比现有 PLMs 高 4.1％，而且在上下文学习和指令调整中都能有效地缩放所使用的样例大小。
Feb, 2023