研究了大型语言模型的训练和记忆过程，在不同设置下测量了数据集大小、学习率和模型大小对其记忆能力的影响，证明更大的语言模型更快地记忆训练数据，更容易在训练过程中避免过度拟合。同时，分析了不同词性的记忆动态，发现名词和数字是模型记忆单个训练例子的唯一标识符。这些发现有助于深入了解模型变大所带来的真正好处。
May, 2022
本研究发现，在处理否定提示的任务时，语言模型的大小与其零 - shot 表现之间不存在按比例的关系，而是一种倒数的规律，并指出目前的 LMs 和方法存在重要限制。作者呼吁学术界开发新的方法来开发真正遵循给定指令的 LMs，并提供了探索否定提示的代码和数据集。
Sep, 2022
本文提出了一个度量标准，评估了一个固定提示对标签或给定属性的预测偏差，并提出了一种新的基于贪心搜索的搜索策略来确定最佳提示，以提高上下文学习的性能，并在多种下游任务中使用 GPT-3 等最先进的主流模型进行全面实验。结果表明，我们的方法可以有效提高模型的在上下文学习性能。
Mar, 2023
该论文研究了少样本提示模型是否也利用了表象线索，发现在 MNLI、SNLI、HANS 和 COPA 数据集上，尽管模型在表象线索实例上表现良好，但在没有表象线索的实例上的性能往往低于或仅略优于随机准确度。
提出了一种用于指示预训练语言模型检测社会偏见的 few-shot 方法，该方法用少量标记过的示例和定义的偏见作为指示提供给模型，大型语言模型的检测效果十分准确。
Dec, 2021
该研究通过将文本输入转换为包含任务描述的填空问题，并结合梯度优化和利用未标记数据，成功地创造了小型语言模型，达到了与 GPT-3 相似的性能，为小型语言模型的成功应用提供了关键因素。
Sep, 2020
通过引入结构化的提示，在线学习中处理更多的实例。
Dec, 2022
这篇研究论文描述了大语言模型 (LMs) 如何通过增加模型容量、重复数据示例次数以及提示模型的上下文数量等因素持续增长来记忆其训练数据的程度。然而，该记忆过程会导致隐私泄露、降低数据质量并且存在不公平性问题，因此有减轻该问题的必要，尤其随着模型的规模持续增长，需要采取积极的对策。
Feb, 2022
评估少量样本学习模型在没有未使用样本的情况下的表现，发现先前的工作对于 LM prompt 和超参数的选择方式大大低估了预训练语言模型在小样本学习方面的能力。
May, 2021
本文从贝叶斯的角度出发，将大型语言模型视作主题模型，提出了一种从标注数据中选择最佳示范的算法，并在实际数据集中证明相对于随机选择基线，平均有 12.5% 的显著改进。研究表明，大型语言模型从示范中隐式地推断出潜在的概念变量。
Jan, 2023