该研究论文调查和组织了一种新兴的自然语言处理范式，这种范式被称为“基于提示的学习”，并在其中介绍了其基础知识和数学符号，以及其在预训练模型、提示和调整策略等方面的相关研究成果，该框架通过使用模板将输入x修改为具有一些未填充信息的文本字符串提示x'，并将语言模型用于填充未填充信息以获得最终字符串x，从而实现零样本学习和少样本学习。
Jul, 2021
本论文对基于Transformer的预训练语言模型进行了全面调查，并介绍了自监督学习、预训练方法、嵌入、下游适应方法等核心概念以及T-PTLMs的新分类法，提供了各种有用的库以及未来研究方向，该论文可作为学习核心概念和了解T-PTLMs近期进展的参考资料。
Aug, 2021
本次研究综述了在NLP和CV领域中，通过注入知识的预训练模型（KEPTMs）在解决预训练模型领域中鲁棒性和可解释性差的问题上取得了重要进展，同时对现有KEPTMs进行了系统分类，并提出了未来研究的潜在方向。
Oct, 2021
本文论述了预训练语言模型（PLM）的重要性以及知识增强型预训练语言模型（KE-PLMs）的研究现状，探讨了KE-PLMs在各种NLU和NLG应用中的超越性能以及KE-PLMs面临的挑战和未来研究方向。
本文介绍了使用预训练和微调、提示或文本生成方法解决NLP任务的大型预训练基于transformer的语言模型，以及使用预训练语言模型生成数据进行训练或其他目的的方法，并讨论未来研究的限制和建议方向。
Nov, 2021
本文提出了一种基于预训练语言模型的无参考学习方法NPPrompt，能够有效扩展一个预训练模型到多个语言理解任务，且不需要标注数据或附加未标注语料库进行微调。实验结果表明，NPPrompt 在文本分类和 GLUE 基准测试等任务中具有比以前最好的全零样本方法更高的绝对增益。
Dec, 2022
本书提供了基础模型的研究和应用的综述，介绍了预训练语言模型BERT、GPT和序列到序列变换，并讨论了改进这些模型的不同方法，以及20个应用领域中表现最佳的模型。
Feb, 2023
本文从语言单位、结构、训练方法、评估方法和应用等五个方面，介绍了传统语言模型和预训练语言模型，讨论了二者的关系和语言模型在预训练时代的未来发展方向。
Mar, 2023
预训练语言模型与基于它们的参数高效微调方法被综合评述，重点讨论了内存效率和计算资源限制等参数效率问题以及应用于下游任务的挑战和机遇。
Dec, 2023
本文介绍了继续预训练 T5 模型的研究，特别是在葡萄牙语方面的应用及其对下游任务的影响，通过实验和优化配置获得了令人满意的结果。
Jun, 2024