从预训练模型中提取出期望的行为，同时避免非期望的行为，重新定义了 NLP 并改变了我们与计算机的交互方式。尽管有越来越多的基准测试来衡量任务性能，但我们缺乏关于语言模型表现的解释，这些解释使它们首次完成这些任务成为可能。我们呼吁进行系统性的努力，将语言模型行为分解为解释跨任务性能的类别，以指导机制性解释，并帮助未来的分析研究。

Jul, 2023

本文研究利用大型语言模型来预测人类阅读行为，并比较了针对特定语言和多语言的预训练变压器模型在预测荷兰语、英语、德语和俄语文本上反映自然人类句子处理的阅读时间测量方面的表现。结果显示，变压器模型可以准确地模拟人类阅读行为，预测出了各种眼动特征，表明变压器模型可以以类似于人类处理机制的方式隐式地编码语言的相对重要性。作者还分析了这些模型的跨领域和跨语言能力，并展示了它们如何反映人类句子处理。

Apr, 2021

该论文调查了大型语言模型的八个潜在问题，包括其预测能力的增强，不可预测的行为的出现，对外部世界的学习和使用表示，行为引导技术的不可靠性，内部工作方式的解释困难性，性能上界不是人类任务表现，不一定表达其创建者或网络文本编码的价值观，与 LLMs 的简短交往经常是误导性的。

Apr, 2023

本文介绍了最近关于预训练语言模型（PLMs）的新进展，重点讨论了大型语言模型的预训练、适应和调整、利用和容量评估四个方面，并讨论了未来研究的问题和方向。

Mar, 2023

本研究旨在探讨大型语言模型是否能够成为认知模型，并发现通过在心理实验数据上微调这些模型，它们能够提供准确的人类行为表示，甚至在两个决策制定领域中表现比传统的认知模型更好。此外，我们展示了它们的表示含有模拟个体受试者行为所需的信息，并演示了在多个任务上进行微调的能力使得大型模型能够预测以前从未见过的任务中人类行为，这表明预先训练的大型模型可以被改进为通用认知模型，从而开辟了颠覆认知心理学和行为科学的新研究方向。

Jun, 2023

给定人工智能素养的重要性，本研究撰写了本教程，旨在帮助缩小学习语言模型（如 ChatGPT 等产品的核心技术）的研究者与对其感兴趣并希望了解更多的人之间的差距。总之，我们相信研究人员和教育工作者的观点可以增加公众对这些技术的理解，超越目前仅有的极其专业或由产品供应商生成的宣传材料。通过将语言模型概念与基于其构建的产品、产品所表现的行为以及与人类认知相似性的主张区分开来的方法，我们提供了（1）以实验研究为研究对象的科学观点；（2）将当前的语言模型置于其发展研究的背景中；（3）描述了目前对这些模型的已知范围。

Nov, 2023

通过对 GPT 和 T5 模型进行跨语言分类，本论文发现预训练模型在少量英语样本的情况下可以预测非英语测试样本，且在跨语言预测方面表现显著优于随机预测，并与现有的最先进的跨语言模型具有竞争力。

Sep, 2021

综述着重探究语言模型的历史背景、发展过程、因素、原理、现有工作的局限以及未来发展方向，为广大读者提供一个可理解的综合概述。

Feb, 2024

大型语言模型在心理语言学中扮演重要角色，因为它们是实用的工具、比较性的例证，并对重新审视语言和思维的关系具有哲学意义。

Feb, 2023

本文介绍了使用预训练和微调、提示或文本生成方法解决 NLP 任务的大型预训练基于 transformer 的语言模型，以及使用预训练语言模型生成数据进行训练或其他目的的方法，并讨论未来研究的限制和建议方向。

Nov, 2021