使用来自 3 个心理语言学实验的刺激，发现当高度异常的单词与前面的语境或最有可能的延续相关时，8 个现代转换器语言模型（BERT、ALBERT、RoBERTa、XLM-R、GPT-2、GPT-Neo、GPT-J 和 XGLM）也几乎总是表现出类似的加工优势，这个现象对于我们对于人类语言理解和语言模型预测的理解都有重要意义。

Nov, 2022

本文探讨了预先训练的语言模型在脚本知识分析方面的能力，从三个方面进行了探测任务：包括子事件选择、开始子事件选择和时间排序，并通过对 BERT 模型在脚本识别和各项探测任务表现的分析，结论是 BERT 模型可以很好地捕捉子事件之间的时序知识，但无法很好地编码包含或开始子事件知识。

Apr, 2022

通过计算谓词和它们的论元的分布式表示，然后使用这些表示来预测原型事件排序，我们的方法从文本中联合估计计算事件表示和模型的排序组件的组合过程参数，证明此方法相较于以往的方法在排序性能方面有明显提升。

Dec, 2013

语言模型的先验知识与上下文信息的整合方式对不同问题和上下文情境具有可预见的特征，模型在涉及熟悉实体的问题中更依赖于先验知识，易受特定情境影响。我们提出两个基于互信息的度量，分别衡量模型对上下文的依赖和对实体先验的敏感性。通过经验测试，验证了这些度量的有效性和可靠性，并发现其与模型对实体的熟悉程度存在关联，提供两个使用案例来说明其优势。

Apr, 2024

本文将预测编码理论引入 BERT 风格语言模型，以学习适当的语篇水平表示，实现了通过中间层进行顶部到底部的明显连接预测未来的句子，从而在语篇相关知识的基准测试中提高性能，特别是在语篇关系检测方面。

Sep, 2021

利用归纳推理现象，通过研究语言模型（LMs）中的语义归纳综合，分析人工归纳文献中观察到的现象，并研究涉及隐含推理和新出现功能识别等任务的归纳行为，并分析并联系到学习到的概念表示空间。

Nov, 2021

最近，大规模预训练语言模型（LLM）展示了卓越的语言理解能力，包括零示例因果推理。然而，目前尚不清楚它们的能力在多大程度上与人类相似。本文研究了一个基于脚本故事中事件 $B$ 的处理，该事件的因果关系依赖于前一个事件 $A$。通过自行阅读实验，发现在因果冲突存在（$ eg A ightarrow B$）的情况下，人类的阅读时间明显较长，而在逻辑条件（$A ightarrow B$）下，阅读时间保持类似。然而，当未明确提及事件 A 时，阅读时间仍然类似，表明人类可以轻易从脚本知识中推断出事件 B。随后，我们测试了多种 LLM 模型在相同数据上的表现，以检查模型在多大程度上复制了人类行为。实验结果显示：1）只有最近的 LLM 模型，如 GPT-3 或 Vicuna，与人类行为在 $ eg A ightarrow B$ 条件下相关。2）尽管存在这种相关性，所有模型仍然无法预测 $nil ightarrow B$ 相对于 $ eg A ightarrow B$ 来说更不足为奇，表明 LLM 模型在整合脚本知识方面仍存在困难。我们的代码和收集的数据集可在此 https URL 获取。

Nov, 2023

该研究比较了使用 NLP 流程产生的结构化动词和论点事件和最近的基于递归神经网络的模型，发现后者在预测文档中缺失事件方面与前者大致相当。

Apr, 2016

本文研究了大型语言模型在实际事件中实现推理的能力，设计了一个建模和预测框架，其中大型语言模型执行推断，以协助事件序列模型提高预测准确性，并通过在 Amazon Review 和 GDELT 两个具有挑战性的实际数据集上进行的广泛实验，展示了我们的框架的性能优势。

May, 2023

通过将公共预训练语言模型作为知识库，并通过提示学习自动挖掘与脚本相关的知识，本文提出了一种考虑到了不确定性的新型提示学习方法，用于脚本事件预测，并在标准基准和大规模数据集上进行了验证，结果表明该方法优于传统基线模型分别 1.46% 和 1.05%。

Aug, 2023