本文研究 GPT-2 语言模型在完成句子任务时对本土语音者的暗示因果直觉掌握程度，验证了早期的结果并研究了性别、动词词频对模型表现的影响，并开发了避免模型生成的非正常语言影响人工评判的方法学。

Dec, 2022

通过对最近的变形器模型应用因果干预技术分析了词义消歧问题上 “情境模型” 的表现，特别是注意头回路在隐含情境模型建立中发挥的作用及其通过不同路径对代词解析的引导方式进行比较。

Jun, 2023

本文探讨了如何评估语义特征对语言模型预测的因果效应以及如何利用因果分析方法构建比较模型来评估 NLI 任务，强调因为可解释性和模型评估的需要，对于具有足够结构化和规律性的推理模式进行系统分析是非常有价值的

May, 2023

本文通过因果分析量化和评估 PLMs 依靠生成缺失字词的单词级模式来回答 PLMs 如何正确生成结果这一谜团并发现 PLMs 更倾向于依靠与缺失字词位置接近和高频共现的单词而非知识依赖型的单词，从而得出 PLMs 因为依靠不充分的关联而效率低下地捕捉实际知识的结论。

Mar, 2022

最近，大规模预训练语言模型（LLM）展示了卓越的语言理解能力，包括零示例因果推理。然而，目前尚不清楚它们的能力在多大程度上与人类相似。本文研究了一个基于脚本故事中事件 $B$ 的处理，该事件的因果关系依赖于前一个事件 $A$。通过自行阅读实验，发现在因果冲突存在（$ eg A ightarrow B$）的情况下，人类的阅读时间明显较长，而在逻辑条件（$A ightarrow B$）下，阅读时间保持类似。然而，当未明确提及事件 A 时，阅读时间仍然类似，表明人类可以轻易从脚本知识中推断出事件 B。随后，我们测试了多种 LLM 模型在相同数据上的表现，以检查模型在多大程度上复制了人类行为。实验结果显示：1）只有最近的 LLM 模型，如 GPT-3 或 Vicuna，与人类行为在 $ eg A ightarrow B$ 条件下相关。2）尽管存在这种相关性，所有模型仍然无法预测 $nil ightarrow B$ 相对于 $ eg A ightarrow B$ 来说更不足为奇，表明 LLM 模型在整合脚本知识方面仍存在困难。我们的代码和收集的数据集可在此 https URL 获取。

Nov, 2023

本研究通过合成数据对预训练语言模型进行微调，验证了模型对于从文本中推断因果关系的能力，发现模型容易根据实体在文本中的出现顺序推断因果关系，但在因果关系推断方面存在后验谬误，且对于反事实关系的推断较为困难，从而对模型对因果关系的理解提出了质疑。

Jun, 2024

提出了一种新颖的架构称为 “具有反事实分析的上下文感知推理增强框架”，通过将显式和隐式因果推理相结合，利用 ConceptNet 和反事实语句来提高因果推理和可解释性，进一步提供对因果关系的深度理解和促进可解释性。

Feb, 2024

人类对物理和社会世界的常识性理解建立在直觉理论的基础上，而这些理论支持我们进行因果和道德判断。本文通过收集一系列的故事并对其进行标注，测试了大型语言模型对文本场景进行的因果和道德判断是否与人类参与者的判断相符。结果显示，虽然整体上随着近期大型语言模型的发展，其与人类的判断相符度有所提高，但通过统计分析发现大型语言模型与人类参与者之间对不同因素的重视程度存在明显差异。这些结果显示了如何通过策划和挑战性数据集结合来自认知科学的见解，超越基于总体指标的比较，揭示了大型语言模型的隐含倾向，并展示了这些倾向在多大程度上与人类的直觉相一致。

Oct, 2023

利用因果效应估计策略衡量上下文干预和插入词对于推理标签的影响，通过广泛的干预研究验证模型对不相关变化的稳健性和对有影响变化的敏感性。

Apr, 2024

近期的研究表明，预训练的大型语言模型（LLMs）具有类似于人类观察到的认知结构，促使研究人员探究 LLMs 的认知方面。本文聚焦于心理学中的一个独特两级认知结构，即显性社会偏见和隐性社会偏见。我们提出了一个两阶段的方法，并在 LLMs 中发现了一个并行现象，即社会偏见中的 “重新判断不一致”。实验调查 ChatGPT 和 GPT-4 关于心理学中常见的性别偏见，证实了重新判断不一致的高度稳定性。这一发现可能表明，随着 LLMs 的能力增强，不同的认知结构也会出现。因此，利用心理学理论可以提供对 LLMs 中显性和隐性结构表达的潜在机制的深入洞察。

Aug, 2023