本文致力于探索如何把因果知识注入到预训练模型中，扩展了 CausalBERT 的思想并在各类数据集上进行实验验证，证明其有效性以及在因果推断任务上实现了新的性能提升。
Jul, 2021
通过利用 ConceptNet 中的结构化知识，构造逻辑形式并生成常识性逻辑推理的多项选择题进行训练，我们提出了一种简单而有效的方法来教授预训练模型常识性推理，实验结果表明，这种训练可以使预训练模型在需要常识性推理的任务上表现稳定提升，特别是在少样本学习设置下。
Sep, 2019
本文针对故事生成中存在的重复、逻辑冲突和长距离一致性缺乏等问题，提出了一种基于知识增强预训练模型的通用故事生成方法。通过利用外部知识库中的常识知识来生成合理的故事，并采用多任务学习的方法来捕捉合理故事中句子之间的因果关系和时间依赖关系，从而在逻辑和整体一致性方面比其他最先进的模型有更好的表现。
Jan, 2020
提出了一种从语言模型中提取因果知识的框架 CaKE-LM，用于解决视频因果问答问题（CVidQA），并在 NExT-QA 和 Causal-VidQA 数据集上取得了显著的优势。
Apr, 2023
该研究提出了两种方法，通过外部常识知识图谱，隐式或显式地融入到预先训练好的自然语言处理模型中，以提高社交智能，这种方法对社交常识推理任务 SocialIQA 的表现在有限和完整的训练数据制度下都表现出良好的效果。
May, 2021
本研究提出一种通用预训练语言模型的常识知识转移框架，通过从神经常识知识模型中提取框架通用文本中的常识知识并利用两个自监督目标对模型进行改进，使其更好地传递到需要常识推理的下游任务中并取得显著改善。
Jun, 2023
本研究提出利用常识模型和多任务学习相结合的方法，在情感识别和情感原因标记方面取得显著成效，并在模型性能分析方面进行了全面深入的探究。
Jun, 2021
本文通过使用反事实条件句，利用心理语言学实验和更大规模的数据集，对比了多种流行的预训练语言模型中的反事实预测，并发现大多数模型主要受简单的词汇线索驱动。当控制世界知识和词汇线索效应时，只有 GPT-3 在反事实细微差别的语言基础知识上显示出敏感性。
Dec, 2022
从文本中提取相关原因和效果，检测因果关系的任务中，通过对三种序列标记模型进行彻底分析，并将其与基于跨度的因果性抽取方法进行比较，我们发现，与以往的复杂架构的最新模型相比，预训练语言模型（如 BERT）提供了显著的性能提升。我们观察到，基于跨度的模型在所有 4 个来自不同领域的数据集中，对于不同类型的因果短语表现更好。
Aug, 2023
本研究提出了一种基于条件的文本生成框架，依赖于 CausalBank 和 Cause Effect Graph 两个新资源开发，并使用词汇约束解码来支持析取正约束，利用 CausalBank 对最近一种最先进的因果推理模型的编码器进行持续训练，在不改变模型架构的情况下在 COPA 挑战集上取得了 3 分的提高。