本文提出了一种新颖的多头知识注意模型，该模型对半结构化的常识推理规则进行编码，并学习将它们纳入基于 Transformer 的推理单元中。在推理任务中，我们评估了模型在需要不同推理技能的两个任务上的表现，即推断性自然语言推理和反事实不变性预测，并展示了我们提出的模型相对于强大的最先进模型（例如 RoBERTa）在两个推理任务中的表现提高，通过扰动知识，并对模型的知识纳入能力进行定性分析，我们验证了模型推理能力的稳健性。值得注意的是，我们在最佳解释方面展示了学习执行反事实推理的模型对推断性推理任务的帮助，这在我们所知道的情况下是首次演示的。

Oct, 2020

本研究提出一个新的简单方法，利用预先训练的跨语言模型来进行常识推理，并在多语言 Winograd 模式语料库上进行了评估，结果表明即使在其他语言中零样本情况下，该方法具有与监督和非监督方法相当的性能表现，并提供了多语言编码器普遍推理能力的证据。

Jun, 2021

本文研究了深度上下文表示预训练模型 BERT 的常识表征能力，并挑战了其在各种客观属性分类中的效果，提高了在下游常识推理任务中的性能，并且开发了一种与 BERT 一起微调知识图谱嵌入的方法，表明知识图谱的显式表述仍具有重要性。

Oct, 2019

通过利用 ConceptNet 中的结构化知识，构造逻辑形式并生成常识性逻辑推理的多项选择题进行训练，我们提出了一种简单而有效的方法来教授预训练模型常识性推理，实验结果表明，这种训练可以使预训练模型在需要常识性推理的任务上表现稳定提升，特别是在少样本学习设置下。

Sep, 2019

本论文调查了最近关于常识推理的谈话人工智能研究，列出了相关的训练数据集，并描述了在谈话人工智能中包含常识的主要方法，讨论了用于评估谈话人工智能中常识的基准，最后对两个最先进的开放对话模型 BlenderBot3 和 LaMDA 的常识能力进行了初步观察，并对自然交互产生了负面影响，进一步激发了关于常识推理在谈话人工智能中的研究。

Feb, 2023

在自然语言处理中，通过将共指信息作为辅助监督注入到目前现有的预训练模型中，能够提升模型在需要进行复杂和长距离推理的任务中的表现，从而超过目前最大的 GPT-2 模型，同时仅含有一小部分的参数。

Nov, 2019

本文提出一种使用无监督学习、基于语言模型的神经网络常识推理的简单方法，通过对大量未标记数据的训练，优化单选题的得分，获得了很好的测试成绩，没有使用昂贵的注释知识库或手工特征工程。

Jun, 2018

本文提出了一种新的语言表征模型 CorefBERT，可以在捕获上下文中的语义信息的同时，明确处理代词消解，实现语篇的一致理解，并在各种需要代词推理的下游 NLP 任务中获得显著的改善。

Apr, 2020

该论文提出了一种名为 KEAR 的系统，即知识化外部关注作用于常识推理，能够显著提高现有 AI 系统的性能，在 CommonsenseQA 上达到了人类水平的正确率。

Dec, 2021

该论文提出了一种名为 ReasonBert 的预训练模型方法，通过远程监督的方法自动连接文本和表格，并模拟多种类型的推理来增强长距离关系和混合上下文的能力。并在包括单跳、多跳、文本、表格、混合数据集的多个问题回答数据集上进行了全面评估，表现出显著的性能提升。

Sep, 2021