该研究提出了一种新的方法，将知识推理能力纳入对话系统的可扩展性和通用性中，以提高用户体验。该方法使得单一转换器模型能够直接在大规模知识图谱上进行推理，以生成响应，并通过任务导向和特定领域的对话交流进行了实证研究，证明了其有效性和高效性。

Mar, 2022

通过使用描述逻辑知识库构建一个合成的自然语言问答数据集，本研究评估了基于 transformer 的模型在推理能力、合成语境和知识库相关的问题上的表现，并展示了模型在训练过程中对不同推理深度的泛化能力。

Nov, 2023

本研究分析了 transformer-based 语言模型中的概率逻辑规则应用，并提出了 Probabilistic Constraint Training (PCT) 方法，该方法显式地模拟了概率逻辑推理，并在新的 QA 基准中评估了其准确性和可解释性。结果表明，该方法可以提高基本语言模型在需要概率逻辑推理时的准确性和解释性，并且该技术的学习也可适用于新的情境。

May, 2023

提出了一种新的推理感知预训练方法，使用对比学习将另一种数字表示形式纳入预训练模型，通过基于推理的数字预测任务训练来提高其数值推理能力，实验结果表明该方法在需要数值推理的任务上能够提高准确性，并且人类评估显示该方法能够提高数据集上的事实正确性。

May, 2022

本论文调查了最近关于常识推理的谈话人工智能研究，列出了相关的训练数据集，并描述了在谈话人工智能中包含常识的主要方法，讨论了用于评估谈话人工智能中常识的基准，最后对两个最先进的开放对话模型 BlenderBot3 和 LaMDA 的常识能力进行了初步观察，并对自然交互产生了负面影响，进一步激发了关于常识推理在谈话人工智能中的研究。

Feb, 2023

本文提出了基于电影领域的一套新任务套件，旨在测试模型回答事实性问题、提供个性化、进行短对话及在 Reddit 上执行自然对话的能力，评估了各种模型在这些任务上的性能表现。

Nov, 2015

大型语言模型在逻辑推理任务中的泛化性和鲁棒性评估及改善的研究。

Oct, 2023

本研究考察了在自然语言中可以用 BERT 模型来训练端到端地解决逻辑推理问题吗？通过监察矛盾的现象，研究发现 BERT 虽然能够在某些测试实例中达到近乎完美的准确率，但却不能在完全相同的问题空间中泛化到其它数据分布上。我们展示了这是因为 BERT 并没有学习正确的推理函数，而是学习了逻辑推理问题中固有的统计特征。此研究结果自然推广到其他神经模型，并揭示了学习推理与学习利用统计特征在 NLP 基准测试中高绩效之间的根本差异。

May, 2022

利用培训语言模型模仿定理证明器在过程生成的问题上进行逻辑推理仍然是自然语言处理的一个挑战。我们提出了一个更简单、更普遍的声明性框架，通过灵活的上下文敏感规则来绑定多种语言（特别是简化英语和 TPTP 定理证明语言），从而改进了逻辑推理的能力。我们使用语义约束在生成过程中，并对谓词进行仔细的英语表达，提高了逻辑推理能力，而不损害自然英语任务。我们使用相对较小的 DeBERTa-v3 模型在人类编写的逻辑数据集 FOLIO 上实现了最先进的准确性，在有或无外部求解器的情况下，精度超过了 GPT-4 12%。

Jun, 2024

本文通过提出的 RobustLR 数据集，对当前在英语自然语言逻辑规则库上执行演绎推理的 Transformer 模型的鲁棒性进行了评估，结果展示这些模型在面临最小改动的逻辑规则库的情况下表现不一致，难以学习逻辑否定和逻辑联合运算符，从而揭示出这些基于推导式推理的自然语言处理模型的一些缺陷。

May, 2022