本研究分析了 transformer-based 语言模型中的概率逻辑规则应用，并提出了 Probabilistic Constraint Training (PCT) 方法，该方法显式地模拟了概率逻辑推理，并在新的 QA 基准中评估了其准确性和可解释性。结果表明，该方法可以提高基本语言模型在需要概率逻辑推理时的准确性和解释性，并且该技术的学习也可适用于新的情境。

May, 2023

研究用自然语言作为代表知识的表示方法进行归纳推理的新任务 DEER 数据集，提出新的自动度量标准以及基于哲学文献的新任务框架，并且证明了预先训练好的语言模型在该任务上表现优秀。

Dec, 2022

本论文研究一种新的知识表示方法，采用自然语言句子代替形式化表示，并使用合成数据训练 Transformer 模型进行推理。该方法有望提供一种新的 “软定理证明器” 的运作方式，用于问题回答，实现解释性、校正性和反事实推理等新功能。

Feb, 2020

利用大型语言模型 (ChatRule) 在知识图谱中挖掘逻辑规则，包括基于语义和结构信息的规则生成器以及利用现有知识图谱评估和验证规则的模块，展示了方法的有效性和可扩展性。

Sep, 2023

本研究通过提出一种新的方法构建具有挑战性的自然语言可满足性问题数据集，以研究 transformer 模型的推理能力，发现这些模型在解决困难的 NLSat 问题方面表现出非常强的能力，但仍然存在限制，包括需要选取适当的训练数据才能适用于更大的问题和限制其推理能力的问题。

Dec, 2021

我们引入了 LogicAsker，它是一种自动方法，全面评估和改进基于命题和谓词逻辑的大型语言模型的逻辑推理能力，并揭示了 LLM 未能学好的逻辑规则。我们评估了 LogicAsker 在 GPT-3、ChatGPT、GPT-4、Bard、Vicuna 和 Guanaco 等主要的大型语言模型上，并展示了 LogicAsker 的测试用例在不同 LLM 中发现逻辑推理错误的比率从 25% 到 94% 不等。此外，LogicAsker 的测试用例可以进一步用于设计上下文学习的演示例子，有效提高 LLM 的逻辑推理能力，如 GPT-4 提高了 10%。据我们所知，我们的工作是首次基于测试结果创建提示来有效提高 LLM 的形式推理能力。所有的代码、数据和结果都将被公开以供复制和未来研究。

Jan, 2024

该研究旨在探讨 Transformer 网络在自然语言的事实和规则上的逻辑推理，但未充分研究其在归纳推理中的应用。AbductionRules 是一组自然语言数据集，旨在训练和测试自然语言知识库上的归纳推理的可推广性。通过 Fine-tuned 预训练过的 Transformers 模型，研究者发现模型学习了可推广的归纳推理技巧，并利用了数据结构。最后，研究者还探讨了这种方法的可行性以及未来的改进方向。

Mar, 2022

本篇论文提出了一种基于预训练的 Transformer 模型 fine-tune 的方法，使之具备在对话语境中进行逻辑推理和回答问题的能力，而无需额外的训练数据集。研究结果表明，该模型在已训练属性上能够达到 90% 以上的精度，在适当的对话语境下能够提取出适当的限制条件传递给下游组件 (e.g. 知识库)。

Feb, 2022

LoGiPT 是一种新颖的语言模型，通过直接模拟逻辑求解器的推理过程并严格遵守求解器的语法规则，绕过分析错误，并在竞争的语言模型上表现出优异的性能。

Nov, 2023

该论文提出了一种新的逻辑规则增强的知识图谱嵌入方法，可以与任何基于转换的知识图谱嵌入模型（如 TransE）轻松集成。经过广泛的实验，在链接预测和三元组分类上显示出更好的性能提升。

Mar, 2019