我们提出了 PROVER，一种可解释的 transform-based 模型，能够同时回答基于规则的二元问题并生成相应的证明，经过实验表明，在 QA 任务中，PROVER 的证明生成精度为 87％，而在零 - shot 评估中，与 RuleTakers 相比，在 QA 任务中的表现得到保留或提高（最多提高 6％）；并在更深层次上（最多提高 15％）更好地泛化，仅使用 40％的训练数据即可获得近乎完美的 QA 准确性，但对于需要更深入推理的问题，证明生成变得具有挑战性，准确性下降到 65％，这表明未来仍有大量研究价值。

Oct, 2020

本文介绍了一种新的逐步方法 NLProofS，通过在给定假设的条件下学习生成相关步骤，从而在 NLP 中解决证明生成的问题，并在 EntailmentBank 上取得了最先进的性能。

May, 2022

通过人工提供或查找背景参考条件，NaturalProver 能够生成数学证明，融合符号和自然语言，提高了下一步建议和生成证明的质量，在某些需要短证明的定理上具有证明能力，并且提供的下一步建议有超过 40% 的正确和有用率。

May, 2022

提出了一个处理模糊的假设的新系统，使用自然语言生成模型来从一个前提中推出另一个前提并以双向的方式搜索。 使用回路验证程序过滤质量不佳的生成来确保正确性。 该系统在修改后的 EntailmentBank 数据集和名为 “Everyday Norms：Why Not?“的新数据集上表现出可以恢复跨领域和非领域的前提的能力。

Nov, 2022

本文探讨了基于 Transformer 的语言模型在自动定理证明中的应用，提出了基于语言模型的生成能够解决自动定理证明器与人类相比的主要限制之一 —— 原始数学术语的生成问题。我们提出了一个自动证明器和证明辅助工具 GPT-f，使用 Metamath 形式语言，并分析了其性能。 GPT-f 发现了新的简短证明，并被采纳为正式数学社区所接受，这是我们所知道的第一次基于深度学习的系统为正式数学社区做出的贡献。

Sep, 2020

通过混合演绎（前向）和择优推断（后向）生成步骤进行阴性推断，以验证其他假设的缺失证据，避免致信任错误。

Jul, 2023

研究 Transformer 语言模型在自然语言中进行基于逻辑推理的任务，探究它们的系统泛化能力，发现其在逆向推理证明方面表现更优，并且发现没有经过证明生成训练的模型更适合处理长证明的问题。研究结果强调了 TLM 在逻辑推理中的系统泛化行为，并且对其核心推理策略的深入研究提出了启示。

Sep, 2020

本论文研究一种新的知识表示方法，采用自然语言句子代替形式化表示，并使用合成数据训练 Transformer 模型进行推理。该方法有望提供一种新的 “软定理证明器” 的运作方式，用于问题回答，实现解释性、校正性和反事实推理等新功能。

Feb, 2020

本研究初步探讨了生成 Transformer 模型从给定前提中演绎推理的能力，发现其性能与训练设置和参数规模有显著差异，而且推理链的长度一般不会影响性能，除了 OpenAI GPT-3 和 GPT-3.5 模型。研究考虑了大小从 1.17 亿到 1750 亿参数的多种变压器解码器模型。

May, 2023

该研究旨在探讨 Transformer 网络在自然语言的事实和规则上的逻辑推理，但未充分研究其在归纳推理中的应用。AbductionRules 是一组自然语言数据集，旨在训练和测试自然语言知识库上的归纳推理的可推广性。通过 Fine-tuned 预训练过的 Transformers 模型，研究者发现模型学习了可推广的归纳推理技巧，并利用了数据结构。最后，研究者还探讨了这种方法的可行性以及未来的改进方向。

Mar, 2022